Skip to main content
Un ejemplo de validación fija un turno del agente de una llamada real: la conversación previa, el audio relevante de quien llama, lo que el agente realmente hizo y la referencia de lo que debería hacer. Reproducir un conjunto con el borrador actual detecta regresiones sin realizar otra llamada. Usa la página de Conjuntos de validación de toda la organización (/dashboard/validation) para crear y revisar el conjunto de datos. Usa la pestaña Validación de un agente individual para ejecutar el conjunto e inspeccionar el historial de ejecuciones.

​
Agregar ejemplos desde el historial de llamadas

1

Elige Agregar ejemplos

Selecciona el agente cuyo comportamiento debe validar el ejemplo. El espacio de trabajo muestra hasta 25 llamadas recientes que no son simulaciones para ese agente.
2

Selecciona una llamada y un turno del agente

Lee la transcripción, coloca el cursor sobre el turno del agente que quieres conservar y selecciona la acción de lista de verificación. La conversación hasta ese turno y sus segmentos de audio de quien llama se copian al conjunto de datos de validación.
3

Revisa la expectativa

ThunderPhone redacta una descripción del comportamiento correcto. Edítala para que sea específica y comprobable y, de forma opcional, edita la respuesta de ejemplo aceptada y las llamadas esperadas a herramientas.
4

Guarda o activa

Guardar borrador deja el ejemplo en Necesita revisión. Guardar y activar lo incluye en futuras ejecuciones de validación.
Promover el mismo turno dos veces reutiliza el ejemplo existente en lugar de crear dos copias.

​
Tipos y estados de ejemplos

Los tipos describen por qué existe un ejemplo: Los estados controlan el ciclo de vida:

​
Explora y perfecciona el conjunto de datos

Filtra el conjunto de datos de la organización por agente, estado o tipo. Al seleccionar un ejemplo, se muestra:
  • Contexto de conversación fijado y segmentos reproducibles de audio de quien llama.
  • La llamada de origen y la respuesta original.
  • La expectativa de referencia, la respuesta hablada aceptada y las llamadas a herramientas.
  • La reproducción más reciente junto al comportamiento original y esperado.
  • El veredicto más reciente y las explicaciones del evaluador, cuando estén disponibles.
Elige Editar referencia para revisar la expectativa o la respuesta aceptada. Elige Reproducir con el borrador para probar solo ese ejemplo sin iniciar una ejecución completa. Las reproducciones usan el borrador actual del agente, no necesariamente su configuración implementada.

​
Ejecuta un conjunto de validación

Desde la pestaña Validación del agente, inicia una ejecución con todos los ejemplos activos. Cada ejemplo recibe uno de estos veredictos:
  • Aprobado — la respuesta cumple la expectativa y el audio de quien llama.
  • Advertencia — la respuesta se puede usar, pero una comprobación detectó incertidumbre.
  • Fallido — contradice el audio o no cumple el comportamiento requerido.
  • Omitido — no se pudo cargar el audio requerido de quien llama; se excluye del denominador de la tasa de aprobación.
  • Error — no se pudo completar la reproducción o la evaluación.
El resumen de la ejecución informa los conteos de aprobados, advertencias, fallidos y omitidos, la tasa de aprobación, el costo estimado y cualquier regresión de aprobado a fallido desde la ejecución completada anterior. Solo una ejecución de validación por agente puede estar activa a la vez.

​
Despliega con evidencia de validación

Cuando un agente tiene ejemplos de validación, el diálogo de despliegue indica si la última ejecución completada coincide con el borrador actual. Puedes:
  • Desplegar con la tasa de aprobación y el recuento de regresiones mostrados.
  • Ejecutar la validación primero si no existe una ejecución coincidente.
  • Desplegar de todos modos deliberadamente cuando el resultado se haya revisado.
La validación es evidencia y una comprobación de despliegue, no una división automática del tráfico de producción. Para comparaciones en vivo, usa Experimentos (pruebas A/B).

​
Automatización de API

La API de conjuntos de validación abarca la promoción de turnos, la gestión de ejemplos, la transmisión de audio fijado, las repeticiones individuales, las ejecuciones por lotes, los resultados de ejecución, el estado al momento del despliegue y la vista general de la organización.