Skip to main content
Um exemplo de validação congela um turno do agente de uma chamada real: a conversa que levou até ele, o áudio relevante de quem liga, o que o agente realmente fez e a referência correta sobre o que ele deveria fazer. Reproduzir um conjunto com o rascunho atual detecta regressões sem fazer outra chamada. Use a página Conjuntos de validação de toda a organização (/dashboard/validation) para criar e revisar o conjunto de dados. Use a aba Validação de um agente específico para executar o conjunto e inspecionar o histórico de execuções.

​
Adicione exemplos do histórico de chamadas

1

Escolha Adicionar exemplos

Escolha o agente cujo comportamento o exemplo deve validar. O espaço de trabalho mostra até 25 chamadas recentes que não são de simulação para esse agente.
2

Selecione uma chamada e um turno do agente

Leia a transcrição, passe o cursor sobre o turno do agente que deseja preservar e selecione a ação de seleção. A conversa até esse turno e seus trechos de áudio de quem liga são copiados para o conjunto de dados de validação.
3

Revise a expectativa

O ThunderPhone cria um rascunho de uma descrição do comportamento correto. Edite-a para que seja específica e testável e, opcionalmente, edite a resposta de exemplo aceita e as chamadas de ferramenta esperadas.
4

Salve ou ative

Salvar rascunho deixa o exemplo em Precisa de revisão. Salvar e ativar o inclui em futuras execuções de validação.
Promover o mesmo turno duas vezes reutiliza o exemplo existente em vez de criar duas cópias.

​
Tipos e status de exemplos

Os tipos descrevem por que um exemplo existe: Os status controlam o ciclo de vida: Filtre o conjunto de dados da organização por agente, status ou tipo. Selecionar um exemplo mostra:
  • Contexto de conversa congelado e trechos reproduzíveis de áudio de quem liga.
  • A chamada de origem e a resposta original.
  • A expectativa de referência, a resposta falada aceita e as chamadas de ferramenta.
  • A reprodução mais recente ao lado do comportamento original e esperado.
  • O veredito mais recente e as explicações do avaliador, quando disponíveis.
Escolha Editar referência correta para revisar a expectativa ou a resposta aceita. Escolha Reproduzir com o rascunho para testar apenas esse exemplo sem iniciar uma execução completa. As reproduções usam o rascunho atual do agente, não necessariamente sua configuração implantada.

​
Execute um conjunto de validação

Na aba Validação do agente, inicie uma execução para todos os exemplos ativos. Cada exemplo recebe um destes vereditos:
  • Aprovado — a resposta atende à expectativa e ao áudio de quem liga.
  • Aviso — a resposta é utilizável, mas uma verificação encontrou incerteza.
  • Falha — contradiz o áudio ou não apresenta o comportamento necessário.
  • Ignorado — não foi possível carregar o áudio necessário de quem liga; ele é excluído do denominador da taxa de aprovação.
  • Erro — não foi possível concluir a reprodução ou a avaliação.
O resumo da execução informa as contagens de aprovados, avisos, falhas e ignorados, a taxa de aprovação, o custo estimado e qualquer regressão de aprovado para falha desde a execução concluída anterior. Apenas uma execução de validação por agente pode estar ativa por vez.

​
Implantar com evidências de validação

Quando um agente tem exemplos de validação, a caixa de diálogo de implantação informa se a última execução concluída corresponde ao rascunho atual. Você pode:
  • Implantar com a taxa de aprovação e a contagem de regressões exibidas.
  • Executar a validação primeiro se não houver uma execução correspondente.
  • Implantar deliberadamente mesmo assim quando o resultado tiver sido revisado.
A validação é uma evidência e uma verificação de implantação, não uma divisão automática do tráfego de produção. Para comparações ao vivo, use Experimentos (testes A/B).

​
Automação por API

A API de Conjuntos de Validação abrange a promoção de turnos, o gerenciamento de exemplos, o streaming de áudio fixado, replays individuais, execuções em lote, resultados de execução, status no momento da implantação e a visão geral da organização.