Skip to main content
Пример валидации фиксирует одну реплику агента из реального звонка: предшествующий ей разговор, релевантное аудио звонящего, фактические действия агента и эталонные данные о том, что он должен сделать. Повторный запуск набора на текущем черновике выявляет регрессии без выполнения нового звонка. Используйте страницу Наборы валидации для всей организации (/dashboard/validation), чтобы создавать и проверять набор данных. Используйте вкладку Валидация отдельного агента, чтобы запускать набор и просматривать историю запусков.

​
Добавление примеров из истории звонков

1

Выберите «Добавить примеры»

Выберите агента, поведение которого должен проверять пример. В рабочей области отображается до 25 последних звонков без симуляции для этого агента.
2

Выберите звонок и реплику агента

Прочитайте расшифровку, наведите указатель на реплику агента, которую хотите сохранить, и выберите действие в чек-листе. Разговор до этой реплики и соответствующие фрагменты аудио звонящего копируются в набор данных для валидации.
3

Проверьте ожидаемый результат

ThunderPhone создает черновик описания правильного поведения. Отредактируйте его так, чтобы оно было конкретным и проверяемым, а при необходимости измените принятый пример ответа и ожидаемые вызовы инструментов.
4

Сохраните или активируйте

Сохранить черновик оставляет пример в статусе Требует проверки. Сохранить и активировать включает его в будущие запуски валидации.
Повторное добавление одной и той же реплики использует существующий пример, а не создает две копии.

​
Типы и статусы примеров

Типы описывают, почему существует пример: Статусы управляют жизненным циклом:

​
Просмотр и уточнение набора данных

Фильтруйте набор данных организации по агенту, статусу или типу. При выборе примера отображаются:
  • Зафиксированный контекст разговора и воспроизводимые фрагменты аудио звонящего.
  • Исходный звонок и исходный ответ.
  • Эталонный ожидаемый результат, принятый устный ответ и вызовы инструментов.
  • Последний повторный запуск рядом с исходным и ожидаемым поведением.
  • Последний вердикт и объяснения оценщика, если они доступны.
Выберите Изменить эталонные данные, чтобы изменить ожидаемый результат или принятый ответ. Выберите Повторить на черновике, чтобы проверить только этот пример без запуска полного прогона. Повторные запуски используют текущий черновик агента, а не обязательно его конфигурацию, развернутую в продакшене.

​
Запуск набора валидации

На вкладке Валидация агента запустите прогон по каждому активному примеру. Каждый пример получает один из следующих вердиктов:
  • Пройдено — ответ соответствует ожидаемому результату и аудио звонящего.
  • Предупреждение — ответ пригоден, но одна проверка выявила неопределенность.
  • Ошибка — ответ противоречит аудио или не содержит требуемого поведения.
  • Пропущено — не удалось загрузить необходимое аудио звонящего; пример исключен из знаменателя доли успешных проверок.
  • Сбой — не удалось завершить повторный запуск или оценку.
Сводка прогона показывает количество успешных проверок, предупреждений, ошибок и пропусков, долю успешных проверок, расчетную стоимость и любую регрессию с Пройдено до Ошибка после предыдущего завершенного прогона. Одновременно для одного агента может быть активен только один запуск валидации.

​
Развертывание с результатами валидации

Когда у агента есть примеры для валидации, диалог развертывания сообщает, соответствует ли последний завершённый запуск текущему черновику. Вы можете:
  • Развернуть с указанным процентом успешных проверок и количеством регрессий.
  • Сначала запустить валидацию, если подходящего запуска нет.
  • Осознанно выполнить развертывание, если результат был проверен.
Валидация — это подтверждение и проверка перед развертыванием, а не автоматическое разделение трафика в продакшене. Для сравнений в реальном времени используйте Эксперименты (A/B-тестирование).

​
Автоматизация через API

API наборов валидации поддерживает перенос ходов, управление примерами, потоковую передачу закреплённого аудио, отдельные повторы, пакетные запуски, результаты запусков, статус во время развертывания и обзор организации.