Skip to main content
A/B-тестирование отвечает на вопрос «действительно ли новый промпт лучше?» на основе данных, а не ощущений: входящие звонки распределяются между вариантами агента, каждый звонок оценивается как обычно, и вы сравниваете показатели успешности по вариантам. Есть два раздела:
  • Для каждого агента — тесты настраиваются и корректируются в конструкторе каждого агента, на вкладке A/B (/dashboard/agents/<id>?tab=variants). Здесь создаются варианты и включается тест.
  • Общий обзор по агентам — страница Эксперименты (/dashboard/experiments, в разделе «Качество и тестирование») объединяет тесты всех агентов в одной таблице.

​
Настройте тест

На странице «Эксперименты» нажмите Настроить A/B-тест и выберите агента — вы перейдёте на вкладку A/B этого агента, где создадите конфигурации вариантов (один из них отмечен как контрольный) и включите разделённое тестирование. Подробнее о самом конструкторе см. в разделе Создание агента.

​
Просмотрите обзор

Для каждого агента с тестом таблица «Эксперименты» показывает:
  • Статус — Активен (разделённое тестирование включено) или Приостановлен.
  • Варианты — каждый вариант отображается в виде метки, а контрольный вариант отмечен.
  • Лидирует — вариант с лучшим на данный момент показателем успешности и его процент. Пока у вариантов нет оценённых звонков, отображается Пока недостаточно данных — не объявляйте победителя по нескольким звонкам.
  • Звонки — общее количество звонков по вариантам теста.
Агенты без теста перечислены ниже как быстрые действия в один клик для его запуска. Нажмите любую строку, чтобы перейти на вкладку A/B этого агента и скорректировать или завершить тест.
Вариант, обработавший звонок, записывается в самом звонке, поэтому вы можете фильтровать и выборочно проверять расшифровки каждой стороны в истории звонков.
Используйте эту встроенную функцию вместо самостоятельной настройки распределения A/B в вебхуке динамической конфигурации — вы бесплатно получаете распределение, статистику по вариантам и оценивание.

​
Следующие шаги

Создание агента

Создайте варианты на вкладке A/B агента.

Симуляции

Тестирование с AI-звонящими перед запуском в продакшен, до того как реальные звонки определят результат.