실험(A/B 테스트)

A/B 테스트는 감이 아니라 데이터로 “새 프롬프트가 실제로 더 나은가?”에 답합니다. 수신 통화는 에이전트 변형 간에 분배되고, 각 통화는 평소와 같이 평가되며, 변형별 성공률을 비교합니다. 두 가지 화면이 있습니다.

에이전트별 — 각 에이전트의 빌더에서 A/B 탭(/dashboard/agents/<id>?tab=variants)을 통해 테스트를 구성하고 조정합니다. 여기서 변형을 만들고 테스트를 켭니다.
에이전트 간 개요 — 품질 및 테스트 아래의 실험 페이지(/dashboard/experiments)에서 모든 에이전트의 테스트를 하나의 표로 집계합니다.

테스트 설정

실험 페이지에서 A/B 테스트 설정을 클릭하고 에이전트를 선택합니다. 해당 에이전트의 A/B 탭으로 이동하여 변형 구성(하나는 대조군으로 표시됨)을 만들고 분할 테스트를 활성화합니다. 빌더 자체에 대해서는 에이전트 구축을 참조하세요.

테스트가 있는 각 에이전트에 대해 실험 표에는 다음이 표시됩니다.

상태 — 활성(분할 테스트 켜짐) 또는 일시 중지됨입니다.
변형 — 대조군 레이블이 포함된 모든 변형이 칩으로 표시됩니다.
선두 — 현재까지 성공률이 가장 높은 변형과 해당 비율입니다. 변형에 평가된 통화가 쌓이기 전까지는 아직 데이터가 충분하지 않음으로 표시됩니다. 몇 건의 통화만으로 승자를 정하지 마세요.
통화 — 테스트 변형 전체의 총 통화 수입니다.

테스트가 없는 에이전트는 테스트를 시작할 수 있는 원클릭 안내로 아래에 표시됩니다. 행을 클릭하면 해당 에이전트의 A/B 탭으로 이동하여 테스트를 조정하거나 종료할 수 있습니다.

어떤 변형이 통화를 처리했는지는 통화 자체에 기록되므로, 통화 기록에서 각 변형의 대화 내용을 필터링하고 표본 점검할 수 있습니다.

동적 구성 웹훅에서 A/B 할당을 직접 구현하는 대신 이 기본 제공 기능을 사용하세요. 할당, 변형별 통계 및 평가가 자동으로 제공됩니다.

에이전트의 A/B 탭에서 변형을 만드세요.

실제 트래픽이 결과를 판단하기 전에 AI 발신자로 출시 전 테스트를 수행하세요.