実験（A/Bテスト）

A/Bテストでは、着信通話をエージェントのバリアントに分割し、各通話を通常どおり評価して、バリアントごとの成功率を比較することで、「新しいプロンプトは本当により良いのか」を感覚ではなくデータで判断できます。画面は2つあります。

エージェントごと — テストは各エージェントのビルダーのA/Bタブ（/dashboard/agents/<id>?tab=variants）で設定・調整します。ここでバリアントを作成し、テストを有効にします。
エージェント横断の概要 — Experimentsページ（/dashboard/experiments、Quality & Testing内）では、すべてのエージェントのテストを1つのテーブルに集約します。

テストを設定する

ExperimentsページでA/Bテストを設定をクリックし、エージェントを選択します。対象エージェントのA/Bタブが開き、そこでバリアント構成を作成し（1つをコントロールとして指定）、分割テストを有効にできます。ビルダー自体については、エージェントを構築するを参照してください。

テストを設定した各エージェントについて、Experimentsテーブルには次が表示されます。

ステータス — Active（分割テストが有効）またはPaused。
バリアント — すべてのバリアントをチップで表示し、コントロールにはラベルが付きます。
先行中 — 現時点で成功率が最も高いバリアントと、その割合。バリアントに評価済み通話がない場合は、データがまだ不足していますと表示されます。数件の通話だけで勝者を決めないでください。
通話 — テストのバリアント全体における通話総数。

テストを設定していないエージェントは、その下にワンクリックで開始できる候補として表示されます。任意の行をクリックすると、そのエージェントのA/Bタブに移動し、テストを調整または終了できます。

どのバリアントが通話を処理したかは通話自体に記録されるため、通話履歴で各側の文字起こしをフィルタリングして確認できます。

動的設定WebhookでA/B割り当てを手作業で実装するより、この組み込み機能を使用してください。割り当て、バリアントごとの統計、評価を追加設定なしで利用できます。

エージェントのA/Bタブでバリアントを作成します。

実際のトラフィックで結果を判断する前に、AI発信者でテストします。