/dashboard/validation) でデータセットを作成して確認します。個別の
エージェントの 検証 タブでは、セットを実行して実行履歴を確認できます。
通話履歴から例を追加する
1
例を追加を選択
例で動作を検証するエージェントを選択します。ワークスペースには、そのエージェントの直近の非シミュレーション通話が最大25件表示されます。
2
通話とエージェントターンを選択
文字起こしを読み、保持したいエージェントターンにカーソルを合わせて、チェックリスト操作を選択します。そのターンまでの会話と発信者音声の区間が検証データセットにコピーされます。
3
期待内容を確認
ThunderPhone が正しい動作の説明を下書きします。具体的かつテスト可能になるよう編集し、必要に応じて許容される応答例と想定ツール呼び出しも編集します。
4
保存または有効化
下書きを保存すると、例は 要確認 のままになります。
保存して有効化すると、以降の検証実行に含まれます。
例の種類とステータス
種類は、例が存在する理由を示します。
ステータスはライフサイクルを制御します。
データセットを参照して改善する
組織のデータセットを エージェント、ステータス、または 種類 でフィルタリングします。例を選択すると、次の内容が表示されます。- 固定された会話コンテキストと再生可能な発信者音声の区間。
- 元の通話と元の応答。
- 正解の期待内容、許容される音声応答、ツール呼び出し。
- 元の動作と期待される動作と並べて表示される最新の再生結果。
- 利用可能な場合は、最新の判定と判定者による説明。
検証セットを実行する
エージェントの 検証 タブから、すべての有効な例に対する実行を開始します。各例には、次のいずれかの判定が付与されます。- 合格 — 応答が期待内容と発信者音声を満たしています。
- 警告 — 応答は使用可能ですが、1つのチェックで不確実性が検出されました。
- 失敗 — 音声と矛盾しているか、必要な動作が欠けています。
- スキップ — 必要な発信者音声を読み込めなかったため、合格率の分母から除外されます。
- エラー — 再生または評価を完了できませんでした。
検証結果に基づくデプロイ
エージェントに検証例がある場合、デプロイダイアログには最新の完了済み実行が現在の下書きと一致するかどうかが表示されます。以下を実行できます。- 表示された合格率とリグレッション数でデプロイする。
- 一致する実行がない場合は、先に検証を実行する。
- 結果を確認済みの場合は、意図的にそのままデプロイする。