/dashboard/validation)构建和审查数据集。使用单个智能体的验证标签页运行验证集并查看运行历史记录。
从通话记录添加示例
1
选择添加示例
选择该示例要验证其行为的智能体。工作区会显示该智能体最近最多 25 个非模拟通话。
2
选择通话和智能体轮次
阅读转录文本,将鼠标悬停在您想保留的智能体轮次上,然后选择勾选操作。到该轮次为止的对话及其呼叫者音频片段会被复制到验证数据集。
3
审查预期
ThunderPhone 会起草正确行为的描述。请将其编辑为具体且可测试的内容,并可选择编辑已接受的示例回复和预期工具调用。
4
保存或启用
保存草稿会使示例保持在需要审查状态。
保存并启用会将其纳入未来的验证运行。
示例类型和状态
类型说明示例存在的原因:
状态控制生命周期:
浏览和优化数据集
按智能体、状态或类型筛选组织数据集。选择一个示例会显示:- 冻结的对话上下文和可播放的呼叫者音频片段。
- 源通话和原始回复。
- 真值预期、已接受的口头回复和工具调用。
- 最新回放结果,以及原始行为和预期行为。
- 最新判定及评审说明(如有)。
运行验证集
在智能体的验证标签页中,针对每个已启用示例启动一次运行。每个示例会获得以下其中一种判定:- 通过——回复满足预期和呼叫者音频。
- 警告——回复可用,但有一项检查发现不确定性。
- 失败——回复与音频矛盾,或遗漏了必需行为。
- 已跳过——无法加载必需的呼叫者音频;该示例不计入通过率分母。
- 错误——无法完成回放或评分。
使用验证证据部署
当智能体具有验证示例时,部署对话框会报告最新完成的运行是否与当前草稿匹配。您可以:- 使用显示的通过率和回归数量进行部署。
- 如果不存在匹配的运行,先运行验证。
- 在审查结果后仍决定部署。
