Skip to main content
Một ví dụ xác thực đóng băng một lượt của tác nhân AI từ cuộc gọi thực: phần hội thoại dẫn đến lượt đó, âm thanh người gọi liên quan, những gì tác nhân AI thực sự đã làm và chuẩn đối chiếu về những gì tác nhân AI nên làm. Phát lại một tập đối chiếu với bản nháp hiện tại giúp phát hiện thoái lui mà không cần thực hiện thêm cuộc gọi. Dùng trang Tập xác thực dùng chung cho toàn tổ chức (/dashboard/validation) để xây dựng và xem xét tập dữ liệu. Dùng thẻ Xác thực của từng tác nhân AI để chạy tập và kiểm tra lịch sử chạy.

​
Thêm ví dụ từ lịch sử cuộc gọi

1

Chọn Thêm ví dụ

Chọn tác nhân AI có hành vi mà ví dụ cần xác thực. Không gian làm việc hiển thị tối đa 25 cuộc gọi không phải mô phỏng gần đây của tác nhân AI đó.
2

Chọn một cuộc gọi và lượt của tác nhân AI

Đọc bản chép lời, di chuột qua lượt của tác nhân AI mà bạn muốn lưu lại và chọn thao tác danh sách kiểm. Phần hội thoại đến hết lượt đó và các đoạn âm thanh người gọi của lượt đó sẽ được sao chép vào tập dữ liệu xác thực.
3

Xem xét kỳ vọng

ThunderPhone soạn bản nháp mô tả hành vi đúng. Chỉnh sửa để mô tả cụ thể và có thể kiểm tra, đồng thời có thể chỉnh sửa phản hồi ví dụ được chấp nhận và các lệnh gọi công cụ dự kiến.
4

Lưu hoặc kích hoạt

Lưu bản nháp giữ ví dụ ở trạng thái Cần xem xét. Lưu và kích hoạt đưa ví dụ vào các lần chạy xác thực sau này.
Đưa cùng một lượt vào hai lần sẽ dùng lại ví dụ hiện có thay vì tạo hai bản sao.

​
Loại ví dụ và trạng thái

Loại mô tả lý do một ví dụ tồn tại: Trạng thái kiểm soát vòng đời:

​
Duyệt và tinh chỉnh tập dữ liệu

Lọc tập dữ liệu của tổ chức theo tác nhân AI, trạng thái hoặc loại. Khi chọn một ví dụ, bạn sẽ thấy:
  • Ngữ cảnh hội thoại đã đóng băng và các đoạn âm thanh người gọi có thể phát.
  • Cuộc gọi nguồn và phản hồi gốc.
  • Kỳ vọng chuẩn đối chiếu, phản hồi nói được chấp nhận và các lệnh gọi công cụ.
  • Bản phát lại gần nhất bên cạnh hành vi gốc và hành vi dự kiến.
  • Kết luận gần nhất và giải thích của bộ chấm điểm, khi có.
Chọn Chỉnh sửa chuẩn đối chiếu để sửa kỳ vọng hoặc phản hồi được chấp nhận. Chọn Phát lại với bản nháp để chỉ kiểm tra ví dụ đó mà không bắt đầu một lần chạy đầy đủ. Bản phát lại sử dụng bản nháp hiện tại của tác nhân AI, không nhất thiết là cấu hình đã triển khai của tác nhân AI đó.

​
Chạy một tập xác thực

Từ thẻ Xác thực của tác nhân AI, bắt đầu một lần chạy trên mọi ví dụ đang hoạt động. Mỗi ví dụ nhận một trong các kết luận sau:
  • Đạt — phản hồi đáp ứng kỳ vọng và âm thanh người gọi.
  • Cảnh báo — phản hồi có thể sử dụng nhưng một bước kiểm tra phát hiện điểm chưa chắc chắn.
  • Không đạt — phản hồi mâu thuẫn với âm thanh hoặc thiếu hành vi bắt buộc.
  • Bỏ qua — không thể tải âm thanh người gọi bắt buộc; ví dụ không được tính vào mẫu số tỷ lệ đạt.
  • Lỗi — không thể hoàn tất phát lại hoặc chấm điểm.
Tóm tắt lần chạy báo cáo số lượng đạt, cảnh báo, không đạt và bỏ qua, tỷ lệ đạt, chi phí ước tính và mọi sự thoái lui từ đạt sang không đạt kể từ lần chạy hoàn tất trước đó. Mỗi tác nhân AI chỉ có thể có một lần chạy xác thực đang hoạt động tại một thời điểm.

​
Triển khai với bằng chứng xác thực

Khi một tác nhân AI có ví dụ xác thực, hộp thoại triển khai sẽ báo cáo liệu lần chạy hoàn tất gần nhất có khớp với bản nháp hiện tại hay không. Bạn có thể:
  • Triển khai với tỷ lệ đạt và số lượng hồi quy hiển thị.
  • Chạy xác thực trước nếu không có lần chạy khớp.
  • Chủ động vẫn triển khai khi kết quả đã được xem xét.
Xác thực là bằng chứng và bước kiểm tra triển khai, không phải là cơ chế tự động chia lưu lượng production. Để so sánh trực tiếp, hãy dùng Thử nghiệm (kiểm thử A/B).

​
Tự động hóa API

API Bộ xác thực hỗ trợ đưa lượt hội thoại lên, quản lý ví dụ, phát trực tuyến âm thanh được ghim, phát lại riêng lẻ, chạy theo lô, kết quả chạy, trạng thái tại thời điểm triển khai và tổng quan về tổ chức.