Skip to main content
Kontrol panelini mi tercih ediyorsunuz? Aynı özellik, yapay zeka senaryosu oluşturma dahil olmak üzere Simülasyonlar (/dashboard/simulations) bölümünde de bulunur — bkz. Çağrıyı simüle etme. Bu sayfa programatik yöntemi kapsar.
Bir yapay zeka ajanını yinelemek, istemini, araçlarını ve uç durumları ele alma biçimini yinelemek anlamına gelir. test-calls API, sağladığınız senaryo istemini kullanarak bir ajana karşı gerçek (bot-bot veya SIP geri döngü) çağrılar çalıştırır — her çalıştırma; transkript, değerlendirme ve faturalandırma içeren gerçek bir çağrı günlüğü oluşturur; böylece ajanın nasıl davrandığını ve maliyetini tam olarak görebilirsiniz. Şunlar için kullanın:
  • Her istem düzenlemesinden sonra yayına alma öncesi temel testler
  • CI’a bağlanan regresyon paketleri (test-call.completed webhook’unu bağlayın → puan düşerse derlemeyi başarısız yapın)
  • Eşzamanlılık sınırlarını stres testine tabi tutma

Tek seferlik: tek çalıştırma

Alanlar: Yanıt, status="queued" durumunda bir Test çağrısı çalıştırma nesnesidir. status, completed veya failed olana kadar sorgulayın; call_id ayarlandıktan sonra transkripti GET /v1/calls/{call_id}/transcript aracılığıyla yükleyin.

Toplu işlemler: paralel senaryolar

N senaryoyu eşzamanlı çalıştırın — bilinen tüm uç durumları paralel olarak ele alan regresyon paketleri için kullanışlıdır:
Yanıt, alt çalıştırma kimliklerini içeren bir run_ids listesi döndürür. Toplu işlem durumunu getirin:
run_count en fazla 20 olabilir; stagger_seconds, ajana aşırı yük bindirmemek için başlatmaları aralıklı yapar (0–60 sn).

CI’ye bağlayın

Simülasyonlar sayfasında (/dashboard/simulations) bir sürüm geçiş kontrol paketi oluşturun — ajanı seçin, senaryoları elle ekleyin veya ajanın isteminden taslak oluşturmaları için Yapay zekayla senaryolar oluştur seçeneğine tıklayın (isteğe bağlı uç durum taramasıyla) ve bunları bir pakette gruplayın. Bir paket; senaryolarını ve ajanını, ayrıca minimum başarılı geçiş oranını ve isteğe bağlı sıfır kritik hata kuralını sabitler. Başarılı çalıştırmalar kabul edilen temel olur; daha sonraki başarılı→başarısız geçişler regresyon olarak döndürülür. CI’da bir kuruluş API anahtarı kullanın. Bu betik paketi tetikler, derecelendirme ve karşılaştırma tamamlanana kadar yoklar ve karar pass olmadığı sürece sıfır olmayan kodla çıkar:
POST /v1/orgs/{org_id}/suites/{suite_id}/run, çalıştırma kimliğiyle birlikte 202 döndürür. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}; status, verdict, pass_rate, critical_failure_count ve temel regressions listesini döndürür. Her iki uç nokta da URL’deki kuruluşu API anahtarının kuruluşuna bağlar.

Kalıplar

İstem başına regresyon veri kümesi

{name, scenario_prompt, expected_outcome} demetlerinden oluşan bir JSON dosyası tutun. Her istem değişikliğinde tüm kümeyi toplu olarak çalıştırın; transkriptleri ve notları önceki çalıştırmayla karşılaştırın.

Sürüm başına duman testi

Her yayına almadan sonra çalıştırdığınız, başarılı akış içeren beş senaryodan oluşan tek bir toplu işlem. Gecikmeye duyarlıdır; bu nedenle stagger_seconds: 0 değerini koruyun.

Gecikme karşılaştırması

Aynı senaryoları farklı ürün katmanlarında (spark, bolt, storm-base) çalıştırın. Her sonuç çağrı günlüğündeki call.graded puanlarını ve duration_seconds değerini karşılaştırın.

Sonraki adımlar

Test çağrıları başvurusu

Her sorgu parametresi, durum kodu ve toplu işlem biçimi.

Yapay zeka derecelendirmesi

Kaliteyi zaman içinde takip etmek için her test çalıştırmasını otomatik puanlayın.

Sorun raporları

Belirli testleri insan incelemesi için işaretleyin.

test-call.completed webhook'u

Sonuçları CI / Slack / PagerDuty sisteminize aktarın.