Kontrol panelini mi tercih ediyorsunuz? Aynı özellik, yapay zeka senaryosu oluşturma dahil olmak üzere Simülasyonlar
(
/dashboard/simulations) bölümünde de bulunur — bkz.
Çağrıyı simüle etme. Bu sayfa
programatik yöntemi kapsar.- Her istem düzenlemesinden sonra yayına alma öncesi temel testler
- CI’a bağlanan regresyon paketleri (
test-call.completedwebhook’unu bağlayın → puan düşerse derlemeyi başarısız yapın) - Eşzamanlılık sınırlarını stres testine tabi tutma
Tek seferlik: tek çalıştırma
Yanıt,
status="queued" durumunda bir Test çağrısı çalıştırma nesnesidir.
status, completed veya failed olana kadar sorgulayın; call_id
ayarlandıktan sonra transkripti
GET /v1/calls/{call_id}/transcript aracılığıyla yükleyin.
Toplu işlemler: paralel senaryolar
N senaryoyu eşzamanlı çalıştırın — bilinen tüm uç durumları paralel olarak ele alan regresyon paketleri için kullanışlıdır:run_ids listesi döndürür. Toplu işlem
durumunu getirin:
run_count en fazla 20 olabilir; stagger_seconds, ajana aşırı yük bindirmemek için
başlatmaları aralıklı yapar (0–60 sn).
CI’ye bağlayın
Simülasyonlar sayfasında (/dashboard/simulations) bir sürüm geçiş kontrol paketi oluşturun — ajanı seçin, senaryoları elle ekleyin veya ajanın isteminden taslak oluşturmaları için Yapay zekayla senaryolar oluştur seçeneğine tıklayın (isteğe bağlı uç durum taramasıyla) ve bunları bir pakette gruplayın.
Bir paket; senaryolarını ve ajanını, ayrıca minimum başarılı geçiş oranını ve isteğe bağlı sıfır kritik hata kuralını sabitler. Başarılı çalıştırmalar kabul edilen temel olur; daha sonraki başarılı→başarısız geçişler regresyon olarak döndürülür.
CI’da bir kuruluş API anahtarı kullanın.
Bu betik paketi tetikler, derecelendirme ve karşılaştırma tamamlanana kadar yoklar ve karar pass olmadığı sürece sıfır olmayan kodla çıkar:
POST /v1/orgs/{org_id}/suites/{suite_id}/run, çalıştırma kimliğiyle birlikte 202 döndürür. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id};
status, verdict, pass_rate, critical_failure_count ve temel
regressions listesini döndürür. Her iki uç nokta da URL’deki kuruluşu API anahtarının kuruluşuna bağlar.
Kalıplar
İstem başına regresyon veri kümesi
{name, scenario_prompt, expected_outcome} demetlerinden oluşan bir JSON dosyası tutun. Her istem değişikliğinde tüm kümeyi toplu olarak çalıştırın; transkriptleri ve notları önceki çalıştırmayla karşılaştırın.
Sürüm başına duman testi
Her yayına almadan sonra çalıştırdığınız, başarılı akış içeren beş senaryodan oluşan tek bir toplu işlem. Gecikmeye duyarlıdır; bu nedenlestagger_seconds: 0 değerini koruyun.
Gecikme karşılaştırması
Aynı senaryoları farklı ürün katmanlarında (spark,
bolt, storm-base) çalıştırın. Her sonuç çağrı günlüğündeki call.graded puanlarını ve duration_seconds değerini karşılaştırın.
Sonraki adımlar
Test çağrıları başvurusu
Her sorgu parametresi, durum kodu ve toplu işlem biçimi.
Yapay zeka derecelendirmesi
Kaliteyi zaman içinde takip etmek için her test çalıştırmasını otomatik puanlayın.
Sorun raporları
Belirli testleri insan incelemesi için işaretleyin.
test-call.completed webhook'u
Sonuçları CI / Slack / PagerDuty sisteminize aktarın.