Vai vēlaties izmantot informācijas paneli? Tā pati iespēja ir pieejama sadaļā Simulācijas
(
/dashboard/simulations), tostarp AI scenāriju ģenerēšana — skatiet
Simulēt zvanu. Šajā lapā ir aprakstīta
programmatiska pieeja.- Ātrie testi pirms izvietošanas pēc katras uzvednes rediģēšanas
- Regresijas testu komplekti, kas savienoti ar CI (piesaistiet
test-call.completedtīmekļa aizķeri → neizpildiet būvējumu, ja vērtējums samazinās) - Vienlaicīguma ierobežojumu slodzes testēšana
Vienreizēja palaišana: viens izpildījums
Atbilde ir testa zvana izpildījuma objekts
ar
status="queued". Regulāri vaicājiet, līdz status kļūst par completed vai
failed; kad ir iestatīts call_id, ielādējiet stenogrammu, izmantojot
GET /v1/calls/{call_id}/transcript.
Paketes: paralēli scenāriji
Vienlaikus palaidiet N scenārijus — noderīgi regresijas testu komplektiem, kas paralēli pārbauda katru zināmo robežgadījumu:run_ids. Iegūstiet paketes
statusu:
run_count ir ierobežots līdz 20; stagger_seconds nosaka intervālu starp palaišanām,
lai nepārslogotu aģentu (0–60 s).
Integrējiet to CI
Lapā Simulācijas (/dashboard/simulations) izveidojiet laidiena vārtu komplektu — atlasiet balss aģentu, manuāli pievienojiet scenārijus vai
noklikšķiniet uz Ģenerēt scenārijus ar MI, lai izveidotu to melnrakstus, pamatojoties uz balss aģenta
uzvedni (ar izvēles robežgadījumu pārbaudi), un grupējiet tos komplektā.
Komplekts fiksē savus scenārijus un balss aģentu, kā arī minimālo sekmīgas izpildes rādītāju un
izvēles nulles kritisko kļūmju noteikumu. Sekmīgas izpildes kļūst par apstiprināto
bāzlīniju; vēlākas pārejas no sekmīgas uz neveiksmīgu izpildi tiek atgrieztas kā regresijas.
CI izmantojiet organizācijas API atslēgu.
Šis skripts aktivizē komplektu, veic aptauju, līdz vērtēšana un salīdzināšana ir
pabeigta, un beidz darbu ar nenulles kodu, ja vien spriedums nav pass:
POST /v1/orgs/{org_id}/suites/{suite_id}/run atgriež 202 ar
izpildes ID. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} atgriež
status, verdict, pass_rate, critical_failure_count un
bāzlīnijas regressions sarakstu. Abi galapunkti saista URL organizāciju
ar API atslēgas organizāciju.
Modeļi
Katras uzvednes regresiju korpuss
Uzturiet JSON failu ar{name, scenario_prompt, expected_outcome}
kortežiem. Pēc katras uzvednes izmaiņas palaidiet visu kopu kā paketi; salīdziniet
transkriptus un vērtējumus ar iepriekšējo izpildi.
Katra laidiena dūmu tests
Viena pakete ar pieciem veiksmīgas norises scenārijiem, ko palaižat pēc katras izvietošanas. Jutīgs pret latentumu, tāpēc saglabājietstagger_seconds: 0.
Latentuma etalonmērīšana
Palaidiet identiskus scenārijus dažādos produktu līmeņos (spark,
bolt, storm-base). Salīdziniet call.graded vērtējumus un
duration_seconds no katra iegūtā zvanu žurnāla.
Nākamās darbības
Testa zvanu atsauce
Visi vaicājuma parametri, statusa kodi un pakešu formāti.
MI vērtēšana
Automātiski novērtējiet katru testa izpildi, lai laika gaitā sekotu kvalitātei.
Problēmu ziņojumi
Atzīmējiet konkrētus testus manuālai pārskatīšanai.
test-call.completed tīmekļa āķis
Straumējiet rezultātus savā CI / Slack / PagerDuty.