Skip to main content
Vai vēlaties izmantot informācijas paneli? Tā pati iespēja ir pieejama sadaļā Simulācijas (/dashboard/simulations), tostarp AI scenāriju ģenerēšana — skatiet Simulēt zvanu. Šajā lapā ir aprakstīta programmatiska pieeja.
AI aģenta iteratīva pilnveide nozīmē iteratīvi uzlabot tā uzvedni, rīkus un veidu, kā tas apstrādā robežgadījumus. test-calls API veic īstus (bota–bota vai SIP atgriezeniskās cilpas) zvanus uz balss aģentu, izmantojot jūsu norādītu scenārija uzvedni — katrs izpildījums izveido īstu zvana žurnālu ar stenogrammu, vērtējumu un norēķiniem, lai jūs precīzi redzētu, kā aģents darbojas un cik tas maksā. Izmantojiet to šādiem mērķiem:
  • Ātrie testi pirms izvietošanas pēc katras uzvednes rediģēšanas
  • Regresijas testu komplekti, kas savienoti ar CI (piesaistiet test-call.completed tīmekļa aizķeri → neizpildiet būvējumu, ja vērtējums samazinās)
  • Vienlaicīguma ierobežojumu slodzes testēšana

Vienreizēja palaišana: viens izpildījums

Lauki: Atbilde ir testa zvana izpildījuma objekts ar status="queued". Regulāri vaicājiet, līdz status kļūst par completed vai failed; kad ir iestatīts call_id, ielādējiet stenogrammu, izmantojot GET /v1/calls/{call_id}/transcript.

Paketes: paralēli scenāriji

Vienlaikus palaidiet N scenārijus — noderīgi regresijas testu komplektiem, kas paralēli pārbauda katru zināmo robežgadījumu:
Atbildē ir pakārtoto izpildījumu ID saraksts run_ids. Iegūstiet paketes statusu:
run_count ir ierobežots līdz 20; stagger_seconds nosaka intervālu starp palaišanām, lai nepārslogotu aģentu (0–60 s).

Integrējiet to CI

Lapā Simulācijas (/dashboard/simulations) izveidojiet laidiena vārtu komplektu — atlasiet balss aģentu, manuāli pievienojiet scenārijus vai noklikšķiniet uz Ģenerēt scenārijus ar MI, lai izveidotu to melnrakstus, pamatojoties uz balss aģenta uzvedni (ar izvēles robežgadījumu pārbaudi), un grupējiet tos komplektā. Komplekts fiksē savus scenārijus un balss aģentu, kā arī minimālo sekmīgas izpildes rādītāju un izvēles nulles kritisko kļūmju noteikumu. Sekmīgas izpildes kļūst par apstiprināto bāzlīniju; vēlākas pārejas no sekmīgas uz neveiksmīgu izpildi tiek atgrieztas kā regresijas. CI izmantojiet organizācijas API atslēgu. Šis skripts aktivizē komplektu, veic aptauju, līdz vērtēšana un salīdzināšana ir pabeigta, un beidz darbu ar nenulles kodu, ja vien spriedums nav pass:
POST /v1/orgs/{org_id}/suites/{suite_id}/run atgriež 202 ar izpildes ID. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} atgriež status, verdict, pass_rate, critical_failure_count un bāzlīnijas regressions sarakstu. Abi galapunkti saista URL organizāciju ar API atslēgas organizāciju.

Modeļi

Katras uzvednes regresiju korpuss

Uzturiet JSON failu ar {name, scenario_prompt, expected_outcome} kortežiem. Pēc katras uzvednes izmaiņas palaidiet visu kopu kā paketi; salīdziniet transkriptus un vērtējumus ar iepriekšējo izpildi.

Katra laidiena dūmu tests

Viena pakete ar pieciem veiksmīgas norises scenārijiem, ko palaižat pēc katras izvietošanas. Jutīgs pret latentumu, tāpēc saglabājiet stagger_seconds: 0.

Latentuma etalonmērīšana

Palaidiet identiskus scenārijus dažādos produktu līmeņos (spark, bolt, storm-base). Salīdziniet call.graded vērtējumus un duration_seconds no katra iegūtā zvanu žurnāla.

Nākamās darbības

Testa zvanu atsauce

Visi vaicājuma parametri, statusa kodi un pakešu formāti.

MI vērtēšana

Automātiski novērtējiet katru testa izpildi, lai laika gaitā sekotu kvalitātei.

Problēmu ziņojumi

Atzīmējiet konkrētus testus manuālai pārskatīšanai.

test-call.completed tīmekļa āķis

Straumējiet rezultātus savā CI / Slack / PagerDuty.