Skip to main content
Käytätkö mieluummin hallintapaneelia? Sama toiminto löytyy kohdasta Simulaatiot (/dashboard/simulations), mukaan lukien tekoälyn skenaarioiden luonti — katso Simuloi puhelu. Tämä sivu käsittelee ohjelmallista tapaa.
Tekoälyagentin iterointi tarkoittaa sen kehotteen, työkalujen ja reunatapausten käsittelytavan iterointia. test-calls API suorittaa oikeita (botti-botille- tai SIP-takaisinkytkentä-) puheluita agenttia vastaan antamasi skenaariokehotteen avulla — jokainen suoritus tuottaa oikean puhelulokin, jossa on transkriptio, arviointi ja laskutus, joten näet tarkalleen, miten agentti toimii ja mitä se maksaa. Käytä sitä seuraaviin:
  • Julkaisua edeltäviin smoke-testeihin jokaisen kehoteen muokkauksen jälkeen
  • CI:hin kytkettyihin regressiotestisarjoihin (liitä test-call.completed-webhook → epäonnistuta koonti, jos pisteet laskevat)
  • Samanaikaisuusrajojen kuormitustestaukseen

Kertaluonteinen: yksi suoritus

Kentät: Vastaus on testipuhelusuoritusobjekti tilassa status="queued". Kysy tilaa, kunnes status muuttuu arvoksi completed tai failed; kun call_id on asetettu, lataa transkriptio osoitteesta GET /v1/calls/{call_id}/transcript.

Erät: rinnakkaiset skenaariot

Suorita N skenaariota samanaikaisesti — hyödyllistä regressiotestisarjoille, jotka testaavat kaikki tunnetut reunatapaukset rinnakkain:
Vastaus sisältää alisuoritusten tunnusten run_ids-luettelon. Hae erän tila:
run_count on rajoitettu arvoon 20; stagger_seconds porrastaa suoritusten käynnistämistä, jotta agenttia ei kuormiteta liikaa (0–60 s).

Ota käyttöön CI:ssä

Luo julkaisun hyväksyntätestisarja Simulaatiot-sivulla (/dashboard/simulations) — valitse agentti, lisää skenaarioita käsin tai luo niitä agentin kehotteen pohjalta napsauttamalla Luo skenaarioita tekoälyn avulla (valinnaisella reunatapaustarkistuksella) ja ryhmittele ne testisarjaksi. Testisarja lukitsee skenaariot ja agentin sekä vähimmäisläpäisyasteen ja valinnaisen säännön, jonka mukaan kriittisiä epäonnistumisia ei saa olla. Hyväksytysti läpäisseistä ajoista tulee hyväksytty vertailutaso; myöhemmät läpäisystä epäonnistumiseen -siirtymät palautetaan regressioina. Käytä CI:ssä organisaation API-avainta. Tämä komentosarja käynnistää testisarjan, kyselee tilaa, kunnes arviointi ja vertailu ovat valmiit, ja palauttaa muun kuin nolla-arvon, ellei päätös ole pass:
POST /v1/orgs/{org_id}/suites/{suite_id}/run palauttaa 202-vastauksen, jossa on ajon tunnus. GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} palauttaa kentät status, verdict, pass_rate, critical_failure_count ja vertailutason regressions-luettelon. Molemmat päätepisteet sitovat URL-osoitteen organisaation API-avaimen organisaatioon.

Mallit

Kehotekohtainen regressiokorpus

Ylläpidä JSON-tiedostoa, joka sisältää {name, scenario_prompt, expected_outcome} -monikoita. Suorita jokaisen kehotemuutoksen yhteydessä koko joukko eränä; vertaa transkriptit ja arvosanat edelliseen ajoon.

Julkaisukohtainen smoke-testi

Yksi erä, jossa on viisi onnistuneen peruspolun skenaariota ja jonka ajat jokaisen julkaisun jälkeen. Viiveherkkä, joten pidä stagger_seconds: 0.

Viiveen vertailumittaus

Aja samat skenaariot eri tuotetasoja vasten (spark, bolt, storm-base). Vertaa call.graded-pisteitä ja duration_seconds-arvoa jokaisesta tuloksena syntyvästä puhelulokista.

Seuraavat vaiheet

Testipuheluiden viite

Kaikki kyselyparametrit, tilakoodit ja erien muodot.

Tekoälyarviointi

Pisteytä jokainen testiajo automaattisesti, jotta voit seurata laatua ajan mittaan.

Ongelmaraportit

Merkitse tietyt testit ihmisen tarkistettaviksi.

test-call.completed-webhook

Siirrä tulokset CI:hin / Slackiin / PagerDutyyn.