Inkább az irányítópultot használja? Ugyanez a funkció elérhető a Simulations
(
/dashboard/simulations) felületen is, beleértve az AI-forgatókönyvek létrehozását — lásd:
Hívás szimulálása. Ez az oldal a
programozott használatot ismerteti.- Telepítés előtti gyors tesztek minden promptmódosítás után
- CI-be kötött regressziós tesztcsomagok (kapcsolja be a
test-call.completedwebhoookot → a build sikertelen legyen, ha a pontszám csökken) - Egyidejűségi korlátok terheléses tesztelése
Egyszeri futtatás: egyetlen futás
A válasz egy Teszthívás-futtatás objektum
status="queued" állapotban. Lekérdezéssel várjon addig, amíg a status értéke completed vagy
failed nem lesz; a call_id beállítása után töltse be az átiratot a
GET /v1/calls/{call_id}/transcript végponton keresztül.
Kötegek: párhuzamos forgatókönyvek
Futtasson N forgatókönyvet egyidejűleg — hasznos olyan regressziós tesztcsomagokhoz, amelyek minden ismert szélsőséges esetet párhuzamosan lefednek:run_ids listáját tartalmazza. A köteg
állapotának lekérése:
run_count legfeljebb 20 lehet; a stagger_seconds elosztja az indításokat,
hogy ne terhelje túl az ügynököt (0–60 mp).
Integrálja a CI-folyamatba
Hozzon létre kiadási kapuhoz tartozó tesztcsomagot a Szimulációk (/dashboard/simulations) oldalon — válassza ki az ügynököt, adjon hozzá
forgatókönyveket manuálisan, vagy kattintson az Forgatókönyvek generálása AI-val
lehetőségre, hogy az ügynök promptja alapján elkészítse őket (opcionális
szélső esetekre vonatkozó ellenőrzéssel), majd csoportosítsa őket egy tesztcsomagba.
A tesztcsomag rögzíti a forgatókönyveit és az ügynököt, valamint egy minimális
sikerességi arányt és egy opcionális, nulla kritikus hibát előíró szabályt.
A sikeres futtatások lesznek az elfogadott alapvonal; a későbbi sikeres→sikertelen
átmenetek regresszióként jelennek meg.
Használjon szervezeti API-kulcsot a CI-ben.
Ez a szkript elindítja a tesztcsomagot, lekérdezi az állapotát az értékelés és
az összehasonlítás befejezéséig, és nem nulla kilépési kóddal fejeződik be,
ha az eredmény nem pass:
POST /v1/orgs/{org_id}/suites/{suite_id}/run 202 választ ad vissza a
futtatási azonosítóval. A GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}
a következőket adja vissza: status, verdict, pass_rate, critical_failure_count
és az alapvonalhoz tartozó regressions lista. Mindkét végpont az URL-ben szereplő
szervezetet az API-kulcs szervezetéhez köti.
Minták
Promptonkénti regressziós korpusz
Tartson fenn egy{name, scenario_prompt, expected_outcome} rekordokat tartalmazó
JSON-fájlt. Minden promptmódosításkor futtassa a teljes készletet kötegként; hasonlítsa
össze az átiratokat és az értékeléseket az előző futtatással.
Kiadásonkénti gyors teszt
Öt, ideális esetet lefedő forgatókönyvből álló egyetlen köteg, amelyet minden telepítés után futtat. Késleltetésérzékeny, ezért tartsa meg astagger_seconds: 0 értéket.
Késleltetési teljesítménymérés
Futtasson azonos forgatókönyveket különböző termékcsomagokon (spark,
bolt, storm-base). Hasonlítsa össze a call.graded pontszámokat és az
egyes létrejövő hívásnaplókból származó duration_seconds értékeket.
Következő lépések
Tesztelési hívások referenciája
Minden lekérdezési paraméter, állapotkód és kötegstruktúra.
AI-értékelés
Pontozza automatikusan az összes tesztfuttatást a minőség időbeli követéséhez.
Hibajelentések
Jelöljön meg konkrét teszteket emberi felülvizsgálatra.
test-call.completed webhook
Továbbítsa az eredményeket a CI-be / Slackbe / PagerDutyba.