Skip to main content
Inkább az irányítópultot használja? Ugyanez a funkció elérhető a Simulations (/dashboard/simulations) felületen is, beleértve az AI-forgatókönyvek létrehozását — lásd: Hívás szimulálása. Ez az oldal a programozott használatot ismerteti.
Egy AI-ügynök iteratív fejlesztése a prompt, az eszközök és a szélsőséges esetek kezelésének iteratív fejlesztését jelenti. A test-calls API valós (botok közötti vagy SIP-visszacsatolásos) hívásokat indít egy ügynök ellen az Ön által megadott forgatókönyvprompt használatával — minden futtatás valós hívásnaplót hoz létre átirattal, értékeléssel és számlázással, így pontosan láthatja, hogyan viselkedik az ügynök, és mennyibe kerül. Használja erre:
  • Telepítés előtti gyors tesztek minden promptmódosítás után
  • CI-be kötött regressziós tesztcsomagok (kapcsolja be a test-call.completed webhoookot → a build sikertelen legyen, ha a pontszám csökken)
  • Egyidejűségi korlátok terheléses tesztelése

Egyszeri futtatás: egyetlen futás

Mezők: A válasz egy Teszthívás-futtatás objektum status="queued" állapotban. Lekérdezéssel várjon addig, amíg a status értéke completed vagy failed nem lesz; a call_id beállítása után töltse be az átiratot a GET /v1/calls/{call_id}/transcript végponton keresztül.

Kötegek: párhuzamos forgatókönyvek

Futtasson N forgatókönyvet egyidejűleg — hasznos olyan regressziós tesztcsomagokhoz, amelyek minden ismert szélsőséges esetet párhuzamosan lefednek:
A válasz a gyermekfuttatások azonosítóinak run_ids listáját tartalmazza. A köteg állapotának lekérése:
A run_count legfeljebb 20 lehet; a stagger_seconds elosztja az indításokat, hogy ne terhelje túl az ügynököt (0–60 mp).

Integrálja a CI-folyamatba

Hozzon létre kiadási kapuhoz tartozó tesztcsomagot a Szimulációk (/dashboard/simulations) oldalon — válassza ki az ügynököt, adjon hozzá forgatókönyveket manuálisan, vagy kattintson az Forgatókönyvek generálása AI-val lehetőségre, hogy az ügynök promptja alapján elkészítse őket (opcionális szélső esetekre vonatkozó ellenőrzéssel), majd csoportosítsa őket egy tesztcsomagba. A tesztcsomag rögzíti a forgatókönyveit és az ügynököt, valamint egy minimális sikerességi arányt és egy opcionális, nulla kritikus hibát előíró szabályt. A sikeres futtatások lesznek az elfogadott alapvonal; a későbbi sikeres→sikertelen átmenetek regresszióként jelennek meg. Használjon szervezeti API-kulcsot a CI-ben. Ez a szkript elindítja a tesztcsomagot, lekérdezi az állapotát az értékelés és az összehasonlítás befejezéséig, és nem nulla kilépési kóddal fejeződik be, ha az eredmény nem pass:
A POST /v1/orgs/{org_id}/suites/{suite_id}/run 202 választ ad vissza a futtatási azonosítóval. A GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id} a következőket adja vissza: status, verdict, pass_rate, critical_failure_count és az alapvonalhoz tartozó regressions lista. Mindkét végpont az URL-ben szereplő szervezetet az API-kulcs szervezetéhez köti.

Minták

Promptonkénti regressziós korpusz

Tartson fenn egy {name, scenario_prompt, expected_outcome} rekordokat tartalmazó JSON-fájlt. Minden promptmódosításkor futtassa a teljes készletet kötegként; hasonlítsa össze az átiratokat és az értékeléseket az előző futtatással.

Kiadásonkénti gyors teszt

Öt, ideális esetet lefedő forgatókönyvből álló egyetlen köteg, amelyet minden telepítés után futtat. Késleltetésérzékeny, ezért tartsa meg a stagger_seconds: 0 értéket.

Késleltetési teljesítménymérés

Futtasson azonos forgatókönyveket különböző termékcsomagokon (spark, bolt, storm-base). Hasonlítsa össze a call.graded pontszámokat és az egyes létrejövő hívásnaplókból származó duration_seconds értékeket.

Következő lépések

Tesztelési hívások referenciája

Minden lekérdezési paraméter, állapotkód és kötegstruktúra.

AI-értékelés

Pontozza automatikusan az összes tesztfuttatást a minőség időbeli követéséhez.

Hibajelentések

Jelöljön meg konkrét teszteket emberi felülvizsgálatra.

test-call.completed webhook

Továbbítsa az eredményeket a CI-be / Slackbe / PagerDutyba.