Skip to main content
Příklad validace zmrazí jeden tah agenta ze skutečného hovoru: konverzaci, která mu předcházela, relevantní zvuk volajícího, co agent skutečně udělal a základní pravdu o tom, co by měl udělat. Přehrání sady proti aktuálnímu konceptu zachytí regrese bez uskutečnění dalšího hovoru. K sestavení a kontrole datové sady použijte stránku Validační sady pro celou organizaci (/dashboard/validation). K spuštění sady a kontrole historie běhů použijte kartu Validace jednotlivého agenta.

​
Přidání příkladů z historie hovorů

1

Zvolte Přidat příklady

Vyberte agenta, jehož chování má příklad ověřit. Pracovní prostor zobrazí až 25 posledních nesimulačních hovorů daného agenta.
2

Vyberte hovor a tah agenta

Přečtěte si přepis, najeďte na tah agenta, který chcete zachovat, a vyberte akci kontrolního seznamu. Konverzace až po tento tah a příslušné zvukové úseky volajícího se zkopírují do validační datové sady.
3

Zkontrolujte očekávání

ThunderPhone připraví návrh popisu správného chování. Upravte jej tak, aby byl konkrétní a testovatelný, a případně upravte přijatou ukázkovou odpověď a očekávaná volání nástrojů.
4

Uložte nebo aktivujte

Uložit koncept ponechá příklad ve stavu Vyžaduje kontrolu. Uložit a aktivovat jej zahrne do budoucích validačních běhů.
Opětovné povýšení stejného tahu znovu použije existující příklad namísto vytvoření dvou kopií.

​
Typy a stavy příkladů

Typy popisují, proč příklad existuje: Stavy řídí životní cyklus:

​
Procházení a upřesňování datové sady

Datovou sadu organizace filtrujte podle agenta, stavu nebo typu. Výběr příkladu zobrazí:
  • Zmrazený kontext konverzace a přehratelné zvukové úseky volajícího.
  • Zdrojový hovor a původní odpověď.
  • Očekávání základní pravdy, přijatou mluvenou odpověď a volání nástrojů.
  • Nejnovější přehrání vedle původního a očekávaného chování.
  • Nejnovější verdikt a vysvětlení hodnotitele, pokud jsou k dispozici.
Chcete-li upravit očekávání nebo přijatou odpověď, zvolte Upravit základní pravdu. Chcete-li otestovat pouze tento příklad bez spuštění celého běhu, zvolte Přehrát proti konceptu. Přehrání používají aktuální koncept agenta, nikoli nutně jeho nasazenou konfiguraci.

​
Spuštění validační sady

Na kartě Validace agenta spusťte běh nad každým aktivním příkladem. Každý příklad obdrží jeden z těchto verdiktů:
  • Úspěch — odpověď splňuje očekávání a zvuk volajícího.
  • Varování — odpověď je použitelná, ale jedna kontrola zjistila nejistotu.
  • Selhání — odporuje zvuku nebo postrádá požadované chování.
  • Přeskočeno — nepodařilo se načíst požadovaný zvuk volajícího; je vyloučen ze jmenovatele míry úspěšnosti.
  • Chyba — nepodařilo se dokončit přehrání nebo hodnocení.
Souhrn běhu uvádí počty úspěchů, varování, selhání a přeskočení, míru úspěšnosti, odhadované náklady a případnou regresi z úspěchu na selhání od předchozího dokončeného běhu. V jednu chvíli může být aktivní pouze jeden validační běh pro každého agenta.

​
Nasazení s důkazy z validace

Když má agent příklady validace, dialog nasazení uvádí, zda nejnovější dokončený běh odpovídá aktuálnímu konceptu. Můžete:
  • Nasadit se zobrazenou mírou úspěšnosti a počtem regresí.
  • Nejprve spustit validaci, pokud neexistuje odpovídající běh.
  • Záměrně nasadit i přesto, když byl výsledek zkontrolován.
Validace je důkaz a kontrola před nasazením, nikoli automatické rozdělení provozního provozu. Pro porovnání v reálném provozu použijte Experimenty (A/B testování).

​
Automatizace API

API sad validace zahrnuje povyšování tahů, správu příkladů, streamování připnutého zvuku, jednotlivá přehrání, dávkové běhy, výsledky běhů, stav při nasazení a přehled organizace.