Skip to main content
A/B testování odpovídá na otázku „je nový prompt skutečně lepší?“ pomocí dat namísto dojmů: příchozí hovory jsou rozděleny mezi varianty agenta, každý hovor se vyhodnocuje jako obvykle a porovnávají se míry úspěšnosti jednotlivých variant. Existují dvě místa:
  • Pro jednotlivé agenty — testy se konfigurují a ladí v nástroji pro sestavení každého agenta na kartě A/B (/dashboard/agents/<id>?tab=variants). Zde vytváříte varianty a zapínáte test.
  • Přehled napříč agenty — stránka Experimenty (/dashboard/experiments, v sekci Kvalita a testování) sdružuje testy všech agentů do jedné tabulky.

​
Nastavení testu

Na stránce Experimenty klikněte na Nastavit A/B test a vyberte agenta — přejdete na kartu A/B daného agenta, kde vytvoříte konfigurace variant (jedna je označena jako kontrolní) a povolíte rozdělené testování. Informace o samotném nástroji pro sestavení najdete v části Vytvoření agenta.

​
Čtení přehledu

U každého agenta s testem tabulka Experimenty zobrazuje:
  • Stav — Aktivní (rozdělené testování je zapnuté) nebo Pozastaveno.
  • Varianty — každou variantu jako štítek včetně označení kontrolní varianty.
  • Vedoucí — variantu s dosud nejlepší mírou úspěšnosti včetně jejího procenta. Dokud varianty nemají vyhodnocené hovory, zobrazí se Zatím není dostatek dat — neurčujte vítěze podle několika málo hovorů.
  • Hovory — celkový počet hovorů napříč variantami testu.
Agenti bez testu jsou uvedeni níže jako nabídka, jak test spustit jedním kliknutím. Kliknutím na libovolný řádek přejdete na kartu A/B daného agenta, kde můžete test doladit nebo ukončit.
Informace o tom, která varianta hovor zpracovala, se zaznamenává přímo u hovoru, takže můžete filtrovat a namátkově kontrolovat přepisy obou stran v historii hovorů.
Upřednostněte tuto integrovanou funkci před vlastním vytvářením přiřazování A/B ve webhooku dynamické konfigurace — získáte přiřazování, statistiky pro jednotlivé varianty i vyhodnocování automaticky.

​
Další kroky

Vytvoření agenta

Vytvořte varianty na kartě A/B agenta.

Simulace

Testování s AI volajícími před nasazením, než rozhodne skutečný provoz.