Skip to main content
Ein Validierungsbeispiel friert einen Agentenzug aus einem echten Anruf ein: die vorangehende Unterhaltung, die relevanten Audioabschnitte des Anrufers, das, was der Agent tatsächlich getan hat, und die Referenzvorgabe dafür, was er tun sollte. Die erneute Ausführung eines Satzes mit dem aktuellen Entwurf erkennt Regressionen, ohne einen weiteren Anruf zu tätigen. Verwenden Sie die organisationsweite Seite Validierungssätze (/dashboard/validation), um den Datensatz zu erstellen und zu prüfen. Verwenden Sie den Tab Validierung eines einzelnen Agents, um den Satz auszuführen und den Verlauf der Durchläufe zu prüfen.

​
Beispiele aus dem Anrufverlauf hinzufügen

1

Beispiele hinzufügen auswählen

Wählen Sie den Agent aus, dessen Verhalten das Beispiel validieren soll. Der Arbeitsbereich zeigt bis zu 25 aktuelle, nicht simulierte Anrufe für diesen Agent an.
2

Anruf und Agentenzug auswählen

Lesen Sie das Transkript, bewegen Sie den Mauszeiger über den Agentenzug, den Sie beibehalten möchten, und wählen Sie die Checklisten-Aktion aus. Die Unterhaltung bis zu diesem Zug und die zugehörigen Audioabschnitte des Anrufers werden in den Validierungsdatensatz kopiert.
3

Erwartung prüfen

ThunderPhone erstellt einen Entwurf für eine Beschreibung des korrekten Verhaltens. Bearbeiten Sie ihn so, dass er spezifisch und testbar ist, und bearbeiten Sie optional die akzeptierte Beispielantwort und die erwarteten Tool-Aufrufe.
4

Speichern oder aktivieren

Entwurf speichern belässt das Beispiel in Überprüfung erforderlich. Speichern und aktivieren nimmt es in zukünftige Validierungsläufe auf.
Wenn Sie denselben Zug zweimal übernehmen, wird das vorhandene Beispiel wiederverwendet, statt zwei Kopien zu erstellen.

​
Beispieltypen und Status

Typen beschreiben, warum ein Beispiel existiert: Status steuern den Lebenszyklus:

​
Datensatz durchsuchen und verfeinern

Filtern Sie den Organisationsdatensatz nach Agent, Status oder Typ. Durch Auswahl eines Beispiels werden folgende Informationen angezeigt:
  • Eingefrorener Unterhaltungskontext und abspielbare Audioabschnitte des Anrufers.
  • Der Ursprungsanruf und die ursprüngliche Antwort.
  • Referenzerwartung, akzeptierte gesprochene Antwort und Tool-Aufrufe.
  • Die letzte erneute Ausführung neben dem ursprünglichen und erwarteten Verhalten.
  • Das letzte Urteil und Erklärungen der Bewertungsinstanz, sofern verfügbar.
Wählen Sie Referenzvorgabe bearbeiten, um die Erwartung oder akzeptierte Antwort zu überarbeiten. Wählen Sie Mit Entwurf erneut ausführen, um nur dieses Beispiel zu testen, ohne einen vollständigen Durchlauf zu starten. Erneute Ausführungen verwenden den aktuellen Entwurf des Agents, nicht unbedingt dessen bereitgestellte Konfiguration.

​
Einen Validierungssatz ausführen

Starten Sie im Tab Validierung des Agents einen Durchlauf für jedes aktive Beispiel. Jedes Beispiel erhält eines dieser Urteile:
  • Bestanden — die Antwort erfüllt die Erwartung und berücksichtigt die Audioinhalte des Anrufers.
  • Warnung — die Antwort ist verwendbar, aber eine Prüfung hat Unsicherheit festgestellt.
  • Fehlgeschlagen — sie widerspricht den Audioinhalten oder verfehlt erforderliches Verhalten.
  • Übersprungen — erforderliche Audioinhalte des Anrufers konnten nicht geladen werden; sie werden vom Nenner der Bestehensquote ausgeschlossen.
  • Fehler — erneute Ausführung oder Bewertung konnte nicht abgeschlossen werden.
Die Zusammenfassung des Durchlaufs enthält die Anzahl bestandener Fälle, Warnungen, Fehler und übersprungener Fälle, die Bestehensquote, die geschätzten Kosten und jede Regression von bestanden zu fehlgeschlagen seit dem vorherigen abgeschlossenen Durchlauf. Pro Agent kann jeweils nur ein Validierungslauf aktiv sein.

​
Mit Validierungsnachweisen bereitstellen

Wenn ein Agent Validierungsbeispiele hat, zeigt der Bereitstellungsdialog an, ob der zuletzt abgeschlossene Durchlauf mit dem aktuellen Entwurf übereinstimmt. Sie können:
  • Mit der angezeigten Erfolgsquote und Anzahl der Regressionen bereitstellen.
  • Zuerst die Validierung ausführen, wenn kein passender Durchlauf vorhanden ist.
  • Nach Überprüfung des Ergebnisses bewusst trotzdem bereitstellen.
Die Validierung ist ein Nachweis und eine Bereitstellungsprüfung, keine automatische Aufteilung des Produktionsdatenverkehrs. Für Live-Vergleiche verwenden Sie Experimente (A/B-Tests).

​
API-Automatisierung

Die Validation Sets API unterstützt das Hochstufen von Turns, die Verwaltung von Beispielen, das Streamen angehefteter Audiodaten, einzelne Wiederholungen, Batch-Durchläufe, Durchlaufergebnisse, Status beim Bereitstellen und die Organisationsübersicht.