> ## Documentation Index
> Fetch the complete documentation index at: https://docs.thunderphone.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Testa un agente end-to-end (API)

> Esegui scenari predefiniti con il tuo agente tramite l'API test-calls, così le regressioni vengono individuate prima che le sentano i clienti.

<Note>
  Preferisci la dashboard? La stessa funzionalità è disponibile in **Simulazioni**
  (`/dashboard/simulations`), inclusa la generazione di scenari con IA — consulta
  [Simulare una chiamata](/it/guides/simulate-a-call). Questa pagina descrive il
  percorso programmatico.
</Note>

Iterare su un agente IA significa iterare sul suo prompt, sui suoi strumenti
e sul modo in cui gestisce i casi limite. L'API **test-calls** esegue chiamate
reali (bot-to-bot o loopback SIP) su un agente usando un prompt di scenario
fornito da te — ogni esecuzione produce un registro chiamate reale con
trascrizione, valutazione e fatturazione, così puoi vedere esattamente come si
comporta l'agente e quanto costa.

Usala per:

* Test smoke pre-distribuzione dopo ogni modifica al prompt
* Suite di regressione integrate nella CI (collega il webhook `test-call.completed`
  → fai fallire la build se il punteggio diminuisce)
* Testare sotto stress i limiti di concorrenza

## Esecuzione singola

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-calls \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

Campi:

| Campo               | Tipo    | Obbligatorio | Descrizione                                                            |
| ------------------- | ------- | ------------ | ---------------------------------------------------------------------- |
| `target_type`       | string  | sì           | `agent` o `phone_number`                                               |
| `target_id`         | integer | sì           | L'ID dell'agente (o l'ID del numero di telefono)                       |
| `direction`         | string  | sì           | `outbound` (il bot effettua la chiamata) o `inbound` (il bot risponde) |
| `scenario_prompt`   | string  | no           | Determina ciò che dice il bot di test                                  |
| `mode`              | string  | no           | `bot` (bot-to-bot, predefinito) o `sip` (loopback SIP)                 |
| `consent_to_charge` | boolean | **sì**       | Deve essere `true`. Le chiamate di test costano 2× la tariffa normale  |
| `target_number`     | string  | no           | Override dell'ID chiamante del bot (E.164)                             |

La risposta è un [oggetto di esecuzione della chiamata di test](/api-reference/test-calls#test-call-run-object)
con `status="queued"`. Interroga finché `status` non diventa `completed` o
`failed`; una volta impostato `call_id`, carica la trascrizione tramite
[`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript).

## Batch: scenari paralleli

Esegui N scenari contemporaneamente — utile per le suite di regressione che
coprono ogni caso limite noto in parallelo:

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-call-batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

La risposta contiene un elenco `run_ids` di ID delle esecuzioni figlie. Recupera
lo stato del batch:

```bash theme={null}
curl https://api.thunderphone.com/v1/test-call-batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

`run_count` è limitato a 20; `stagger_seconds` distanzia gli avvii
per evitare di sovraccaricare l'agente (0–60 s).

## Collegalo alla CI

Crea una suite di gate di rilascio nella pagina **Simulazioni**
(`/dashboard/simulations`): scegli l'agente, aggiungi scenari manualmente oppure
fai clic su **Genera scenari con l'IA** per crearne una bozza dal prompt
dell'agente (con un passaggio facoltativo sui casi limite) e raggruppali in una suite.
Una suite fissa i relativi scenari e agente, oltre a una percentuale minima di superamento
e a una regola facoltativa di zero errori critici. Le esecuzioni superate diventano il
riferimento accettato; le successive transizioni da superato a non superato vengono restituite come regressioni.

Usa una [chiave API dell'organizzazione](/api-reference/developer-api-keys) nella CI.
Questo script attiva la suite, esegue il polling finché la valutazione e il confronto non sono
completi ed esce con un codice diverso da zero a meno che il verdetto non sia `pass`:

```bash theme={null}
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` restituisce `202` con l'ID
dell'esecuzione. `GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` restituisce
`status`, `verdict`, `pass_rate`, `critical_failure_count` e l'elenco di
riferimento `regressions`. Entrambi gli endpoint associano l'organizzazione nell'URL
all'organizzazione della chiave API.

## Modelli

### Corpus di regressione per prompt

Mantieni un file JSON di tuple `{name, scenario_prompt, expected_outcome}`.
A ogni modifica del prompt, esegui l'intero set come batch; confronta le
trascrizioni e le valutazioni con l'esecuzione precedente.

### Smoke test per rilascio

Un singolo batch di cinque scenari di percorso ideale da eseguire dopo ogni
distribuzione. È sensibile alla latenza, quindi mantieni `stagger_seconds: 0`.

### Benchmark della latenza

Esegui scenari identici su diversi livelli di prodotto (`spark`,
`bolt`, `storm-base`). Confronta i punteggi `call.graded` e
`duration_seconds` di ciascun log delle chiamate risultante.

***

## Passaggi successivi

<CardGroup cols={2}>
  <Card title="Riferimento delle chiamate di test" icon="flask" href="/api-reference/test-calls">
    Ogni parametro di query, codice di stato e struttura del batch.
  </Card>

  <Card title="Valutazione IA" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    Assegna automaticamente un punteggio a ogni esecuzione di test per monitorare la qualità nel tempo.
  </Card>

  <Card title="Segnalazioni di problemi" icon="triangle-exclamation" href="/api-reference/issue-reports">
    Contrassegna test specifici per la revisione umana.
  </Card>

  <Card title="Webhook test-call.completed" icon="bolt" href="/it/webhooks/events">
    Trasmetti i risultati alla tua CI / Slack / PagerDuty.
  </Card>
</CardGroup>