> ## Documentation Index
> Fetch the complete documentation index at: https://docs.thunderphone.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Teste um agente de ponta a ponta (API)

> Execute cenários predefinidos com seu agente usando a API de chamadas de teste para que regressões sejam detectadas antes que os clientes as percebam.

<Note>
  Prefere o dashboard? A mesma capacidade está disponível em **Simulações**
  (`/dashboard/simulations`), incluindo geração de cenários por IA — consulte
  [Simular uma chamada](/pt/guides/simulate-a-call). Esta página aborda o caminho
  programático.
</Note>

Iterar em um agente de IA significa iterar em seu prompt, suas ferramentas
e na forma como ele lida com casos extremos. A **API test-calls** executa
chamadas reais (bot para bot ou loopback SIP) contra um agente usando um
prompt de cenário fornecido por você — cada execução produz um registro de
chamada real com transcrição, avaliação e cobrança, para que você veja
exatamente como o agente se comporta e quanto custa.

Use-a para:

* Testes de fumaça antes da implantação após cada edição de prompt
* Suítes de regressão integradas ao CI (conecte o webhook `test-call.completed`
  → falhe o build se a pontuação cair)
* Testar sob estresse os limites de concorrência

## Execução única: uma execução

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-calls \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

Campos:

| Campo               | Tipo    | Obrigatório | Descrição                                                    |
| ------------------- | ------- | ----------- | ------------------------------------------------------------ |
| `target_type`       | string  | sim         | `agent` ou `phone_number`                                    |
| `target_id`         | integer | sim         | O ID do agente (ou o ID do número de telefone)               |
| `direction`         | string  | sim         | `outbound` (o bot faz a chamada) ou `inbound` (o bot atende) |
| `scenario_prompt`   | string  | não         | Define o que o bot de teste diz                              |
| `mode`              | string  | não         | `bot` (bot para bot, padrão) ou `sip` (loopback SIP)         |
| `consent_to_charge` | boolean | **sim**     | Deve ser `true`. Chamadas de teste custam 2× a tarifa normal |
| `target_number`     | string  | não         | Substituição para o ID de quem liga do bot (E.164)           |

A resposta é um [objeto de execução de chamada de teste](/api-reference/test-calls#test-call-run-object)
com `status="queued"`. Consulte-o até que `status` se torne `completed` ou
`failed`; depois que `call_id` for definido, carregue a transcrição por meio de
[`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript).

## Lotes: cenários em paralelo

Execute N cenários simultaneamente — útil para suítes de regressão que
cobrem todos os casos extremos conhecidos em paralelo:

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-call-batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

A resposta contém uma lista `run_ids` de IDs de execuções filhas. Consulte o
status do lote:

```bash theme={null}
curl https://api.thunderphone.com/v1/test-call-batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

`run_count` é limitado a 20; `stagger_seconds` espaça as inicializações
para evitar sobrecarregar o agente (0–60 s).

## Integre ao CI

Crie uma suíte de gate de release na página **Simulações**
(`/dashboard/simulations`) — escolha o agente, adicione cenários manualmente ou
clique em **Gerar cenários com IA** para elaborá-los a partir do prompt do
agente (com uma etapa opcional de casos extremos) e agrupe-os em uma suíte.
Uma suíte fixa seus cenários e agente, além de uma taxa mínima de aprovação e
uma regra opcional de zero falhas críticas. Execuções aprovadas se tornam a
linha de base aceita; transições posteriores de aprovação→falha são retornadas
como regressões.

Use uma [chave de API da organização](/api-reference/developer-api-keys) no CI.
Este script aciona a suíte, consulta o status até que a avaliação e a comparação
sejam concluídas e sai com código diferente de zero, a menos que o veredito seja
`pass`:

```bash theme={null}
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` retorna `202` com o ID da
execução. `GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` retorna
`status`, `verdict`, `pass_rate`, `critical_failure_count` e a lista de
`regressions` da linha de base. Ambos os endpoints vinculam a organização na
URL à organização da chave de API.

## Padrões

### Corpus de regressão por prompt

Mantenha um arquivo JSON com tuplas de `{name, scenario_prompt, expected_outcome}`.
A cada alteração de prompt, execute o conjunto completo em lote; compare as
transcrições e avaliações com a execução anterior.

### Teste de fumaça por release

Um único lote de cinco cenários de caminho ideal executado após cada deploy.
Sensível à latência, portanto mantenha `stagger_seconds: 0`.

### Benchmark de latência

Execute cenários idênticos em diferentes níveis de produto (`spark`,
`bolt`, `storm-base`). Compare as pontuações de `call.graded` e
`duration_seconds` de cada log de chamada resultante.

***

## Próximas etapas

<CardGroup cols={2}>
  <Card title="Referência de chamadas de teste" icon="flask" href="/api-reference/test-calls">
    Todos os parâmetros de consulta, códigos de status e formatos de lote.
  </Card>

  <Card title="Avaliação por IA" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    Avalie automaticamente cada execução de teste para acompanhar a qualidade ao longo do tempo.
  </Card>

  <Card title="Relatórios de problemas" icon="triangle-exclamation" href="/api-reference/issue-reports">
    Sinalize testes específicos para revisão humana.
  </Card>

  <Card title="Webhook test-call.completed" icon="bolt" href="/pt/webhooks/events">
    Transmita resultados para seu CI / Slack / PagerDuty.
  </Card>
</CardGroup>