> ## Documentation Index
> Fetch the complete documentation index at: https://docs.thunderphone.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Test en agent fra ende til ende (API)

> Kør foruddefinerede scenarier gennem din agent med test-calls-API'et, så regressioner fanges, før kunderne hører dem.

<Note>
  Foretrækker du dashboardet? Den samme funktion findes under **Simuleringer**
  (`/dashboard/simulations`), inklusive AI-generering af scenarier — se
  [Simuler et opkald](/da/guides/simulate-a-call). Denne side dækker den
  programmatisk metode.
</Note>

At iterere på en AI-agent betyder at iterere på dens prompt, dens værktøjer
og den måde, den håndterer randtilfælde på. **test-calls-API'et** udfører reelle
(bot-til-bot- eller SIP-loopback-)opkald mod en agent ved hjælp af en
scenarioprompt, du angiver — hver kørsel producerer en reel opkaldslog med
transskription, bedømmelse og fakturering, så du præcist kan se, hvordan agenten
opfører sig, og hvad den koster.

Brug det til:

* Smoke-tests før implementering efter hver promptændring
* Regressionstestpakker koblet til CI (tilslut webhookpen `test-call.completed`
  → lad buildet fejle, hvis scoren falder)
* Stresstest af samtidighedsgrænser

## Enkeltkørsel: enkelt kørsel

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-calls \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

Felter:

| Felt                | Type    | Påkrævet | Beskrivelse                                                                       |
| ------------------- | ------- | -------- | --------------------------------------------------------------------------------- |
| `target_type`       | string  | ja       | `agent` eller `phone_number`                                                      |
| `target_id`         | integer | ja       | Agent-id'et (eller telefonnummer-id'et)                                           |
| `direction`         | string  | ja       | `outbound` (botten foretager opkaldet) eller `inbound` (botten besvarer opkaldet) |
| `scenario_prompt`   | string  | nej      | Styrer, hvad testbotten siger                                                     |
| `mode`              | string  | nej      | `bot` (bot-til-bot, standard) eller `sip` (SIP-loopback)                          |
| `consent_to_charge` | boolean | **ja**   | Skal være `true`. Testopkald koster 2× den normale takst                          |
| `target_number`     | string  | nej      | Tilsidesæt testbottens opkalds-id (E.164)                                         |

Svaret er et [Test call run-objekt](/api-reference/test-calls#test-call-run-object)
med `status="queued"`. Forespørg gentagne gange, indtil `status` bliver `completed` eller
`failed`; når `call_id` er angivet, skal du hente transskriptionen via
[`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript).

## Batches: parallelle scenarier

Kør N scenarier samtidigt — nyttigt til regressionstestpakker, der
rammer alle kendte randtilfælde parallelt:

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-call-batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

Svaret indeholder en `run_ids`-liste med underkørsels-id'er. Hent
batchstatus:

```bash theme={null}
curl https://api.thunderphone.com/v1/test-call-batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

`run_count` er begrænset til 20; `stagger_seconds` fordeler opstartene
for at undgå at overbelaste agenten (0–60 s).

## Kobl det til CI

Opret en suite med udgivelsesgate på siden **Simuleringer**
(`/dashboard/simulations`) — vælg agenten, tilføj scenarier manuelt, eller
klik på **Generer scenarier med AI** for at udarbejde dem ud fra agentens
prompt (med en valgfri gennemgang af randtilfælde), og gruppér dem i en suite.
En suite fastlåser sine scenarier og sin agent samt en minimumsbeståelsesrate og
en valgfri regel om nul kritiske fejl. Beståede kørsler bliver den accepterede
baseline; senere overgange fra bestået til fejlet returneres som regressioner.

Brug en [API-nøgle for organisationen](/api-reference/developer-api-keys) i CI.
Dette script udløser suiten, forespørger løbende, indtil bedømmelse og
sammenligning er fuldført, og afslutter med en anden status end nul, medmindre
afgørelsen er `pass`:

```bash theme={null}
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` returnerer `202` med
kørsels-id'et. `GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` returnerer
`status`, `verdict`, `pass_rate`, `critical_failure_count` og baseline-listen
`regressions`. Begge endpoints knytter organisationen i URL'en til API-nøglens
organisation.

## Mønstre

### Regressionskorpus pr. prompt

Vedligehold en JSON-fil med tuplerne `{name, scenario_prompt, expected_outcome}`.
Kør hele sættet som en batch ved hver promptændring; sammenlign transskriptionerne
og bedømmelserne med den forrige kørsel.

### Smoke-test pr. udgivelse

En enkelt batch med fem scenarier for den normale brugerrejse, som du kører efter
hver deploy. Den er latensfølsom, så behold `stagger_seconds: 0`.

### Latensbenchmarking

Kør identiske scenarier mod forskellige produktniveauer (`spark`,
`bolt`, `storm-base`). Sammenlign scorerne for `call.graded` og
`duration_seconds` fra hver resulterende opkaldslog.

***

## Næste trin

<CardGroup cols={2}>
  <Card title="Reference til testopkald" icon="flask" href="/api-reference/test-calls">
    Alle queryparametre, statuskoder og batchformater.
  </Card>

  <Card title="AI-bedømmelse" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    Giv automatisk score til hver testkørsel for at følge kvaliteten over tid.
  </Card>

  <Card title="Problemrapporter" icon="triangle-exclamation" href="/api-reference/issue-reports">
    Markér specifikke tests til menneskelig gennemgang.
  </Card>

  <Card title="test-call.completed-webhook" icon="bolt" href="/da/webhooks/events">
    Stream resultater til din CI / Slack / PagerDuty.
  </Card>
</CardGroup>