> ## Documentation Index
> Fetch the complete documentation index at: https://docs.thunderphone.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Протестируйте агента от начала до конца (API)

> Запускайте готовые сценарии через своего агента с помощью API тестовых звонков, чтобы выявлять регрессии до того, как их услышат клиенты.

<Note>
  Предпочитаете панель управления? Эта же возможность доступна в разделе **Simulations**
  (`/dashboard/simulations`), включая генерацию сценариев с помощью ИИ — см.
  [Смоделировать звонок](/ru/guides/simulate-a-call). На этой странице описан
  программный способ.
</Note>

Итерация над ИИ-агентом означает итерацию над его промптом, инструментами
и способом обработки нестандартных случаев. **API test-calls** выполняет реальные
звонки (бот-бот или обратный SIP-вызов) агенту с использованием указанного вами
промпта сценария — каждый запуск создаёт реальный журнал звонка с
расшифровкой, оценкой и биллингом, чтобы вы точно видели, как ведёт себя агент
и сколько это стоит.

Используйте его для:

* Дымовых тестов перед развёртыванием после каждого изменения промпта
* Регрессионных наборов, подключённых к CI (подключите вебхук `test-call.completed`
  → завершайте сборку с ошибкой при снижении оценки)
* Нагрузочного тестирования ограничений параллелизма

## Однократный запуск: один тест

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-calls \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

Поля:

| Поле                | Тип     | Обязательно | Описание                                                     |
| ------------------- | ------- | ----------- | ------------------------------------------------------------ |
| `target_type`       | string  | да          | `agent` или `phone_number`                                   |
| `target_id`         | integer | да          | Идентификатор агента (или номера телефона)                   |
| `direction`         | string  | да          | `outbound` (бот звонит) или `inbound` (бот отвечает)         |
| `scenario_prompt`   | string  | нет         | Определяет, что говорит тестовый бот                         |
| `mode`              | string  | нет         | `bot` (бот-бот, по умолчанию) или `sip` (обратный SIP-вызов) |
| `consent_to_charge` | boolean | **да**      | Должно быть `true`. Тестовые звонки стоят 2× обычного тарифа |
| `target_number`     | string  | нет         | Переопределяет идентификатор звонящего бота (E.164)          |

Ответ представляет собой [объект запуска тестового звонка](/api-reference/test-calls#test-call-run-object)
со значением `status="queued"`. Выполняйте опрос, пока `status` не станет `completed` или
`failed`; после установки `call_id` загрузите расшифровку через
[`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript).

## Пакеты: параллельные сценарии

Запускайте N сценариев одновременно — это полезно для регрессионных наборов,
которые параллельно проверяют каждый известный нестандартный случай:

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-call-batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

Ответ содержит список `run_ids` идентификаторов дочерних запусков. Получите
статус пакета:

```bash theme={null}
curl https://api.thunderphone.com/v1/test-call-batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

Значение `run_count` ограничено 20; `stagger_seconds` распределяет запуски
во времени, чтобы не перегружать агента (0–60 с).

## Подключите к CI

Создайте набор для контрольной проверки релиза на странице **Simulations**
(`/dashboard/simulations`) — выберите агента, добавьте сценарии вручную или
нажмите **Generate scenarios with AI**, чтобы создать их черновики на основе промпта
агента (с дополнительной проверкой пограничных случаев), а затем сгруппируйте их в набор.
Набор фиксирует сценарии и агента, а также минимальный процент успешного прохождения
и необязательное правило отсутствия критических сбоев. Успешные запуски становятся
принятым базовым уровнем; последующие переходы от успешного прохождения к сбою
возвращаются как регрессии.

Используйте [API-ключ организации](/api-reference/developer-api-keys) в CI.
Этот скрипт запускает набор, опрашивает его до завершения оценки и сравнения
и завершается с ненулевым кодом, если вердикт не равен `pass`:

```bash theme={null}
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` возвращает `202` с идентификатором
запуска. `GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` возвращает
`status`, `verdict`, `pass_rate`, `critical_failure_count` и базовый список
`regressions`. Обе конечные точки связывают организацию в URL с организацией
API-ключа.

## Шаблоны

### Корпус регрессий для каждого промпта

Поддерживайте JSON-файл с кортежами `{name, scenario_prompt, expected_outcome}`.
При каждом изменении промпта запускайте полный набор как пакет; сравнивайте
расшифровки и оценки с предыдущим запуском.

### Дымовой тест для каждого релиза

Один пакет из пяти сценариев успешного пути, который вы запускаете после каждого
деплоя. Чувствителен к задержке, поэтому используйте `stagger_seconds: 0`.

### Сравнительный анализ задержки

Запускайте идентичные сценарии на разных тарифах продукта (`spark`,
`bolt`, `storm-base`). Сравнивайте оценки `call.graded` и
`duration_seconds` из каждого полученного журнала звонка.

***

## Следующие шаги

<CardGroup cols={2}>
  <Card title="Справочник по тестовым звонкам" icon="flask" href="/api-reference/test-calls">
    Все параметры запроса, коды состояния и форматы пакетов.
  </Card>

  <Card title="Оценка с помощью ИИ" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    Автоматически оценивайте каждый тестовый запуск, чтобы отслеживать качество со временем.
  </Card>

  <Card title="Отчёты о проблемах" icon="triangle-exclamation" href="/api-reference/issue-reports">
    Отмечайте конкретные тесты для проверки человеком.
  </Card>

  <Card title="Вебхук test-call.completed" icon="bolt" href="/ru/webhooks/events">
    Передавайте результаты в CI / Slack / PagerDuty.
  </Card>
</CardGroup>