> ## Documentation Index
> Fetch the complete documentation index at: https://docs.thunderphone.com/llms.txt
> Use this file to discover all available pages before exploring further.

# किसी एजेंट को एंड-टू-एंड टेस्ट करें (API)

> टेस्ट-कॉल्स API के साथ अपने एजेंट पर तैयार सिनेरियो चलाएँ, ताकि ग्राहक उन्हें सुनें उससे पहले रिग्रेशन पकड़ लिए जाएँ।

<Note>
  डैशबोर्ड पसंद है? यही क्षमता **सिमुलेशन**
  (`/dashboard/simulations`) में उपलब्ध है, जिसमें AI सिनेरियो जनरेशन भी शामिल है — देखें
  [कॉल सिमुलेट करें](/hi/guides/simulate-a-call)। यह पेज
  प्रोग्रामेटिक तरीके को कवर करता है।
</Note>

AI एजेंट पर इटरेट करने का मतलब उसके प्रॉम्प्ट, उसके टूल्स,
और एज केस को संभालने के तरीके पर इटरेट करना है। **test-calls API** आपके दिए गए
सिनेरियो प्रॉम्प्ट का उपयोग करके एजेंट के विरुद्ध वास्तविक
(bot-to-bot या SIP लूपबैक) कॉल चलाता है — हर रन ट्रांसक्रिप्ट,
ग्रेडिंग और बिलिंग के साथ एक वास्तविक कॉल लॉग बनाता है, ताकि आप ठीक-ठीक देख सकें कि एजेंट
कैसे व्यवहार करता है और उसकी लागत कितनी है।

इसका उपयोग करें:

* हर प्रॉम्प्ट एडिट के बाद प्री-डिप्लॉय स्मोक टेस्ट के लिए
* CI में जोड़े गए रिग्रेशन सूट के लिए (`test-call.completed` वेबहुक
  हुक करें → स्कोर घटने पर बिल्ड फेल करें)
* कॉन्करेंसी सीमाओं का स्ट्रेस टेस्ट करने के लिए

## वन-शॉट: एकल रन

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-calls \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "scenario_prompt": "You are a polite caller asking about refund policy for order 12345.",
    "consent_to_charge": true
  }'
```

फ़ील्ड:

| फ़ील्ड              | टाइप     | आवश्यक  | विवरण                                                             |
| ------------------- | -------- | ------- | ----------------------------------------------------------------- |
| `target_type`       | स्ट्रिंग | हाँ     | `agent` या `phone_number`                                         |
| `target_id`         | इंटीजर   | हाँ     | एजेंट id (या फ़ोन नंबर id)                                        |
| `direction`         | स्ट्रिंग | हाँ     | `outbound` (बॉट कॉल करता है) या `inbound` (बॉट जवाब देता है)      |
| `scenario_prompt`   | स्ट्रिंग | नहीं    | यह तय करता है कि टेस्ट बॉट क्या कहता है                           |
| `mode`              | स्ट्रिंग | नहीं    | `bot` (bot-to-bot, डिफ़ॉल्ट) या `sip` (SIP लूपबैक)                |
| `consent_to_charge` | बूलियन   | **हाँ** | `true` होना आवश्यक है। टेस्ट कॉल की लागत सामान्य दर की 2× होती है |
| `target_number`     | स्ट्रिंग | नहीं    | बॉट के caller id (E.164) के लिए ओवरराइड                           |

रिस्पॉन्स में `status="queued"` वाला एक [टेस्ट कॉल रन ऑब्जेक्ट](/api-reference/test-calls#test-call-run-object)
होता है। `status` के `completed` या
`failed` होने तक पोल करें; `call_id` सेट होने के बाद, ट्रांसक्रिप्ट को
[`GET /v1/calls/{call_id}/transcript`](/api-reference/calls#get-transcript) के जरिए लोड करें।

## बैच: समानांतर सिनेरियो

N सिनेरियो एक साथ चलाएँ — उन रिग्रेशन सूट के लिए उपयोगी है जो
हर ज्ञात एज केस को समानांतर रूप से हिट करते हैं:

```bash theme={null}
curl -X POST https://api.thunderphone.com/v1/test-call-batches \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "target_type":     "agent",
    "target_id":       12,
    "direction":       "outbound",
    "run_count":       5,
    "stagger_seconds": 2,
    "scenario_prompts": [
      "Ask about refund policy.",
      "Ask for hours of operation.",
      "Complain about a delayed shipment.",
      "Ask to speak with a human.",
      "Ask an unrelated trivia question."
    ],
    "consent_to_charge": true
  }'
```

रिस्पॉन्स में चाइल्ड रन id की `run_ids` सूची होती है। बैच
स्टेटस प्राप्त करें:

```bash theme={null}
curl https://api.thunderphone.com/v1/test-call-batches/{batch_id} \
  -H "Authorization: Bearer sk_live_YOUR_API_KEY"
```

`run_count` की सीमा 20 है; एजेंट पर अत्यधिक लोड से बचने के लिए `stagger_seconds` स्पॉन के बीच
अंतर रखता है (0–60 सेकंड)।

## इसे CI में जोड़ें

**सिमुलेशन** पेज
(`/dashboard/simulations`) पर एक रिलीज़ गेट सूट बनाएं — एजेंट चुनें, मैन्युअल रूप से सिनेरियो जोड़ें या एजेंट के
प्रॉम्प्ट से उनके ड्राफ्ट बनाने के लिए **AI के साथ सिनेरियो जनरेट करें** पर क्लिक करें
(वैकल्पिक एज-केस पास के साथ), और उन्हें एक सूट में समूहित करें।
एक सूट अपने सिनेरियो और एजेंट, साथ ही न्यूनतम पास रेट और
वैकल्पिक शून्य-क्रिटिकल-फेल्योर नियम को पिन करता है। पास होने वाले रन स्वीकार किए गए
बेसलाइन बन जाते हैं; बाद के pass→fail ट्रांज़िशन रिग्रेशन के रूप में लौटाए जाते हैं।

CI में एक [संगठन API key](/api-reference/developer-api-keys) का उपयोग करें।
यह स्क्रिप्ट सूट को ट्रिगर करती है, ग्रेडिंग और तुलना पूरी होने तक पोल करती है,
और वर्डिक्ट `pass` न होने पर नॉनज़ीरो एग्ज़िट करती है:

```bash theme={null}
#!/usr/bin/env bash
set -euo pipefail

: "${THUNDERPHONE_API_KEY:?Set THUNDERPHONE_API_KEY}"
: "${THUNDERPHONE_ORG_ID:?Set THUNDERPHONE_ORG_ID}"
: "${THUNDERPHONE_SUITE_ID:?Set THUNDERPHONE_SUITE_ID}"

base="https://api.thunderphone.com/v1/orgs/${THUNDERPHONE_ORG_ID}/suites/${THUNDERPHONE_SUITE_ID}"
auth="Authorization: Bearer ${THUNDERPHONE_API_KEY}"

run_id="$(curl --fail --silent --show-error -X POST "${base}/run" \
  -H "$auth" -H "Content-Type: application/json" -d '{}' | jq -r '.id')"

deadline=$((SECONDS + 1800))
while (( SECONDS < deadline )); do
  result="$(curl --fail --silent --show-error \
    "${base}/runs/${run_id}" -H "$auth")"
  status="$(jq -r '.status' <<<"$result")"
  if [[ "$status" == "completed" ]]; then
    jq . <<<"$result"
    [[ "$(jq -r '.verdict' <<<"$result")" == "pass" ]]
    exit
  fi
  sleep 10
done

echo "ThunderPhone suite timed out" >&2
exit 1
```

`POST /v1/orgs/{org_id}/suites/{suite_id}/run` रन id के साथ `202` लौटाता है।
`GET /v1/orgs/{org_id}/suites/{suite_id}/runs/{run_id}` `status`, `verdict`,
`pass_rate`, `critical_failure_count`, और बेसलाइन `regressions` सूची लौटाता है।
दोनों एंडपॉइंट URL संगठन को API key के संगठन से बाइंड करते हैं।

## पैटर्न

### प्रति-प्रॉम्प्ट रिग्रेशन कॉर्पस

`{name, scenario_prompt, expected_outcome}` ट्यूपल्स की एक JSON फ़ाइल बनाए रखें।
हर प्रॉम्प्ट बदलाव पर, पूरे सेट को बैच के रूप में चलाएं; ट्रांसक्रिप्ट और ग्रेड को
पिछले रन से डिफ करें।

### प्रति-रिलीज़ स्मोक टेस्ट

पांच हैपी-पाथ सिनेरियो का एक बैच, जिसे आप हर डिप्लॉय के बाद चलाते हैं।
यह लेटेंसी-संवेदनशील है, इसलिए `stagger_seconds: 0` रखें।

### लेटेंसी बेंचमार्किंग

अलग-अलग प्रोडक्ट टियर्स (`spark`,
`bolt`, `storm-base`) के विरुद्ध समान सिनेरियो चलाएं। `call.graded` स्कोर और
हर परिणामी कॉल लॉग से `duration_seconds` की तुलना करें।

***

## अगले चरण

<CardGroup cols={2}>
  <Card title="टेस्ट कॉल्स रेफरेंस" icon="flask" href="/api-reference/test-calls">
    हर क्वेरी पैरामीटर, स्टेटस कोड और बैच शेप।
  </Card>

  <Card title="AI ग्रेडिंग" icon="chart-line" href="/api-reference/calls#ai-call-grading">
    समय के साथ क्वालिटी ट्रैक करने के लिए हर टेस्ट रन को ऑटो-स्कोर करें।
  </Card>

  <Card title="इश्यू रिपोर्ट्स" icon="triangle-exclamation" href="/api-reference/issue-reports">
    मानवीय समीक्षा के लिए विशिष्ट टेस्ट फ्लैग करें।
  </Card>

  <Card title="test-call.completed वेबहुक" icon="bolt" href="/hi/webhooks/events">
    परिणामों को अपने CI / Slack / PagerDuty में स्ट्रीम करें।
  </Card>
</CardGroup>