語音智能體（Audio Agent）概述
語音智能體（Audio Agent）概述
語音智能體（Audio Agent）是 GPTBots 開發空間中面向語音互動的 Agent 類型。使用者以說話代替打字，Agent 以語音回覆，實現接近真人的即時通話體驗。它既能嵌入網頁作為語音對話元件，也能透過電話系統直接接聽來電，適合語音客服、電話導覽、語音助理、口語陪練等場景。
與文字 Agent 相比，語音智能體的差異體現在三處：
- 輸入輸出是語音：不同的模式下，對語音的處理模式不同
- 即時會話：基於長連線維持一通對話，支援使用者隨時開口打斷（barge-in），並具備斷線重連能力。
- 按語音用量計費：以語音辨識、語音合成與通話時長為計量口徑扣減點數，而非按文字訊息條數。
核心概念
理解以下幾個概念，有助於設定和除錯語音智能體：
| 概念 | 說明 |
|---|---|
| ASR（語音辨識） | Automatic Speech Recognition，把使用者說的話轉寫成文字，供大模型理解。 |
| LLM（大模型推理） | 根據辨識到的文字和上下文產生回覆，這一層與文字 Agent 一致，可呼叫知識庫、資料庫、記憶等能力。 |
| TTS（語音合成） | Text-To-Speech，把大模型產生的文字回覆合成為語音朗讀給使用者。 |
| VAD（語音活動偵測） | Voice Activity Detection，判斷使用者何時開始說話、何時說完，是實現自然斷句與語音打斷的基礎。 |
| 即時通話 | 一通語音對話在一條長連線上進行，Agent 邊聽邊應答。 |
三種語音引擎模式
語音智能體提供三種引擎模式，決定了「語音—文字—語音」這條鏈路由誰來完成。建立後可在設定頁頂部切換，不同模式展示的模型與參數也不同。
| 模式 | 鏈路 | 特點 | 適用場景 |
|---|---|---|---|
| 即時模型 （Real-time model / REALTIME） |
延遲最低、單個即時語音大模型端對端處理音訊輸入與輸出 | 延遲最低、語氣自然，但音色與文字可控性相對有限 | 追求最低延遲、口語化的即時通話 |
| ASR-LLM-TTS | 語音辨識 → 文字大模型 → 語音合成，三段式 | 延遲最高、文字模型能力最強、可控性最高，可自由搭配 ASR、LLM、TTS 模型 | 需要複雜業務邏輯、工具呼叫、嚴格話術控制的語音客服 |
| LLM+TTS | 支援語音輸入的大模型直接理解語音 → 語音合成 | 延遲中等、省去獨立 ASR 環節，由大模型直接「聽懂」語音 | 所選大模型原生支援語音輸入，希望簡化鏈路 |
選型建議詳見最佳實踐。三種模式共享知識庫、資料庫、記憶、通話控制與歡迎引導等能力，只是語音鏈路的實現方式不同。
核心功能
- 即時語音對話：使用者說話，Agent 即時應答，形成多輪通話。
- 語音打斷（barge-in）：使用者可在 Agent 說話時開口打斷，敏感度可調，貼近真人對話習慣。
- 歡迎引導：通話開始時播放歡迎語；可上傳「講話」與「等待」兩段虛擬人形象循環影片，讓語音對話具備視覺化形象。
- 通話控制：支援冷場自動追問、逾時或長時間沉默自動掛斷，避免通話空轉或無限佔用。
- 背景音：可為通話疊加辦公室、咖啡廳、雨聲等預置環境音，或上傳自訂音訊，營造氛圍（僅 ASR-LLM-TTS 與 LLM+TTS 模式生效）。
- TTS 文字清理：把回覆文字中的括號、Markdown 標記等符號移除或替換後再朗讀，避免讀出符號。
- 圖片辨識：對話中支援辨識 1 張圖片，讓語音場景也能處理圖像資訊。
- 語音品質校驗：平台內建校驗，自動過濾過短音訊和常見的辨識「幻聽」短語（如「感謝觀看」「歡迎訂閱」等），減少誤觸發。
- 電話 / SIP 接入：可綁定 Twilio 號碼呼入，或透過第三方 SIP 系統轉接呼入，讓 Agent 直接接聽電話。詳見電話系統接入操作手冊。
快速開始
- 建立：進入開發空間 → 建立 Agent，選擇「語音智能體（Audio Agent）」類型。
- 選擇引擎模式與模型：在設定頁頂部的語音引擎面板選擇即時模型 / ASR-LLM-TTS / LLM+TTS，並為對應環節挑選模型（Audio LLM / ASR / LLM / TTS）。
- 設定語音與通話參數：按需設定語音打斷、停頓斷句、歡迎語、冷場追問、自動掛斷等，詳見配置指引。
- 除錯體驗：在除錯視窗發起語音對話，驗證辨識是否準確、打斷是否靈敏、音色與語速是否合適。
- 整合上線：將語音智能體接入你的業務，支援兩種方式：
計費與並行
語音通話按語音用量（語音辨識、語音合成、通話時長）扣減點數。點數不足或超出並行通話上限時，新的來電會被拒接。上線前請確認帳戶點數充足、並行額度滿足預期話務量。電話接入的常見問題可參考電話系統接入操作手冊的 FAQ 部分。