语音智能体（Audio Agent）概述
语音智能体（Audio Agent）概述
语音智能体（Audio Agent）是 GPTBots 开发空间中面向语音交互的 Agent 类型。用户以说话代替打字，Agent 以语音回复，实现接近真人的实时通话体验。它既能嵌入网页作为语音对话组件，也能通过电话系统直接接听来电，适合语音客服、电话导航、语音助手、口语陪练等场景。
与文本 Agent 相比，语音智能体的差异体现在三处：
- 输入输出是语音：不同的模式下，对语音的处理模式不同
- 实时会话：基于长连接维持一通对话，支持用户随时开口打断（barge-in），并具备断线重连能力。
- 按语音用量计费：以语音识别、语音合成与通话时长为计量口径扣减积分，而非按文本消息条数。
核心概念
理解以下几个概念，有助于配置和调试语音智能体：
| 概念 | 说明 |
|---|---|
| ASR（语音识别） | Automatic Speech Recognition，把用户说的话转写成文本，供大模型理解。 |
| LLM（大模型推理） | 根据识别到的文本和上下文生成回复，这一层与文本 Agent 一致，可调用知识库、数据库、记忆等能力。 |
| TTS（语音合成） | Text-To-Speech，把大模型生成的文本回复合成为语音朗读给用户。 |
| VAD（语音活动检测） | Voice Activity Detection，判断用户何时开始说话、何时说完，是实现自然断句与语音打断的基础。 |
| 实时通话 | 一通语音对话在一条长连接上进行，Agent 边听边应答。 |
三种语音引擎模式
语音智能体提供三种引擎模式，决定了「语音—文本—语音」这条链路由谁来完成。创建后可在配置页顶部切换，不同模式展示的模型与参数也不同。
| 模式 | 链路 | 特点 | 适用场景 |
|---|---|---|---|
| 实时模型 （Real-time model / REALTIME） |
延迟最低、单个实时语音大模型端到端处理音频输入与输出 | 延迟最低、语气自然，但音色与文本可控性相对有限 | 追求最低延迟、口语化的实时通话 |
| ASR-LLM-TTS | 语音识别 → 文本大模型 → 语音合成，三段式 | 延迟最高、文本模型能力最强、可控性最高，可自由搭配 ASR、LLM、TTS 模型 | 需要复杂业务逻辑、工具调用、严格话术控制的语音客服 |
| LLM+TTS | 支持语音输入的大模型直接理解语音 → 语音合成 | 延迟中等、省去独立 ASR 环节，由大模型直接「听懂」语音 | 所选大模型原生支持语音输入，希望简化链路 |
选型建议详见最佳实践。三种模式共享知识库、数据库、记忆、通话控制与欢迎引导等能力，只是语音链路的实现方式不同。
核心功能
- 实时语音对话：用户说话，Agent 实时应答，形成多轮通话。
- 语音打断（barge-in）：用户可在 Agent 说话时开口打断，敏感度可调，贴近真人对话习惯。
- 欢迎引导：通话开始时播放欢迎语；可上传「讲话」与「等待」两段虚拟人形象循环视频，让语音对话具备可视化形象。
- 通话控制：支持冷场自动追问、超时或长时间沉默自动挂断，避免通话空转或无限占用。
- 背景音：可为通话叠加办公室、咖啡厅、雨声等预置环境音，或上传自定义音频，营造氛围（仅 ASR-LLM-TTS 与 LLM+TTS 模式生效）。
- TTS 文本清理：把回复文本中的括号、Markdown 标记等符号移除或替换后再朗读，避免读出符号。
- 图片识别：对话中支持识别 1 张图片，让语音场景也能处理图像信息。
- 语音质量校验：平台内置校验，自动过滤过短音频和常见的识别「幻听」短语（如「感谢观看」「欢迎订阅」等），减少误触发。
- 电话 / SIP 接入：可绑定 Twilio 号码呼入，或通过第三方 SIP 系统转接呼入，让 Agent 直接接听电话。详见电话系统接入操作手册。
快速开始
- 创建：进入开发空间 → 创建 Agent，选择「语音智能体（Audio Agent）」类型。
- 选择引擎模式与模型：在配置页顶部的语音引擎面板选择实时模型 / ASR-LLM-TTS / LLM+TTS，并为对应环节挑选模型（Audio LLM / ASR / LLM / TTS）。
- 配置语音与通话参数：按需设置语音打断、停顿断句、欢迎语、冷场追问、自动挂断等，详见配置指引。
- 调试体验：在调试窗口发起语音对话，验证识别是否准确、打断是否灵敏、音色与语速是否合适。
- 集成上线：将语音智能体接入你的业务，支持两种方式：
计费与并发
语音通话按语音用量（语音识别、语音合成、通话时长）扣减积分。积分不足或超出并发通话上限时，新的来电会被拒接。上线前请确认账户积分充足、并发额度满足预期话务量。电话接入的常见问题可参考电话系统接入操作手册的 FAQ 部分。