语音智能体最佳实践

本文汇总语音智能体在选型、调优与上线中的常见做法，帮助你更快得到一个「听得清、答得准、说得自然」的语音 Agent。各参数的含义与取值范围见配置指引。

引擎模式怎么选

先按需求定位模式，再挑模型：

• 追求最低延迟、口语自然 → 实时模型（REALTIME）：延迟最低，适合闲聊陪练、语音导航等对反应速度敏感、话术相对开放的场景。
• 需要强文本能力、工具调用、严格话术 → ASR-LLM-TTS：延迟最高，文本大模型可控性最高，能稳定接入知识库、数据库与工具，适合语音客服、业务办理等场景；音色由独立 TTS 决定，便于统一品牌音。
• 模型原生支持语音输入、想简化链路 → LLM+TTS：延迟中等，省去一段独立 ASR，由大模型直接「听懂」语音，链路更短。

VAD 与打断调优

VAD 决定「Agent 什么时候认为你说完了」，直接影响体验。按场景取舍：

• 语音客服 / 热线（要快、可打断）：适当调高语音打断灵敏度，让用户能随时插话；停顿断句可略小，缩短应答等待。代价是嘈杂环境下更易被误打断。
• 深度问答 / 口播朗读（要稳、少误打断）：调低语音打断灵敏度，停顿断句适当调大，避免用户思考停顿时被抢话。
• 嘈杂环境：在实时模型的预设模式下调高音量激活阈值，减少背景噪声误触发。
• 预设模式 vs 语义模式（仅实时模型）：追求稳定、可预期的断句用预设模式；希望 Agent 依据语义判断用户是否说完，用语义模式并配合响应速度微调节奏。

建议先用默认值（停顿断句 500 ms、语音打断 0.5）体验，再针对实际录音逐档微调，一次只改一个参数。

身份提示词写法

语音场景下用户「听」而非「读」，提示词宜简洁口语化：

• 明确角色与边界：是谁、能做什么、不谈什么。
• 要求短句作答，避免长段落、项目符号、表格等不适合朗读的结构。
• 约定口语化表达：数字、金额、时间尽量以自然口语念出，减少生硬术语。
• 指定语言与语气：如「用简体中文、礼貌简洁地回答」。

TTS 文本清理

大模型的文本回复常含符号，直接合成会被「读」出来。用移除与替换两项清理：

• 移除：括号 ()、方括号 []、书名号 《》、星号 *、井号 # 等 Markdown 与排版符号，避免读出「星号」「井号」。
• 替换为空格：用于需要停顿但不该念出的符号，改善断句自然度。
• 成对括号作为一个整体填写（如 ()），多个符号用英文逗号分隔。

配合身份提示词要求模型「不要输出 Markdown」，双管齐下效果更好。

欢迎引导与虚拟人形象

• 欢迎语要短、直奔主题，一句话说明身份与用途，例如「您好，这里是 XX 客服，请问需要什么帮助？」
• 讲话 / 等待形象视频务必首尾帧相连，否则循环时会出现明显跳帧。讲话形象对应「正在说话」，等待形象对应「正在倾听」。
• 多语言业务记得为每种语言分别配置欢迎语与形象。

通话控制策略

给每通对话设好「兜底」，避免空转和资源占用：

• 冷场控制：设置合理的沉默超时（默认 10 秒）并配一句自然的冷场提示，如「您还在吗？需要我继续吗？」把用户拉回。
• 自动挂断：用最大通话时长（默认 600 秒）和最大沉默次数（默认 5 次）兜底，防止无限通话或长时间无人应答的挂线占用。挂断提示限 20 tokens 以内，简短告别即可。

背景音使用注意

• 背景音量不宜盖过人声（默认 30，范围 1~50），过高会拉低识别准确率与通话清晰度。
• 自定义背景音需为 mp3 且 ≤ 1 MB。

语音识别质量

• 面向特定领域时，善用 ASR 转录指令 提示专有名词、品牌名、行业术语，显著改善识别准确率。
• 用户语言固定时，语音语言尽量指定而非「自动识别」，稳定性更好。
• 平台内置语音质量校验：会自动丢弃过短（不足 1 秒）的音频，并过滤常见的识别「幻听」短语（如「感谢观看」「欢迎订阅」等无意义结果），减少误触发。这类结果被忽略属正常现象，无需额外配置。

上线与集成

• 网页嵌入：将语音智能体作为语音对话组件嵌入网站，参见 Iframe 集成。
• 电话接入：绑定 Twilio 号码呼入，或通过第三方 SIP 系统转接呼入，参见电话系统接入操作手册。

计费与并发

• 语音通话按语音用量扣减积分，积分耗尽会导致来电被拒接，请预留余量。
• 关注并发通话上限：超限的新来电会被拒接。上线前按预期话务量评估并发需求。
• 通话记录可在日志 / 对话记录中查看，含会话来源、来电号码、多轮问答与运行时序，便于回溯与优化。