语音智能体配置指引
本文按配置页从上到下的面板顺序逐项说明各参数:它的作用、取值范围与默认值、以及适用的引擎模式。语音智能体在保留知识、数据库、记忆等通用能力的同时,新增了语音引擎、输入、输出、欢迎引导、通话控制五组语音相关配置。
若还不了解语音智能体的基本概念与三种引擎模式,建议先阅读语音智能体概述。
语音引擎
语音引擎面板顶部是引擎模式选择器,可切换实时模型(Real-time model)、ASR-LLM-TTS、LLM+TTS。切换后,下方展示的模型与参数会随之变化。
实时模型(REALTIME)
由单个实时语音大模型端到端完成「听 — 想 — 说」,音频的输入与输出都在同一模型内闭环,中间不经过独立的语音识别与合成,因此延迟最低、语气最自然。
通常来说,我们更加推荐实时模型模式,延迟最低、语气自然,适合大多数实时语音场景。OpenAI 即将发布的 Live 模型不仅支持全双工实时语音,面对复杂任务可以后台调用更高能力的文本大模型,未来将成为实时语音的首选方案。
graph LR U([用户语音]) --> RT[实时语音大模型 端到端处理] RT --> A([语音回复])
实时模型把识别、推理、合成都收敛在一个模型里,因此配置项最精简:
| 配置项 | 必选 | 说明 |
|---|---|---|
| Audio LLM | 是 | 选择端到端处理语音的实时大模型,识别、推理、合成均由它完成。 |
| 模型参数 | 否 | Temperature、Top P、最大响应长度、音色等,与普通大模型参数一致,控制回复的随机性、长度与音色。 |
| 身份提示 | 否 | 设定 Agent 的身份与角色,作为系统提示注入对话;三种模式通用。 |
实时模型没有独立的 ASR / TTS 环节,因此不提供转录指令、语音语言、TTS 符号清理(移除 / 替换)等设置——这些能力已内化在模型中。
ASR-LLM-TTS
三段式链路:语音先识别为文本,交由文本大模型推理,再把回复合成为语音。三段可分别选择模型,是可控性最高的模式。
graph LR U([用户语音]) --> ASR[ASR 语音识别] ASR -->|文本| LLM[文本大模型 推理] LLM -->|回复文本| TTS[TTS 语音合成] TTS --> A([语音回复])
逐段配置如下:
| 环节 | 配置项 | 说明 |
|---|---|---|
| ASR | 语音识别模型 | 选择把用户语音转写成文本的识别模型。 |
| 转录指令 | 引导识别风格、常见用词、专有名词等,提升特定领域(如品牌名、行业术语)的识别准确率。 | |
| 语音语言 | 指定源语言,或选择「自动识别」由模型判断;指定语言通常更稳定。 | |
| LLM | 文本大模型 | 选择负责推理的文本大模型,可搭配知识、数据库、记忆、工具等能力。 |
| 模型参数 | Temperature、Top P、最大响应长度等,与普通大模型一致。 | |
| 身份提示 | 用于设定 Agent 的角色和行为准则。 | |
| TTS | 语音合成模型 | 选择把文本回复合成为语音的模型与音色。 |
| 移除 | 输入需移除的符号,这些符号会在提交给 TTS 前被删除,避免被读出。 | |
| 替换 | 输入需替换为空格的符号,在提交给 TTS 前替换,用于断句或消除生硬停顿。 |
移除与替换均以英文逗号分隔多个符号;成对括号(如
()、《》)作为一个整体填写即可。
LLM+TTS
由支持语音输入的多模态 LLM 直接理解语音,省去独立 ASR 环节;模型的文本回复再交给 TTS 合成为语音。
graph LR U([用户语音]) --> LLM[多模态大模型 直接理解语音] LLM -->|回复文本| TTS[TTS 语音合成] TTS --> A([语音回复])
配置项为 LLM(含模型参数与身份提示)与 TTS(含移除、替换),含义同 ASR-LLM-TTS。
输入
输入面板控制「Agent 如何听」,核心是 VAD(语音活动检测)与附件识别。
VAD 控制
VAD(语音活动检测)决定 Agent 如何判断用户何时说完、能否被打断。可调参数会随引擎模式与识别模式变化,切换后表单也随之改变:
- 实时模型:使用模型自带的 VAD,可在配置页选择识别模式——预设模式或语义模式,默认预设模式。
- ASR-LLM-TTS / LLM+TTS:使用平台内置 VAD,行为等同预设模式,不提供识别模式切换。
预设模式
按声音信号断句:靠音量阈值与静默时长判断用户是否说完,行为直观、可预期。适用于实时模型(选预设模式时)以及 ASR-LLM-TTS、LLM+TTS。
| 配置项 | 取值范围 | 默认值 | 适用 | 说明 |
|---|---|---|---|---|
| 音量激活 | 0 ~ 1(步长 0.1) | 0.5 | 仅实时模型 | 触发识别的音量阈值,越大越不易被环境噪声误激活。 |
| 停顿断句 | 0 ~ 5000 ms(步长 50) | 500 | 通用 | 用户停止说话后静默多少毫秒判定为一句结束,越大越不易「抢话」。 |
| 语音打断 | 0 ~ 1(步长 0.1) | 0.5 | 通用 | 用户在 Agent 说话时开口打断(barge-in)的敏感度,越大越容易被打断;也可整体关闭。 |
语义模式
仅实时模型支持。由模型理解语义来判断用户是否说完,不再依赖固定的音量与静默阈值,断句更自然,适合停顿多、语气松散的口语对话。
| 配置项 | 取值范围 | 默认值 | 适用 | 说明 |
|---|---|---|---|---|
| 响应速度 | 低 / 中 / 高 | 中 | 通用 | 判定用户说完后的响应节奏;越快越紧凑,越慢越从容。 |
| 语音打断 | 0 ~ 1(步长 0.1) | 0.5 | 通用 | 用户在 Agent 说话时开口打断(barge-in)的敏感度,越大越容易被打断;也可整体关闭。 |
附件
| 配置项 | 说明 |
|---|---|
| 图片识别 | 开关。开启后对话中可识别图片。 |
| 附件数量 | 固定为 1 张。 |
| 附件类型 | 仅支持图片(Image)。 |
输出
输出面板控制「Agent 如何说」,包含背景音与缓存播放。
背景音
为通话叠加环境音,让语音对话更有现场感,建议调整到 0.2左右的音量即可,避免盖过人声。
| 配置项 | 取值 | 说明 |
|---|---|---|
| 背景音模式 | 禁用 / 预置 / 自定义 | 选择是否启用及来源。 |
| 预置选项 | 办公室 / 咖啡厅 / 雨声 / 自然 / 白噪音 | 平台内置的环境音。 |
| 自定义 | mp3,≤ 1 MB | 上传自有背景音频,应使用首尾相连的无缝音频。 |
| 背景音量 | 1~50% | 默认 30% |
缓存播放
| 配置项 | 取值范围 | 默认值 | 说明 |
|---|---|---|---|
| 缓存播放 | 0 ~ 1500 ms(步长 50) | 200 | 先缓存一段回复语音再开始播放,减少网络抖动造成的卡顿;数值越大越流畅,但首字延迟略增。 |
欢迎引导
设置通话开始时的开场表现,支持多语言分别配置。
| 配置项 | 要求 | 说明 |
|---|---|---|
| 讲话形象 | mp4,≤ 5 MB | 虚拟人「正在说话」的循环视频,需首尾帧相连以保证循环过渡自然。 |
| 等待形象 | mp4,≤ 5 MB | 虚拟人「正在倾听」的循环视频,同样需首尾帧相连。 |
| 欢迎语 | 文本 | 开启对话时作为开场白,由模型朗读一次。 |
通话控制
通话控制用于让通话更加自然,避免冷场空转。通过设置挂断机制防止无限占用,节省资源和费用。
冷场控制
触发沉默阈值时,自动追问或播放提示,把用户拉回对话。
| 配置项 | 取值范围 | 默认值 | 说明 |
|---|---|---|---|
| 沉默超时 | 5 ~ 60 秒(步长 1) | 10 | 用户沉默多久后触发冷场追问。 |
| 冷场提示 | 文本 | — | 触发时播放或下发给模型的追问 / 提示文案。 |
挂断通话
满足最大通话时长或最大沉默次数任一条件即触发挂断。
| 配置项 | 取值范围 | 默认值 | 说明 |
|---|---|---|---|
| 最大通话时长 | 30 ~ 3600 秒(步长 30) | 600 | 单通通话的最长时间,超过自动结束。 |
| 最大沉默次数 | 1 ~ 100(步长 1) | 5 | 连续冷场累计达到该次数后自动挂断。 |
| 挂断提示 | 文本,≤ 20 tokens | — | 挂断前告知用户的提示文案。 | |
| *主动结束通话 | 开关 | — | 即将支持,开启后可在对话中允许 AI Agent 主动结束通话,触发挂断提示。 | |
共享能力面板
语音智能体同样支持知识、数据库、记忆等通用 Agent 能力,配置方式与普通 Agent 一致,可参考智能体相关文档。需要注意:
- 人工服务面板在语音智能体中暂显示「即将支持」。
- 工具、Workflow 等面板在语音智能体中不展示。
各模式配置项对照
不同引擎模式下,配置页展示的项目略有差异,可对照下表:
| 配置项 | 实时模型 | ASR-LLM-TTS | LLM+TTS |
|---|---|---|---|
| Audio LLM | ✓ | — | — |
| ASR(含转录指令 / 语音语言) | — | ✓ | — |
| LLM(文本大模型) | — | ✓ | ✓ |
| TTS(含移除 / 替换) | — | ✓ | ✓ |
| 身份提示 | ✓ | ✓ | ✓ |
| 识别模式(预设 / 语义) | ✓ | — | — |
| 音量激活 | ✓(预设) | — | — |
| 停顿断句 | ✓(预设) | ✓ | ✓ |
| 响应速度 | ✓(语义) | — | — |
| 语音打断 | ✓ | ✓ | ✓ |
| 图片识别 | ✓ | ✓ | ✓ |
| 背景音 | — | ✓ | ✓ |
| 缓存播放 | ✓ | ✓ | ✓ |
| 欢迎引导 | ✓ | ✓ | ✓ |
| 通话控制 | ✓ | ✓ | ✓ |
参数如何取值才更贴合业务,请继续阅读最佳实践。
