logo
开发者文档
搜索
语音智能体配置指引

语音智能体配置指引

本文按配置页从上到下的面板顺序逐项说明各参数:它的作用、取值范围与默认值、以及适用的引擎模式。语音智能体在保留知识、数据库、记忆等通用能力的同时,新增了语音引擎、输入、输出、欢迎引导、通话控制五组语音相关配置。

若还不了解语音智能体的基本概念与三种引擎模式,建议先阅读语音智能体概述

语音引擎

语音引擎面板顶部是引擎模式选择器,可切换实时模型(Real-time model)、ASR-LLM-TTS、LLM+TTS。切换后,下方展示的模型与参数会随之变化。

实时模型(REALTIME)

由单个实时语音大模型端到端完成「听 — 想 — 说」,音频的输入与输出都在同一模型内闭环,中间不经过独立的语音识别与合成,因此延迟最低、语气最自然。

通常来说,我们更加推荐实时模型模式,延迟最低、语气自然,适合大多数实时语音场景。OpenAI 即将发布的 Live 模型不仅支持全双工实时语音,面对复杂任务可以后台调用更高能力的文本大模型,未来将成为实时语音的首选方案。

loading...
graph LR
  U([用户语音]) --> RT[实时语音大模型 端到端处理]
  RT --> A([语音回复])

实时模型把识别、推理、合成都收敛在一个模型里,因此配置项最精简:

配置项 必选 说明
Audio LLM 选择端到端处理语音的实时大模型,识别、推理、合成均由它完成。
模型参数 Temperature、Top P、最大响应长度、音色等,与普通大模型参数一致,控制回复的随机性、长度与音色。
身份提示 设定 Agent 的身份与角色,作为系统提示注入对话;三种模式通用。

实时模型没有独立的 ASR / TTS 环节,因此不提供转录指令、语音语言、TTS 符号清理(移除 / 替换)等设置——这些能力已内化在模型中。

ASR-LLM-TTS

三段式链路:语音先识别为文本,交由文本大模型推理,再把回复合成为语音。三段可分别选择模型,是可控性最高的模式。

loading...
graph LR
  U([用户语音]) --> ASR[ASR 语音识别]
  ASR -->|文本| LLM[文本大模型 推理]
  LLM -->|回复文本| TTS[TTS 语音合成]
  TTS --> A([语音回复])

逐段配置如下:

环节 配置项 说明
ASR 语音识别模型 选择把用户语音转写成文本的识别模型。
转录指令 引导识别风格、常见用词、专有名词等,提升特定领域(如品牌名、行业术语)的识别准确率。
语音语言 指定源语言,或选择「自动识别」由模型判断;指定语言通常更稳定。
LLM 文本大模型 选择负责推理的文本大模型,可搭配知识、数据库、记忆、工具等能力。
模型参数 Temperature、Top P、最大响应长度等,与普通大模型一致。
身份提示 用于设定 Agent 的角色和行为准则。
TTS 语音合成模型 选择把文本回复合成为语音的模型与音色。
移除 输入需移除的符号,这些符号会在提交给 TTS 前被删除,避免被读出。
替换 输入需替换为空格的符号,在提交给 TTS 前替换,用于断句或消除生硬停顿。

移除与替换均以英文逗号分隔多个符号;成对括号(如 ()《》)作为一个整体填写即可。

LLM+TTS

支持语音输入的多模态 LLM 直接理解语音,省去独立 ASR 环节;模型的文本回复再交给 TTS 合成为语音。

loading...
graph LR
  U([用户语音]) --> LLM[多模态大模型 直接理解语音]
  LLM -->|回复文本| TTS[TTS 语音合成]
  TTS --> A([语音回复])

配置项为 LLM(含模型参数与身份提示)与 TTS(含移除、替换),含义同 ASR-LLM-TTS。

输入

输入面板控制「Agent 如何听」,核心是 VAD(语音活动检测)与附件识别。

VAD 控制

VAD(语音活动检测)决定 Agent 如何判断用户何时说完、能否被打断。可调参数会随引擎模式与识别模式变化,切换后表单也随之改变

  • 实时模型:使用模型自带的 VAD,可在配置页选择识别模式——预设模式或语义模式,默认预设模式。
  • ASR-LLM-TTS / LLM+TTS:使用平台内置 VAD,行为等同预设模式,不提供识别模式切换。

预设模式

按声音信号断句:靠音量阈值与静默时长判断用户是否说完,行为直观、可预期。适用于实时模型(选预设模式时)以及 ASR-LLM-TTS、LLM+TTS。

配置项 取值范围 默认值 适用 说明
音量激活 0 ~ 1(步长 0.1) 0.5 仅实时模型 触发识别的音量阈值,越大越不易被环境噪声误激活。
停顿断句 0 ~ 5000 ms(步长 50) 500 通用 用户停止说话后静默多少毫秒判定为一句结束,越大越不易「抢话」。
语音打断 0 ~ 1(步长 0.1) 0.5 通用 用户在 Agent 说话时开口打断(barge-in)的敏感度,越大越容易被打断;也可整体关闭。

语义模式

实时模型支持。由模型理解语义来判断用户是否说完,不再依赖固定的音量与静默阈值,断句更自然,适合停顿多、语气松散的口语对话。

配置项 取值范围 默认值 适用 说明
响应速度 低 / 中 / 高 通用 判定用户说完后的响应节奏;越快越紧凑,越慢越从容。
语音打断 0 ~ 1(步长 0.1) 0.5 通用 用户在 Agent 说话时开口打断(barge-in)的敏感度,越大越容易被打断;也可整体关闭。

附件

配置项 说明
图片识别 开关。开启后对话中可识别图片。
附件数量 固定为 1 张。
附件类型 仅支持图片(Image)。

输出

输出面板控制「Agent 如何说」,包含背景音与缓存播放。

背景音

为通话叠加环境音,让语音对话更有现场感,建议调整到 0.2左右的音量即可,避免盖过人声。

配置项 取值 说明
背景音模式 禁用 / 预置 / 自定义 选择是否启用及来源。
预置选项 办公室 / 咖啡厅 / 雨声 / 自然 / 白噪音 平台内置的环境音。
自定义 mp3,≤ 1 MB 上传自有背景音频,应使用首尾相连的无缝音频。
背景音量 1~50% 默认 30%

缓存播放

配置项 取值范围 默认值 说明
缓存播放 0 ~ 1500 ms(步长 50) 200 先缓存一段回复语音再开始播放,减少网络抖动造成的卡顿;数值越大越流畅,但首字延迟略增。

欢迎引导

设置通话开始时的开场表现,支持多语言分别配置。

配置项 要求 说明
讲话形象 mp4,≤ 5 MB 虚拟人「正在说话」的循环视频,需首尾帧相连以保证循环过渡自然。
等待形象 mp4,≤ 5 MB 虚拟人「正在倾听」的循环视频,同样需首尾帧相连。
欢迎语 文本 开启对话时作为开场白,由模型朗读一次。

通话控制

通话控制用于让通话更加自然,避免冷场空转。通过设置挂断机制防止无限占用,节省资源和费用。

冷场控制

触发沉默阈值时,自动追问或播放提示,把用户拉回对话。

配置项 取值范围 默认值 说明
沉默超时 5 ~ 60 秒(步长 1) 10 用户沉默多久后触发冷场追问。
冷场提示 文本 触发时播放或下发给模型的追问 / 提示文案。

挂断通话

满足最大通话时长最大沉默次数任一条件即触发挂断。

配置项 取值范围 默认值 说明
最大通话时长 30 ~ 3600 秒(步长 30) 600 单通通话的最长时间,超过自动结束。
最大沉默次数 1 ~ 100(步长 1) 5 连续冷场累计达到该次数后自动挂断。
挂断提示 文本,≤ 20 tokens 挂断前告知用户的提示文案。 |
*主动结束通话 开关 即将支持,开启后可在对话中允许 AI Agent 主动结束通话,触发挂断提示。 |

共享能力面板

语音智能体同样支持知识、数据库、记忆等通用 Agent 能力,配置方式与普通 Agent 一致,可参考智能体相关文档。需要注意:

  • 人工服务面板在语音智能体中暂显示「即将支持」。
  • 工具、Workflow 等面板在语音智能体中不展示。

各模式配置项对照

不同引擎模式下,配置页展示的项目略有差异,可对照下表:

配置项 实时模型 ASR-LLM-TTS LLM+TTS
Audio LLM
ASR(含转录指令 / 语音语言)
LLM(文本大模型)
TTS(含移除 / 替换)
身份提示
识别模式(预设 / 语义)
音量激活 ✓(预设)
停顿断句 ✓(预设)
响应速度 ✓(语义)
语音打断
图片识别
背景音
缓存播放
欢迎引导
通话控制

参数如何取值才更贴合业务,请继续阅读最佳实践