音声エージェント（Audio Agent）概要

音声エージェント（Audio Agent）は、GPTBots 開発スペースにおける音声インタラクション向けの Agent タイプです。ユーザーはタイピングの代わりに話しかけ、Agent は音声で応答することで、実際の人間に近いリアルタイム通話体験を実現します。Web ページに音声対話コンポーネントとして埋め込むこともできれば、電話システム経由で直接着信に応答することもでき、音声カスタマーサポート、電話ナビゲーション、音声アシスタント、スピーキング練習などのシーンに適しています。

テキスト Agent と比較すると、音声エージェントの違いは次の 3 点に現れます。

入出力が音声である：モードごとに音声の処理方式が異なります。
リアルタイムセッション：長時間接続をベースに 1 通の対話を維持し、ユーザーがいつでも話し始めて割り込む（barge-in）ことができ、切断時の再接続機能も備えています。
音声使用量による課金：テキストメッセージの件数ではなく、音声認識・音声合成・通話時間を計量基準としてポイントを差し引きます。

コアコンセプト

以下のいくつかの概念を理解しておくと、音声エージェントの設定やデバッグに役立ちます。

概念	説明
ASR（音声認識）	Automatic Speech Recognition。ユーザーが話した内容をテキストに書き起こし、大規模モデルが理解できるようにします。
LLM（大規模モデル推論）	認識されたテキストとコンテキストに基づいて応答を生成します。この層はテキスト Agent と同一で、ナレッジベース、データベース、メモリなどの機能を呼び出せます。
TTS（音声合成）	Text-To-Speech。大規模モデルが生成したテキスト応答を音声に合成し、ユーザーに読み上げます。
VAD（音声区間検出）	Voice Activity Detection。ユーザーがいつ話し始め、いつ話し終えたかを判定します。自然な区切りと音声割り込みを実現する基盤です。
リアルタイム通話	1 通の音声対話が 1 本の長時間接続上で行われ、Agent は聞きながら応答します。

3 種類の音声エンジンモード

音声エージェントは 3 種類のエンジンモードを提供しており、「音声—テキスト—音声」というこのフローを誰が担うかを決定します。作成後は設定ページ上部で切り替えでき、モードごとに表示されるモデルとパラメータも異なります。

モード	フロー	特徴	適用シーン
Real-time model （Real-time model / REALTIME）	遅延が最も低く、単一のリアルタイム音声大規模モデルがエンドツーエンドで音声の入力と出力を処理	遅延が最も低く、口調が自然だが、声色とテキストの制御性は比較的限定的	最低遅延で口語的なリアルタイム通話を追求する場合
ASR-LLM-TTS	音声認識 → テキスト大規模モデル → 音声合成の 3 段階	遅延が最も高く、テキストモデルの能力が最も強く、制御性が最も高い。ASR、LLM、TTS モデルを自由に組み合わせられる	複雑な業務ロジック、ツール呼び出し、厳密なトーク制御が必要な音声カスタマーサポート
LLM+TTS	音声入力に対応した大規模モデルが直接音声を理解 → 音声合成	遅延は中程度で、独立した ASR 工程を省き、大規模モデルが直接音声を「聞き取る」	選択した大規模モデルが音声入力をネイティブにサポートしており、フローを簡素化したい場合

選定のアドバイスはベストプラクティスを参照してください。3 種類のモードはナレッジベース、データベース、メモリ、通話制御、ウェルカムガイドなどの機能を共有しており、音声フローの実装方式が異なるだけです。

コア機能

リアルタイム音声対話：ユーザーが話し、Agent がリアルタイムで応答して、複数ターンの通話を形成します。
音声割り込み（barge-in）：ユーザーは Agent が話している最中に話し始めて割り込むことができ、感度は調整可能で、実際の人間の対話習慣に近づけられます。
ウェルカムガイド：通話開始時にウェルカムメッセージを再生します。また「発話中」と「待機中」の 2 本のバーチャルヒューマン映像のループ動画をアップロードでき、音声対話に視覚的なイメージを持たせられます。
通話制御：無言時の自動追加質問、タイムアウトまたは長時間の沈黙時の自動切断をサポートし、通話の空回りや無制限の占有を防ぎます。
背景音：通話にオフィス、カフェ、雨音などのプリセット環境音を重ねたり、カスタム音声をアップロードしたりして雰囲気を演出できます（ASR-LLM-TTS と LLM+TTS モードのみ有効）。
TTS テキストクリーニング：応答テキスト中の括弧、Markdown 記号などのシンボルを削除または置換してから読み上げ、記号が読み上げられるのを防ぎます。
画像認識：対話中に画像 1 枚の認識をサポートし、音声シーンでも画像情報を処理できます。
音声品質検証：プラットフォームに検証機能が内蔵されており、短すぎる音声や、よくある認識の「幻聴」フレーズ（「ご視聴ありがとうございました」「チャンネル登録をお願いします」など）を自動的にフィルタリングし、誤トリガーを減らします。
電話 / SIP 接続：Twilio 番号への着信をバインドしたり、サードパーティ SIP システム経由で着信を転送したりして、Agent が直接電話に応答できます。詳細は電話システム接続操作マニュアルを参照してください。

クイックスタート

作成：開発スペース → Agent を作成に進み、「音声エージェント（Audio Agent）」タイプを選択します。
エンジンモードとモデルの選択：設定ページ上部の音声エンジンパネルで Real-time model / ASR-LLM-TTS / LLM+TTS を選択し、該当する工程のモデル（Audio LLM / ASR / LLM / TTS）を選びます。
音声・通話パラメータの設定：必要に応じて音声割り込み、区切りの間、ウェルカムメッセージ、無言時の追加質問、自動切断などを設定します。詳細は設定ガイドを参照してください。
デバッグ体験：デバッグウィンドウで音声対話を開始し、認識が正確か、割り込みが敏感か、声色と話速が適切かを検証します。
インテグレーションと公開：音声エージェントをあなたの業務に接続します。次の 2 つの方式をサポートしています。
- Web 埋め込み：音声対話コンポーネントとして Web サイトに埋め込みます。
- 電話システム接続：番号をバインドするか、SIP 経由で着信を転送します。

課金と同時接続

音声通話は音声使用量（音声認識、音声合成、通話時間）に応じてポイントを差し引きます。ポイント不足、または同時通話数の上限を超えた場合、新規の着信は拒否されます。公開前に、アカウントのポイントが十分か、同時接続枠が想定する通話量を満たすかを確認してください。電話接続に関するよくある質問は、電話システム接続操作マニュアルの FAQ 部分を参照できます。