Konfigurationsanleitung für den Audio Agent

Dieser Artikel erläutert die einzelnen Parameter in der Reihenfolge der Panels von oben nach unten auf der Konfigurationsseite: ihre Funktion, ihren Wertebereich und Standardwert sowie die zutreffenden Engine-Modi. Der Audio Agent behält die allgemeinen Fähigkeiten wie Wissen, Datenbank und Gedächtnis bei und ergänzt sie um fünf sprachbezogene Konfigurationsgruppen: Sprach-Engine, Eingabe, Ausgabe, Begrüßung und Gesprächssteuerung.

Wenn Sie mit den Grundkonzepten des Audio Agent und den drei Engine-Modi noch nicht vertraut sind, empfehlen wir, zunächst die Übersicht über den Audio Agent zu lesen.

Sprach-Engine

Oben im Panel Sprach-Engine befindet sich die Auswahl des Engine-Modus, mit der sich zwischen Real-time model, ASR-LLM-TTS und LLM+TTS umschalten lässt. Nach dem Umschalten ändern sich die darunter angezeigten Modelle und Parameter entsprechend.

Real-time model (REALTIME)

Ein einzelnes großes Echtzeit-Sprachmodell erledigt „Hören – Denken – Sprechen“ end-to-end; Audioeingabe und -ausgabe verbleiben in einem geschlossenen Kreislauf innerhalb desselben Modells, ohne separate Spracherkennung und -synthese – daher niedrigste Latenz und natürlichster Tonfall.

In der Regel empfehlen wir den Modus Real-time model: niedrigste Latenz, natürlicher Tonfall, geeignet für die meisten Echtzeit-Sprachszenarien. Das von OpenAI in Kürze erscheinende Live-Modell unterstützt nicht nur Vollduplex-Echtzeit-Sprache, sondern kann bei komplexen Aufgaben im Hintergrund ein leistungsfähigeres großes Textmodell aufrufen und wird künftig die erste Wahl für Echtzeit-Sprache sein.

graph LR
  U([Nutzersprache]) --> RT[Großes Echtzeit-Sprachmodell End-to-End-Verarbeitung]
  RT --> A([Sprachantwort])

Das Real-time model bündelt Erkennung, Inferenz und Synthese in einem einzigen Modell, daher sind die Konfigurationsoptionen am schlanksten:

Das Real-time model hat keinen separaten ASR-/TTS-Schritt und bietet daher keine Einstellungen für Transkriptionsanweisung, Sprachsprache oder TTS-Symbolbereinigung (Entfernen / Ersetzen) – diese Fähigkeiten sind bereits im Modell verinnerlicht.

ASR-LLM-TTS

Dreistufige Kette: Die Sprache wird zunächst in Text erkannt, an das große Textmodell zur Inferenz übergeben und die Antwort anschließend in Sprache synthetisiert. Für jede der drei Stufen lässt sich ein eigenes Modell wählen – dies ist der Modus mit der höchsten Steuerbarkeit.

graph LR
  U([Nutzersprache]) --> ASR[ASR Spracherkennung]
  ASR -->|Text| LLM[Großes Textmodell Inferenz]
  LLM -->|Antworttext| TTS[TTS Sprachsynthese]
  TTS --> A([Sprachantwort])

Die stufenweise Konfiguration sieht wie folgt aus:

Entfernen und Ersetzen trennen mehrere Symbole jeweils durch ein englisches Komma; paarweise Klammern (wie (), 《》) werden als Ganzes eingetragen.

LLM+TTS

Ein multimodales LLM mit Sprachunterstützung versteht die Sprache direkt und macht den separaten ASR-Schritt überflüssig; die Textantwort des Modells wird anschließend von TTS in Sprache synthetisiert.

graph LR
  U([Nutzersprache]) --> LLM[Multimodales großes Modell versteht Sprache direkt]
  LLM -->|Antworttext| TTS[TTS Sprachsynthese]
  TTS --> A([Sprachantwort])

Die Konfigurationsoptionen sind LLM (inkl. Modellparameter und Identitäts-Prompt) und TTS (inkl. Entfernen, Ersetzen), mit derselben Bedeutung wie bei ASR-LLM-TTS.

Eingabe

Das Panel Eingabe steuert, „wie der Agent hört“; im Zentrum stehen VAD (Sprachaktivitätserkennung) und die Anhangserkennung.

VAD-Steuerung

VAD (Sprachaktivitätserkennung) bestimmt, wie der Agent erkennt, wann Nutzer:innen fertig gesprochen haben und ob er unterbrochen werden kann. Die einstellbaren Parameter ändern sich mit dem Engine-Modus und dem Erkennungsmodus; nach dem Umschalten ändert sich auch das Formular:

• Real-time model: Nutzt das modelleigene VAD; auf der Konfigurationsseite lässt sich der Erkennungsmodus wählen – Voreinstellungsmodus oder Semantikmodus, standardmäßig der Voreinstellungsmodus.
• ASR-LLM-TTS / LLM+TTS: Nutzt das plattforminterne VAD, dessen Verhalten dem Voreinstellungsmodus entspricht; ein Umschalten des Erkennungsmodus wird nicht angeboten.

Voreinstellungsmodus

Satztrennung nach dem Tonsignal: Anhand von Lautstärkeschwelle und Dauer der Stille wird beurteilt, ob Nutzer:innen fertig gesprochen haben – das Verhalten ist anschaulich und vorhersehbar. Geeignet für das Real-time model (bei Wahl des Voreinstellungsmodus) sowie für ASR-LLM-TTS und LLM+TTS.

Semantikmodus

Wird nur vom Real-time model unterstützt. Das Modell beurteilt anhand der Semantik, ob Nutzer:innen fertig gesprochen haben, und stützt sich nicht mehr auf feste Lautstärke- und Stilleschwellen; die Satztrennung wirkt natürlicher und eignet sich für umgangssprachliche Gespräche mit vielen Pausen und lockerem Sprachfluss.

Anhang

Ausgabe

Das Panel Ausgabe steuert, „wie der Agent spricht“, und umfasst Hintergrundgeräusch und Wiedergabe-Pufferung.

Hintergrundgeräusch

Überlagert dem Gespräch ein Umgebungsgeräusch, damit die Sprachkonversation lebendiger wirkt; wir empfehlen, die Lautstärke auf etwa 0,2 einzustellen, damit sie die menschliche Stimme nicht übertönt.

Wiedergabe-Pufferung

Begrüßung

Legt die Eröffnung zu Beginn des Gesprächs fest und unterstützt eine separate Konfiguration je Sprache.

Gesprächssteuerung

Die Gesprächssteuerung dient dazu, das Gespräch natürlicher zu gestalten und Leerlauf durch Gesprächspausen zu vermeiden. Durch das Einrichten eines Auflegemechanismus wird unbegrenzte Belegung verhindert und Ressourcen sowie Kosten werden gespart.

Steuerung von Gesprächspausen

Wird die Schweigeschwelle erreicht, fragt der Agent automatisch nach oder spielt einen Hinweis ab, um Nutzer:innen ins Gespräch zurückzuholen.

Gespräch auflegen

Sobald eine der Bedingungen maximale Gesprächsdauer oder maximale Anzahl an Schweigephasen erfüllt ist, wird das Auflegen ausgelöst.

Panel für gemeinsame Fähigkeiten

Der Audio Agent unterstützt ebenfalls allgemeine Agent-Fähigkeiten wie Wissen, Datenbank und Gedächtnis; die Konfiguration erfolgt wie bei einem gewöhnlichen Agenten, siehe die zugehörige Agent-Dokumentation. Zu beachten ist:

• Das Panel Menschlicher Service zeigt beim Audio Agent vorerst „Bald verfügbar“ an.
• Panels wie Tools und Workflow werden beim Audio Agent nicht angezeigt.

Gegenüberstellung der Konfigurationsoptionen je Modus

Je nach Engine-Modus unterscheiden sich die auf der Konfigurationsseite angezeigten Optionen geringfügig; vergleichen Sie die folgende Tabelle:

Wie Sie die Parameter passend zu Ihrem Geschäft wählen, lesen Sie weiter in den Best Practices.