Best Practices für den Audio Agent

Dieser Artikel bündelt gängige Vorgehensweisen für den Audio Agent bei Auswahl, Abstimmung und Live-Schaltung und hilft Ihnen, schneller zu einem Sprach-Agent zu gelangen, der „klar hört, treffend antwortet und natürlich spricht“. Die Bedeutung und den Wertebereich der einzelnen Parameter finden Sie in der Konfigurationsanleitung.

Wie wählt man den Engine-Modus

Bestimmen Sie zuerst den Modus nach Bedarf, wählen Sie dann das Modell:

Niedrigste Latenz, natürliche Umgangssprache angestrebt → Real-time model (REALTIME): niedrigste Latenz, geeignet für Szenarien wie lockeres Gesprächstraining oder Sprachnavigation, die auf Reaktionsgeschwindigkeit empfindlich reagieren und relativ offen in der Gesprächsführung sind.
Starke Textfähigkeiten, Tool-Aufrufe, strenge Gesprächsführung erforderlich → ASR-LLM-TTS: höchste Latenz, das große Textmodell bietet die höchste Steuerbarkeit und lässt sich stabil an Wissensdatenbank, Datenbank und Tools anbinden; geeignet für Szenarien wie Sprach-Kundenservice oder Geschäftsabwicklung; die Klangfarbe wird durch das separate TTS bestimmt, was eine einheitliche Markenstimme erleichtert.
Modell unterstützt Spracheingabe nativ, Kette soll vereinfacht werden → LLM+TTS: mittlere Latenz, spart einen separaten ASR-Schritt, das große Modell „versteht“ die Sprache direkt, die Kette ist kürzer.

VAD- und Unterbrechungsabstimmung

VAD bestimmt, „wann der Agent annimmt, dass Sie fertig gesprochen haben“, und beeinflusst das Erlebnis unmittelbar. Wägen Sie je nach Szenario ab:

Sprach-Kundenservice / Hotline (schnell, unterbrechbar): Stellen Sie die Empfindlichkeit der Sprachunterbrechung angemessen höher, damit Nutzer:innen jederzeit einwerfen können; die Pausen-Satztrennung kann etwas kleiner sein, um die Antwortwartezeit zu verkürzen. Der Preis dafür: In lauter Umgebung wird leichter fälschlich unterbrochen.
Tiefgehende Fragerunden / Vorlesen (stabil, wenige Fehlunterbrechungen): Stellen Sie die Empfindlichkeit der Sprachunterbrechung niedriger und die Pausen-Satztrennung angemessen größer, damit Nutzer:innen bei Denkpausen nicht ins Wort gefallen wird.
Laute Umgebung: Erhöhen Sie im Voreinstellungsmodus des Real-time model die Schwelle der Lautstärkeaktivierung, um Fehlauslösungen durch Hintergrundgeräusche zu reduzieren.
Voreinstellungsmodus vs. Semantikmodus (nur Real-time model): Für stabile, vorhersehbare Satztrennung nutzen Sie den Voreinstellungsmodus; wenn der Agent anhand der Semantik beurteilen soll, ob Nutzer:innen fertig gesprochen haben, nutzen Sie den Semantikmodus und stimmen das Tempo über die Reaktionsgeschwindigkeit fein ab.

Wir empfehlen, zunächst mit den Standardwerten (Pausen-Satztrennung 500 ms, Sprachunterbrechung 0,5) zu testen und dann anhand echter Aufnahmen stufenweise fein abzustimmen – immer nur einen Parameter auf einmal ändern.

Schreibweise des Identitäts-Prompts

Im Sprachszenario „hören“ Nutzer:innen, statt zu „lesen“; der Prompt sollte daher knapp und umgangssprachlich sein:

Legen Sie Rolle und Grenzen klar fest: wer der Agent ist, was er kann und worüber er nicht spricht.
Fordern Sie Antworten in kurzen Sätzen und vermeiden Sie lange Absätze, Aufzählungszeichen, Tabellen und andere zum Vorlesen ungeeignete Strukturen.
Vereinbaren Sie umgangssprachliche Formulierungen: Zahlen, Beträge und Zeiten möglichst natürlich aussprechen und harte Fachbegriffe reduzieren.
Geben Sie Sprache und Tonfall vor: etwa „In vereinfachtem Chinesisch, höflich und knapp antworten“.

TTS-Textbereinigung

Textantworten großer Modelle enthalten oft Symbole, die bei direkter Synthese „mitgelesen“ werden. Nutzen Sie die beiden Optionen Entfernen und Ersetzen zur Bereinigung:

Entfernen: Klammern (), eckige Klammern [], Buchtitelklammern 《》, Sternchen *, Rautezeichen # und weitere Markdown- und Satzsymbole, damit nicht „Sternchen“ oder „Raute“ vorgelesen wird.
Durch Leerzeichen ersetzen: für Symbole, die eine Pause erfordern, aber nicht vorgelesen werden sollen, verbessert die Natürlichkeit der Satztrennung.
Paarweise Klammern werden als Ganzes eingetragen (wie ()), mehrere Symbole durch ein englisches Komma getrennt.

In Kombination mit der Anforderung im Identitäts-Prompt, dass das Modell „kein Markdown ausgeben“ soll, erzielen beide Maßnahmen zusammen ein besseres Ergebnis.

Begrüßung und virtuelles Erscheinungsbild

Der Begrüßungstext sollte kurz sein und direkt auf den Punkt kommen: in einem Satz Identität und Zweck nennen, zum Beispiel „Guten Tag, hier ist der Kundenservice von XX, wie kann ich Ihnen helfen?“
Die Videos für sprechendes / wartendes Erscheinungsbild müssen unbedingt aneinander anschließende Anfangs- und Endframes haben, sonst kommt es beim Loop zu deutlichem Frame-Springen. Das sprechende Erscheinungsbild entspricht „spricht gerade“, das wartende Erscheinungsbild entspricht „hört gerade zu“.
Denken Sie bei mehrsprachigem Geschäft daran, Begrüßungstext und Erscheinungsbild für jede Sprache separat zu konfigurieren.

Strategie zur Gesprächssteuerung

Richten Sie für jedes Gespräch eine „Rückfallabsicherung“ ein, um Leerlauf und Ressourcenbelegung zu vermeiden:

Steuerung von Gesprächspausen: Legen Sie ein sinnvolles Schweige-Timeout (Standard 10 Sekunden) fest und ergänzen Sie einen natürlichen Hinweis bei Gesprächspause, etwa „Sind Sie noch da? Soll ich fortfahren?“, um Nutzer:innen zurückzuholen.
Automatisches Auflegen: Sichern Sie mit maximaler Gesprächsdauer (Standard 600 Sekunden) und maximaler Anzahl an Schweigephasen (Standard 5) ab, um unbegrenzte Gespräche oder eine Leitungsbelegung durch lange Nichtreaktion zu verhindern. Der Auflegehinweis ist auf höchstens 20 tokens begrenzt; eine kurze Verabschiedung genügt.

Hinweise zur Nutzung von Hintergrundgeräuschen

Die Hintergrundlautstärke sollte die menschliche Stimme nicht übertönen (Standard 30, Bereich 1~50); zu hohe Werte senken die Erkennungsgenauigkeit und die Gesprächsverständlichkeit.
Benutzerdefiniertes Hintergrundgeräusch muss mp3 und ≤ 1 MB sein.

Qualität der Spracherkennung

Nutzen Sie bei bestimmten Fachbereichen gezielt die ASR-Transkriptionsanweisung, um Eigennamen, Markennamen und Branchenbegriffe vorzugeben; das verbessert die Erkennungsgenauigkeit deutlich.
Ist die Sprache der Nutzer:innen fest, sollten Sie die Sprachsprache möglichst festlegen statt „Automatische Erkennung“ zu wählen – das ist stabiler.
Die Plattform verfügt über eine integrierte Prüfung der Sprachqualität: Sie verwirft automatisch zu kurze Audioaufnahmen (unter 1 Sekunde) und filtert häufige „halluzinierte“ Erkennungsphrasen (wie „Danke fürs Zuschauen“, „Abonnieren Sie gern“ usw. – bedeutungslose Ergebnisse) heraus, um Fehlauslösungen zu reduzieren. Dass solche Ergebnisse ignoriert werden, ist normal und erfordert keine zusätzliche Konfiguration.

Live-Schaltung und Integration

Webeinbettung: Betten Sie den Audio Agent als Sprachkonversationskomponente in die Webseite ein, siehe iframe-Integration.
Telefonanbindung: Binden Sie eine Twilio-Nummer für eingehende Anrufe oder leiten Sie eingehende Anrufe über ein Drittanbieter-SIP-System weiter, siehe Bedienungsanleitung zur Anbindung des Telefonsystems.

Abrechnung und Parallelität

Sprachgespräche ziehen Credits nach Sprachnutzung ab; aufgebrauchte Credits führen dazu, dass eingehende Anrufe abgewiesen werden – halten Sie eine Reserve bereit.
Achten Sie auf das Limit gleichzeitiger Gespräche: Neue eingehende Anrufe über dem Limit werden abgewiesen. Schätzen Sie den Parallelitätsbedarf vor der Live-Schaltung anhand des erwarteten Anrufvolumens ab.
Gesprächsaufzeichnungen können Sie unter Protokoll / Gesprächsverlauf einsehen; sie enthalten Gesprächsquelle, Anrufernummer, mehrstufige Fragen und Antworten sowie die Ablaufreihenfolge zur Laufzeit und erleichtern so Rückverfolgung und Optimierung.