คู่มือการตั้งค่าเอเจนต์เสียง

บทความนี้อธิบายพารามิเตอร์แต่ละตัวตามลำดับแผงจากบนลงล่างของหน้าตั้งค่า: บทบาทของมัน ช่วงค่าและค่าเริ่มต้น ตลอดจนโหมดเอนจินที่ใช้ได้ เอเจนต์เสียงยังคงความสามารถทั่วไปอย่างความรู้ ฐานข้อมูล หน่วยความจำ ในขณะเดียวกันก็เพิ่มการตั้งค่าที่เกี่ยวกับเสียงห้ากลุ่ม ได้แก่ เอนจินเสียง อินพุต เอาต์พุต การนำทางต้อนรับ การควบคุมการโทร

หากยังไม่เข้าใจแนวคิดพื้นฐานของเอเจนต์เสียงและโหมดเอนจินสามแบบ แนะนำให้อ่านภาพรวมเอเจนต์เสียงก่อน

เอนจินเสียง

ด้านบนของแผงเอนจินเสียงคือตัวเลือกโหมดเอนจิน สามารถสลับ Real-time model, ASR-LLM-TTS, LLM+TTS ได้ หลังจากสลับแล้ว โมเดลและพารามิเตอร์ที่แสดงด้านล่างจะเปลี่ยนไปตามนั้น

Real-time model (REALTIME)

โมเดลเสียงเรียลไทม์ตัวเดียวทำ「ฟัง — คิด — พูด」ให้เสร็จแบบ end-to-end อินพุตและเอาต์พุตของเสียงอยู่ในลูปปิดภายในโมเดลเดียวกัน ตรงกลางไม่ผ่านการรู้จำเสียงและการสังเคราะห์เสียงอิสระ จึงมีความหน่วงต่ำที่สุดและน้ำเสียงเป็นธรรมชาติที่สุด

โดยทั่วไป เราแนะนำโหมด Real-time model มากกว่า เพราะความหน่วงต่ำที่สุด น้ำเสียงเป็นธรรมชาติ เหมาะกับสถานการณ์เสียงแบบเรียลไทม์ส่วนใหญ่ โมเดล Live ที่ OpenAI กำลังจะเปิดตัวไม่เพียงรองรับเสียงเรียลไทม์แบบฟูลดูเพล็กซ์ (full-duplex) เท่านั้น แต่เมื่อเจองานที่ซับซ้อนยังสามารถเรียกใช้โมเดลข้อความขนาดใหญ่ที่มีความสามารถสูงกว่าเบื้องหลังได้ ในอนาคตจะกลายเป็นทางเลือกอันดับแรกของเสียงเรียลไทม์

graph LR
  U([เสียงผู้ใช้]) --> RT[โมเดลเสียงเรียลไทม์ ประมวลผล end-to-end]
  RT --> A([ตอบกลับด้วยเสียง])

Real-time model รวมการรู้จำ การอนุมาน การสังเคราะห์ ไว้ในโมเดลเดียว จึงมีรายการตั้งค่าที่กระชับที่สุด:

Real-time model ไม่มีช่วง ASR / TTS อิสระ จึงไม่มีการตั้งค่าคำสั่งถอดเสียง ภาษาของเสียง การล้างสัญลักษณ์ TTS (ลบ / แทนที่) ฯลฯ ความสามารถเหล่านี้ถูกรวมอยู่ภายในโมเดลแล้ว

ASR-LLM-TTS

เส้นทางแบบสามช่วง: เสียงถูกรู้จำเป็นข้อความก่อน ส่งให้โมเดลข้อความขนาดใหญ่อนุมาน แล้วสังเคราะห์คำตอบเป็นเสียง ทั้งสามช่วงเลือกโมเดลได้แยกกัน เป็นโหมดที่ควบคุมได้มากที่สุด

graph LR
  U([เสียงผู้ใช้]) --> ASR[ASR การรู้จำเสียง]
  ASR -->|ข้อความ| LLM[โมเดลข้อความขนาดใหญ่ อนุมาน]
  LLM -->|ข้อความคำตอบ| TTS[TTS การสังเคราะห์เสียง]
  TTS --> A([ตอบกลับด้วยเสียง])

การตั้งค่าทีละช่วงมีดังนี้:

ทั้งลบและแทนที่ใช้จุลภาคภาษาอังกฤษคั่นสัญลักษณ์หลายตัว วงเล็บที่เป็นคู่ (เช่น (), 《》) กรอกเป็นชุดเดียวได้เลย

LLM+TTS

โมเดล LLM มัลติโมดัลที่รองรับอินพุตเสียงเข้าใจเสียงโดยตรง ตัดขั้นตอน ASR อิสระออกไป จากนั้นข้อความคำตอบของโมเดลจะส่งให้ TTS สังเคราะห์เป็นเสียง

graph LR
  U([เสียงผู้ใช้]) --> LLM[โมเดลมัลติโมดัลขนาดใหญ่ เข้าใจเสียงโดยตรง]
  LLM -->|ข้อความคำตอบ| TTS[TTS การสังเคราะห์เสียง]
  TTS --> A([ตอบกลับด้วยเสียง])

รายการตั้งค่าคือ LLM (รวมพารามิเตอร์โมเดลและพรอมป์ตัวตน) และ TTS (รวมลบ แทนที่) ความหมายเหมือนกับ ASR-LLM-TTS

อินพุต

แผงอินพุตควบคุม「Agent ฟังอย่างไร」แก่นหลักคือ VAD (การตรวจจับกิจกรรมเสียงพูด) และการรู้จำสิ่งแนบ

การควบคุม VAD

VAD (การตรวจจับกิจกรรมเสียงพูด) กำหนดว่า Agent จะตัดสินอย่างไรว่าผู้ใช้พูดจบเมื่อใด และสามารถถูกขัดจังหวะได้หรือไม่ พารามิเตอร์ที่ปรับได้จะเปลี่ยนไปตามโหมดเอนจินและโหมดการรู้จำ หลังจากสลับแล้วฟอร์มจะเปลี่ยนตามไปด้วย:

• Real-time model: ใช้ VAD ที่มากับโมเดล สามารถเลือกโหมดการรู้จำในหน้าตั้งค่าได้ — โหมดพรีเซ็ตหรือโหมดเชิงความหมาย ค่าเริ่มต้นคือโหมดพรีเซ็ต
• ASR-LLM-TTS / LLM+TTS: ใช้ VAD ในตัวของแพลตฟอร์ม พฤติกรรมเหมือนกับโหมดพรีเซ็ต ไม่มีการสลับโหมดการรู้จำ

โหมดพรีเซ็ต

ตัดประโยคตามสัญญาณเสียง: อาศัยเกณฑ์ระดับความดังและระยะเวลาความเงียบเพื่อตัดสินว่าผู้ใช้พูดจบหรือไม่ พฤติกรรมตรงไปตรงมา คาดเดาได้ ใช้ได้กับ Real-time model (เมื่อเลือกโหมดพรีเซ็ต) รวมถึง ASR-LLM-TTS, LLM+TTS

โหมดเชิงความหมาย

รองรับเฉพาะ Real-time model โดยให้โมเดลเข้าใจความหมายเพื่อตัดสินว่าผู้ใช้พูดจบหรือไม่ ไม่พึ่งเกณฑ์ระดับความดังและความเงียบที่ตายตัวอีกต่อไป การตัดประโยคเป็นธรรมชาติกว่า เหมาะกับการสนทนาภาษาพูดที่มีการหยุดมากและน้ำเสียงหลวม ๆ

สิ่งแนบ

เอาต์พุต

แผงเอาต์พุตควบคุม「Agent พูดอย่างไร」ประกอบด้วยเสียงพื้นหลังและการเล่นจากแคช

เสียงพื้นหลัง

ซ้อนเสียงสภาพแวดล้อมลงในการโทร เพื่อให้การสนทนาด้วยเสียงมีบรรยากาศเหมือนอยู่ในสถานที่จริงมากขึ้น แนะนำให้ปรับระดับความดังไว้ที่ประมาณ 0.2 ก็พอ เพื่อหลีกเลี่ยงการกลบเสียงคน

การเล่นจากแคช

การนำทางต้อนรับ

ตั้งค่าการแสดงเปิดฉากเมื่อเริ่มการโทร รองรับการตั้งค่าแยกตามหลายภาษา

การควบคุมการโทร

การควบคุมการโทรใช้เพื่อทำให้การโทรเป็นธรรมชาติมากขึ้น หลีกเลี่ยงการเงียบและไม่คืบหน้า ป้องกันการครอบครองสายอย่างไม่สิ้นสุดด้วยการตั้งค่ากลไกวางสาย เพื่อประหยัดทรัพยากรและค่าใช้จ่าย

การควบคุมเมื่อเงียบ

เมื่อทริกเกอร์เกณฑ์ความเงียบ จะถามต่อโดยอัตโนมัติหรือเล่นข้อความแจ้ง เพื่อดึงผู้ใช้กลับสู่การสนทนา

วางสาย

เมื่อเข้าเงื่อนไขระยะเวลาการโทรสูงสุดหรือจำนวนครั้งของความเงียบสูงสุดอย่างใดอย่างหนึ่ง จะทริกเกอร์การวางสาย

แผงความสามารถที่ใช้ร่วมกัน

เอเจนต์เสียงยังรองรับความสามารถทั่วไปของ Agent อย่างความรู้ ฐานข้อมูล หน่วยความจำ ด้วย วิธีตั้งค่าเหมือนกับ Agent ทั่วไป สามารถอ้างอิงเอกสารที่เกี่ยวกับ Agent ได้ สิ่งที่ต้องระวัง:

• แผงบริการโดยมนุษย์ในเอเจนต์เสียงแสดง「กำลังจะรองรับ」ไว้ชั่วคราว
• แผงอย่างเครื่องมือ Workflow ฯลฯ ไม่แสดงในเอเจนต์เสียง

ตารางเทียบรายการตั้งค่าของแต่ละโหมด

ในแต่ละโหมดเอนจิน รายการที่แสดงในหน้าตั้งค่าจะแตกต่างกันเล็กน้อย เทียบได้ตามตารางด้านล่าง:

พารามิเตอร์ควรตั้งค่าอย่างไรจึงจะเข้ากับธุรกิจมากขึ้น โปรดอ่านต่อที่แนวทางปฏิบัติที่ดีที่สุด