โมเดลและแพลตฟอร์ม AI

Baseten เปิดตัว Voice Agent Stack และ Realtime Voice ให้ทดลองใช้งานแบบส่วนตัว

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญการวางระบบออร์เคสเตรชันร่วมกับโมเดลเสียงช่วยขจัดรอบการเดินทางผ่านเครือข่ายที่ตัวออร์เคสเ…
ดูเพิ่มเติม
  • การวางระบบออร์เคสเตรชันร่วมกับโมเดลเสียงช่วยขจัดรอบการเดินทางผ่านเครือข่ายที่ตัวออร์เคสเตรชันระยะไกลเพิ่มเข้ามาในแต่ละเทิร์น
  • สแตกของ Baseten ช่วยให้ผู้ปฏิบัติงานสามารถขยายแต่ละขั้นตอนของไปป์ไลน์ได้อย่างอิสระ แทนที่จะทำสำเนาไปป์ไลน์ทั้งหมด
  • ไคลเอนต์ OpenAI SDK ไม่สามารถเชื่อมต่อโดยตรงได้ เนื่องจากเอนด์พอยต์ของ Baseten ไม่ได้ให้บริการเส้นทางเรียลไทม์ที่ต่อท้ายไว้

Baseten ประกาศเปิดตัว Voice Agent Stack และ Baseten Realtime Voice เมื่อวันที่ 16 พฤศจิกายน 2026 โดยเปิดให้ทดลองใช้งานแบบส่วนตัวผ่านการลงชื่อในรายชื่อรอ และรายงานว่าค่ามัธยฐานของเวลาแฝงต่อรอบสนทนาอยู่ที่ประมาณ 1 วินาที ในการทดสอบที่รองรับเซสชันพร้อมกันสูงสุด 56 เซสชัน Stack นี้วางโมเดลเสียงและระบบจัดการลำดับงานไว้ร่วมกัน ให้ลูกค้าเลือกโมเดลแต่ละตัวได้อย่างอิสระ และปรับขนาดทรัพยากรของแต่ละองค์ประกอบในไปป์ไลน์แยกจากกัน

โครงสร้างพื้นฐานที่วางระบบไว้ร่วมกัน

Voice Agent Stack ทำงานบน Baseten Dedicated Inference โดยวางตัวประสานงานและโมเดลไว้ในคลาวด์รีเจียนเดียวกัน และเชื่อมต่อผ่านเครือข่ายภายในคลัสเตอร์ Baseten ระบุว่าตัวประสานงานที่อยู่ระยะไกลอาจเพิ่มเวลาไปกลับของเครือข่ายหลายร้อยมิลลิวินาทีต่อรอบ แม้องค์ประกอบด้านการแปลงเสียงเป็นข้อความ การประมวลผลภาษา และการแปลงข้อความเป็นเสียงจะโฮสต์อยู่บนแพลตฟอร์มของบริษัททั้งหมดก็ตาม Stack นี้ยังมีการเพิ่มประสิทธิภาพรันไทม์สำหรับการอนุมาน การเชื่อมต่อเครือข่ายระหว่างโมเดล การปรับขนาดทรัพยากรตามปริมาณการรับส่งข้อมูล การสลับไปใช้ระบบสำรองข้ามคลาวด์ และการรองรับการปรับแต่งโมเดลหลังการฝึก

Realtime Voice เป็นการติดตั้งใช้งานต้นแบบ โดยทำงานผ่านโมเดลแบบเปิดน้ำหนักที่ Baseten ปรับแต่งให้เหมาะสมเป็นลำดับขั้น สำหรับการแปลงเสียงเป็นข้อความ การประมวลผลภาษา และการแปลงข้อความเป็นเสียง พร้อมตัวประสานงานที่พัฒนาขึ้นเองบนพื้นฐานของ Pipecat การออกแบบที่รองรับการมอบหมายงานเป็นทางเลือกจะให้โมเดลผู้พูดที่ทำงานร่วมตำแหน่งกันและตอบสนองรวดเร็วดูแลการสนทนา ขณะที่โมเดลผู้คิดภายนอกซึ่งมีประสิทธิภาพสูงกว่าจะจัดการการให้เหตุผล การค้นหาเว็บ การตัดสินใจ และการเรียกใช้เครื่องมือแบบไม่พร้อมกัน เครื่องมือฝั่งเซิร์ฟเวอร์ทำงานบนตัวประสานงานที่อยู่ร่วมตำแหน่งกัน ซึ่งยังเรียกใช้เซิร์ฟเวอร์ Model Context Protocol ระยะไกลได้ด้วย จึงช่วยหลีกเลี่ยงการรับส่งข้อมูลไปกลับเพิ่มเติมระหว่างไคลเอ็นต์กับเซิร์ฟเวอร์ ทั้งยังรองรับเครื่องมือฝั่งไคลเอ็นต์ด้วย

การควบคุมโมเดลและความเข้ากันได้ของ API

ลูกค้าสามารถเลือกโมเดลสำหรับแปลงเสียงเป็นข้อความ ประมวลผลภาษา และแปลงข้อความเป็นเสียงได้อย่างอิสระ ใช้องค์ประกอบเฉพาะร่วมกับ API ของผู้ให้บริการภายนอก และทยอยย้ายส่วนประกอบแต่ละส่วนไปใช้โครงสร้างพื้นฐานเฉพาะได้ ตัวเลือกการปรับแต่งหลังการฝึกประกอบด้วยการปรับการถอดเสียงให้รองรับศัพท์เฉพาะในแต่ละอุตสาหกรรม การปรับพฤติกรรมของโมเดลภาษาให้เหมาะกับการสนทนาทางโทรศัพท์ และการปรับแต่งโมเดลเสียงด้วยการเรียนรู้แบบมีผู้สอนโดยใช้ข้อมูลเสียงของลูกค้า เซสชันหนึ่งสามารถเปลี่ยนโมเดลภาษา เสียงพูด หรือเส้นทางการถอดเสียงได้โดยไม่ต้องติดตั้งใช้งานใหม่

API นี้สอดคล้องกับโปรโตคอลเหตุการณ์หลักของ OpenAI Realtime และรองรับโหมดเสียงเข้า/เสียงออกกับข้อความเข้า/เสียงออก รวมถึงการเพิ่มน้ำหนักให้คำสำคัญในการถอดเสียง การตอบรับที่กำหนดค่าได้ และการโคลนเสียง อย่างไรก็ตาม ความเข้ากันได้ยังมีข้อจำกัดในทางปฏิบัติ กล่าวคือ ไคลเอ็นต์ต้องรองรับ URL ของ WebSocket แบบเต็ม ส่วน Python SDK ของ OpenAI ไม่สามารถเชื่อมต่อได้โดยตรง เพราะจะต่อ /realtime เข้ากับ URL พื้นฐานของตน ซึ่งเป็นเส้นทางที่เอนด์พอยต์ของ Baseten ไม่ได้ให้บริการ ไคลเอ็นต์บนเบราว์เซอร์ต้องใช้แบ็กเอนด์เพื่อเก็บคีย์ API และส่งต่อการเชื่อมต่อซ็อกเก็ต เนื่องจากเบราว์เซอร์ไม่สามารถกำหนด Authorization ส่วนหัวที่จำเป็นได้

เวลาแฝงและต้นทุนเมื่อมีการใช้งานพร้อมกัน

Baseten รายงานว่าเวลามัธยฐานจนได้ยินเสียงแรกเพิ่มจาก 0.94 วินาทีเมื่อมีการโทรพร้อมกัน 1 สาย เป็น 1.14 วินาทีเมื่อมี 56 สาย การทดสอบเวลาแฝงใช้บริบทที่มีขนาดสูงสุด 16,000 โทเค็น โดยบริบทที่ยาวกว่านี้อาจทำให้เวลาแฝงต่อรอบเพิ่มขึ้น ขณะที่การสรุปที่กำหนดค่าได้ช่วยควบคุมความยาวบริบทของแต่ละเซสชันให้อยู่ตามเป้าหมาย การตั้งค่าที่ใช้ในการทดสอบประกอบด้วย Qwen3-ASR บน RTX-6000 จำนวน 1 เครื่อง, Gemma-4-31B บน B200 จำนวน 1 เครื่อง, Qwen3-TTS บน RTX-6000 อีก 1 เครื่อง และ GLM-5.3 Fast ผ่าน Baseten Model APIs สำหรับการมอบหมายงาน

องค์ประกอบแต่ละส่วนจะปรับขนาดทรัพยากรแยกกันตามเป้าหมายจำนวนงานพร้อมกันของตน ทำให้ผู้ปฏิบัติงานเพิ่มขีดความสามารถให้เฉพาะขั้นตอนที่เริ่มรองรับไม่ไหวได้ แทนที่จะทำสำเนาไปป์ไลน์ทั้งหมด การออกแบบนี้มีเป้าหมายเพื่อรักษาค่าเวลาแฝงส่วนหางที่ p90 และ p95 ให้อยู่ในเกณฑ์เข้มงวด พร้อมกับใช้ประโยชน์จาก GPU ในระดับสูง Baseten ประเมินว่ามีค่าใช้จ่าย $0.012 ต่อนาทีเสียง เมื่อมี 32 เซสชันพร้อมกัน โดยไม่รวมต้นทุนต่อโทเค็นของการมอบหมายงานให้โมเดลให้เหตุผล และ $0.008 ต่อนาทีการโทร เมื่อมี 56 เซสชัน ซึ่งรวมการมอบหมายงานผ่าน Model API แล้ว โดยอิงตามสมมติฐานด้านการใช้ทรัพยากรที่บริษัทระบุไว้ ราคาสำหรับโครงสร้างพื้นฐานเฉพาะช่วยเฉลี่ยต้นทุนฮาร์ดแวร์ไปยังเซสชันเพิ่มเติม ทำให้การใช้ทรัพยากรอย่างต่อเนื่องเป็นปัจจัยสำคัญต่อโครงสร้างต้นทุนดังกล่าว

ผลการทดสอบองค์ประกอบด้านการแปลงเสียงเป็นข้อความจาก Coval ซึ่งเป็นการทดสอบมาตรฐานอิสระ ช่วยให้เห็นบริบทของประสิทธิภาพในระดับองค์ประกอบ กระดานจัดอันดับในช่วง 24 ชั่วโมง ซึ่งใช้ข้อมูลที่ประทับเวลา 17:30 UTC เมื่อวันที่ 16 พฤศจิกายน 2026 จัดให้ Qwen3 ASR 1.7b ที่โฮสต์บน Baseten อยู่ในอันดับสองเมื่อวัดจากค่ามัธยฐานของเวลาจนถึงส่วนสุดท้ายของข้อความถอดเสียง โดยอยู่ที่ 33 มิลลิวินาที และมีอัตราความผิดพลาดของคำ 2.1% จากตัวอย่าง 456 รายการ ตัวชี้วัดนี้เริ่มนับจากจุดสิ้นสุดของคำพูดที่กำหนดร่วมกัน และสิ้นสุดเมื่อได้รับข้อความถอดเสียงส่วนสุดท้าย โดยไม่รวมเวลาที่ระบบใช้งานจริงต้องตรวจจับว่ารอบการพูดจบลงแล้ว ดังนั้นตัวชี้วัดนี้จึงไม่ได้วัดเวลาตอบสนองทั้งหมดของเอเจนต์

Baseten ระบุว่างานในอนาคตจะครอบคลุมโฟลว์การประสานงานที่ซับซ้อนขึ้น การย้ายไปป์ไลน์เสียงที่มีอยู่ให้ทำได้ง่ายขึ้น ระบบเสียงพูดเข้าและออกพร้อมกันแบบฟูลดูเพล็กซ์ที่ทำงานกับเสียงพูดโดยตรง โมเดลอเนกประสงค์ที่มีหัวสร้างเสียงพูดเฉพาะ และกลไกการจัดตารางงานแบบใหม่ตลอดลำดับขั้น การเปิดตัวครั้งนี้ทำให้การประสานงานกลายเป็นจุดควบคุมต้นทุนของเอเจนต์เสียง โดยจัดการการเลือกโมเดล การทำงานของเครื่องมือ และขีดความสามารถของแต่ละองค์ประกอบไว้ด้วยกัน ช่วยให้ผู้ปฏิบัติงานมีหลายวิธีในการปรับเวลาแฝงและการใช้ GPU โดยไม่ต้องสร้างไปป์ไลน์ทั้งหมดขึ้นใหม่

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว