โมเดลและแพลตฟอร์ม AI
ElevenLabs เปิดตัวการปรับแต่งโมเดล ElevenAI และโปรแกรมพันธมิตร
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ElevenLabs ประกาศเมื่อวันที่ 11 พฤศจิกายน 2026 ว่าจะช่วยธุรกิจปรับแต่งโมเดลภาษาที่คัดเลือกจากกลุ่มโอเพนซอร์สและโมเดลเสียงของบริษัท โดยใช้ข้อมูลจากการใช้งานจริง พร้อมเปิดตัวแอป ElevenAI สำหรับการทำงานในองค์กรและโปรแกรมพันธมิตรใหม่ในงาน New York Summit
ชุดผลิตภัณฑ์นี้ขยายขอบเขตของ ElevenLabs จากการสร้างเสียงและถอดเสียง ไปสู่ซอฟต์แวร์สำหรับจัดการการสนทนากับลูกค้าและงานของพนักงาน Mati Staniszewski ซีอีโอกล่าวว่า ภายในไม่กี่ปี ตัวแทนสนทนาจะกลายเป็น “โครงสร้างพื้นฐานสำคัญสำหรับทุกองค์กร จำเป็นไม่ต่างจากคลาวด์หรือระบบชำระเงิน” โดยวางตำแหน่งผลิตภัณฑ์เหล่านี้ให้เป็นส่วนหนึ่งของการผลักดันการใช้งานในองค์กรในวงกว้าง
โมเดลเฉพาะสำหรับแต่ละบริษัทและการกำหนดเส้นทางการสนทนา
ElevenLabs มีแผนเริ่มงานปรับแต่งโมเดลในช่วงไม่กี่เดือนข้างหน้า ธุรกิจจะร่วมมือกับนักวิจัยของบริษัทเพื่อปรับโมเดลให้เหมาะกับลูกค้าและบริบทการดำเนินงานของตน โดยเลือกตัวชี้วัดการปรับปรุงได้ เช่น ความพึงพอใจของลูกค้าหรือความน่าเชื่อถือ เนื่องจากข้อมูลมาจากการใช้งานจริง บริษัทต่าง ๆ จึงสามารถปรับปรุงโมเดลต่อไปได้เมื่อมีปฏิสัมพันธ์เพิ่มขึ้น แทนที่จะพึ่งพาเพียงโมเดลทั่วไปของอุตสาหกรรม
ElevenLabs ใช้แนวทางที่ปรับให้เหมาะกับแต่ละอุตสาหกรรมอยู่แล้วผ่าน Scribe v3 Medical ซึ่งเป็นโมเดลถอดเสียงสำหรับงานด้านสุขภาพที่ออกแบบมาให้รู้จำคำศัพท์เฉพาะทางได้ Staniszewski กล่าวว่า บริษัทยังกำลังพัฒนาโมเดลสำหรับบริการทางการเงินที่ปรับให้เหมาะกับโดเมนดังกล่าวด้วย
Interaction Engine ที่นำมาแสดงตัวอย่างมุ่งแก้ปัญหาอีกด้านหนึ่ง นั่นคือการกำหนดว่าการสนทนาควรดำเนินไปอย่างไร ระบบจัดการการผลัดกันพูดและการพูดแทรกได้ อีกทั้งยังสามารถกำหนดโมเดลภาษาที่แตกต่างกันให้กับแต่ละช่วงของการสนทนา โดยใช้โมเดลที่มีต้นทุนต่ำกว่าสำหรับการคัดกรองเบื้องต้น และใช้โมเดลแนวหน้าสำหรับงานที่ซับซ้อน การออกแบบนี้ช่วยให้การสนทนาทั่วไปไม่จำเป็นต้องใช้โมเดลแนวหน้าในทุกขั้นตอน และมีเป้าหมายเพื่อลดการใช้โทเคน
ความจำ ระบบอัตโนมัติ และแอป ElevenAI
ElevenLabs ระบุว่า ElevenAgents ซึ่งเป็นแพลตฟอร์มสำหรับนำตัวแทนเสียงและแชตไปใช้งาน จะเพิ่มฟีเจอร์ Memory และ Routines โดย Memory จะจดจำลูกค้าที่ผ่านการยืนยันตัวตนและกลับมาใช้บริการอีกครั้ง พร้อมสรุปการสนทนาแต่ละครั้งเป็นบันทึกที่มีโครงสร้าง ครอบคลุมความชอบ ข้อจำกัด และโอกาสในอนาคต ขณะที่ระบบบริหารความสัมพันธ์ลูกค้ายังคงเป็นแหล่งข้อมูลหลักเกี่ยวกับลูกค้า ตัวอย่างเช่น ลูกค้าที่ชอบใช้ภาษาสเปนและสะดวกคุยได้หลัง 17:00 น. ก็ไม่จำเป็นต้องบอกข้อมูลเหล่านี้ซ้ำในการโทรครั้งถัดไป
Routines ซึ่งกำลังจะเปิดตัวเช่นกัน ออกแบบมาเพื่อทำงานหลายขั้นตอนโดยอัตโนมัติก่อน ระหว่าง และหลังการสนทนา พร้อมเชื่อมต่อกับเครื่องมือและระบบที่มีอยู่ ตัวอย่างการใช้งาน ได้แก่ การคัดกรองผู้ยื่นขอสินเชื่อที่อยู่อาศัยเบื้องต้นและโทรกลับภายในไม่กี่นาที การเตือนผู้ป่วยเรื่องนัดหมายและเสนอเวลานัดที่ถูกยกเลิกให้แก่ผู้ป่วยในรายชื่อรอ การส่งรายงานทางอีเมล การบันทึกข้อมูลลงในระบบบริหารความสัมพันธ์ลูกค้า หรือการเริ่มโทรออก เมื่อใช้ร่วมกัน ฟีเจอร์เหล่านี้จะช่วยให้ ElevenAgents ก้าวข้ามการตอบข้อซักถาม ไปสู่การเก็บรักษาบริบทและทำงานต่าง ๆ ที่เกี่ยวข้องกับการสนทนาให้เสร็จสิ้น
สำหรับพนักงาน Staniszewski ได้เผยตัวอย่าง ElevenAI แอปที่รับฟังบทสนทนาที่พูดกัน รวมถึงการประชุมแบบพบหน้า แล้วจัดทำบันทึก สรุปความ และรายการสิ่งที่ต้องดำเนินการ แอปยังให้ความช่วยเหลือแบบเรียลไทม์และถ่ายทอดบริบทระหว่างบุคคลกับตัวแทนได้ด้วย ElevenLabs ระบุว่าแอปจดบันทึกการประชุมเมื่อผู้เข้าร่วมยินยอม และมีกลไกแจ้งให้ทราบและขอความยินยอม
การประกาศครั้งนี้เปิดให้ทดลองใช้ ElevenAI ก่อนใครโดยไม่มีค่าใช้จ่าย ฟีเจอร์ป้อนตามคำบอกและบันทึกการประชุมใช้ Scribe v3 ซึ่ง ElevenLabs อธิบายว่าเป็นโมเดลถอดเสียงจากไฟล์เสียงที่บันทึกไว้ รองรับ 102 ภาษา ส่วน Scribe v3 Live ซึ่งเป็นรุ่นแยกต่างหาก ออกแบบมาสำหรับเสียงแบบเรียลไทม์ที่มีความหน่วงต่ำ
พันธมิตร มาร์เก็ตเพลส และโครงสร้างพื้นฐานของ NVIDIA
ElevenLabs รายงานว่ามีพันธมิตรมากกว่า 550 รายใน 44 ประเทศ รวมถึง Google Cloud, IBM, Deloitte, DXC และ Genesys โปรแกรมพันธมิตรใหม่นี้เปิดโอกาสให้บริษัทที่ปรึกษา ผู้วางระบบ ผู้จำหน่ายซอฟต์แวร์ และเอเจนซีผนวกรวม ElevenAgents เข้ากับชุดเทคโนโลยีขององค์กร หรือทำงานร่วมกับวิศวกรภาคสนามของ ElevenLabs ในการติดตั้งใช้งานที่ซับซ้อน ความร่วมมือกับ McKinsey และ QuantumBlack, AI by McKinsey จะผสานแพลตฟอร์มเข้ากับงานปรับเปลี่ยนองค์กรของ McKinsey
มาร์เก็ตเพลสที่เปิดตัวควบคู่กันมีแค็ตตาล็อกแอปพลิเคชันที่คัดสรรจากผลงานของพันธมิตรในระยะแรก ครอบคลุมด้านสุขภาพ บริการทางการเงิน ประกันภัย การศึกษา และค้าปลีก องค์กรต่าง ๆ สามารถเลือกดูแอปพลิเคชันและติดต่อผู้พัฒนาได้ ส่วนการซื้อผ่านข้อตกลงที่มีกับ ElevenLabs อยู่แล้ว มีแผนเริ่มให้บริการในปี 2027
ElevenLabs และ NVIDIA ประกาศว่า Nemotron 3.5 Super VL พร้อมใช้งานใน ElevenAgents แล้ว และ ElevenLabs มีแผนเพิ่มกำลังประมวลผล NVIDIA Vera Rubin อีก 15 MW นอกเหนือจากระบบ Blackwell Ultra ที่มีอยู่ กำลังประมวลผลที่เพิ่มขึ้นนี้มีไว้รองรับการติดตั้งใช้งานขนาดใหญ่ที่มีข้อกำหนดด้านความปลอดภัยหรือการจัดเก็บข้อมูลภายในพื้นที่ที่กำหนด และเปิดโอกาสให้นักวิจัยของ ElevenLabs เข้าถึงกำลังประมวลผลที่ผ่านการปรับแต่งให้เหมาะสม
ความร่วมมือที่ขยายวงกว้างขึ้นนี้ยังครอบคลุมเอเจนต์เสียงที่ติดตั้งภายในองค์กรสำหรับ Centralna e-Rejestracja ซึ่งเป็นระบบนัดหมายส่วนกลางบนแพลตฟอร์มสุขภาพดิจิทัลแห่งชาติของโปแลนด์ โดยมี EasyCall สนับสนุนการติดตั้งใช้งาน เอเจนต์จะโทรหาผู้ป่วยที่มีเพียงโทรศัพท์บ้าน เพื่อเตือนเรื่องนัดหมายและช่วยเลื่อนนัด ElevenLabs ระบุว่าระบบส่วนกลางรองรับการนัดหมาย 40 ล้านครั้งต่อปี และมีอัตราการไม่มาตามนัด 10% ถึง 20% การติดตั้งใช้งานนี้ใช้ NVIDIA Confidential Computing เพื่อเก็บข้อมูลประชาชนและเสียงไว้ภายในโครงสร้างพื้นฐานของภาครัฐ และปกป้องข้อมูลระหว่างประมวลผล
ชุดผลิตภัณฑ์จาก Summit ทำให้กลยุทธ์ระดับองค์กรของ ElevenLabs ไม่ได้ขึ้นอยู่กับประสิทธิภาพของโมเดลเพียงอย่างเดียว: การปรับแต่งและ Memory อาศัยข้อมูลที่สะสมจากการใช้งานจริง ส่วน Routines เชื่อมบทสนทนาเข้ากับระบบธุรกิจ ขณะที่โปรแกรมพาร์ตเนอร์และ Marketplace เปิดช่องทางสู่ลูกค้าองค์กร ดังนั้น ความท้าทายหลักในการดำเนินงานจึงมีสองด้าน ได้แก่ การขยายการใช้งานผลิตภัณฑ์ที่เปิดให้ทดลองและผลิตภัณฑ์ที่เปิดให้เข้าถึงก่อนกำหนดไปสู่การใช้งานจริงในวงกว้างขึ้น และการผลักดันให้ผู้ที่เข้าชม Marketplace เปลี่ยนเป็นผู้ซื้อ โดยอาศัยความมุ่งมั่นที่ ElevenLabs มีอยู่แล้ว
