ElevenLabs ra mắt khả năng tùy chỉnh mô hình, ElevenAI và chương trình đối tác

ElevenLabs thông báo vào ngày 11 tháng 11 năm 2026 rằng công ty sẽ giúp doanh nghiệp tinh chỉnh một số mô hình ngôn ngữ nguồn mở được lựa chọn và các mô hình giọng nói của mình bằng dữ liệu từ những lần triển khai thực tế. Thông báo này cũng giới thiệu ứng dụng làm việc ElevenAI mới và chương trình đối tác tại Hội nghị thượng đỉnh New York của công ty.

Gói sản phẩm này mở rộng hoạt động của ElevenLabs từ tạo giọng nói và phiên âm sang phần mềm quản lý các cuộc hội thoại với khách hàng và công việc của nhân viên. CEO Mati Staniszewski cho biết trong vài năm tới, các tác nhân hội thoại sẽ trở thành “hạ tầng thiết yếu cho mọi doanh nghiệp, quan trọng như dịch vụ đám mây hay thanh toán”, qua đó định vị các sản phẩm này như một nỗ lực thúc đẩy triển khai rộng hơn trong doanh nghiệp.

Mô hình tùy chỉnh theo từng doanh nghiệp và định tuyến hội thoại

ElevenLabs dự kiến bắt đầu công việc tùy chỉnh trong những tháng tới. Doanh nghiệp sẽ phối hợp với các nhà nghiên cứu của công ty để tinh chỉnh mô hình phù hợp với khách hàng và bối cảnh hoạt động của mình, đồng thời lựa chọn các chỉ số tối ưu hóa như mức độ hài lòng của khách hàng hoặc độ tin cậy. Vì dữ liệu được lấy từ những lần triển khai thực tế, doanh nghiệp có thể tiếp tục tinh chỉnh mô hình khi số lượng tương tác tăng lên, thay vì chỉ dựa vào một mô hình chung của ngành.

ElevenLabs hiện đã áp dụng phương pháp chuyên biệt theo ngành thông qua Scribe v3 Medical, một mô hình phiên âm trong lĩnh vực chăm sóc sức khỏe được xây dựng để nhận diện thuật ngữ chuyên ngành. Staniszewski cho biết một mô hình tối ưu hóa theo lĩnh vực dịch vụ tài chính cũng đang được phát triển.

Interaction Engine được giới thiệu bản xem trước giải quyết một vấn đề khác: xác định cách thức diễn ra cuộc hội thoại. Công cụ này quản lý việc luân phiên lượt nói và ngắt lời, đồng thời có thể phân công các mô hình ngôn ngữ khác nhau cho từng phần của cuộc trao đổi, chẳng hạn dùng một mô hình rẻ hơn để phân loại yêu cầu ban đầu và một mô hình tiên tiến nhất cho các tác vụ phức tạp. Thiết kế này giúp các cuộc trao đổi thông thường không phải dùng mô hình tiên tiến nhất ở mọi bước và nhằm hạn chế mức sử dụng token.

Bộ nhớ, tự động hóa và ứng dụng ElevenAI

ElevenLabs cho biết ElevenAgents, nền tảng triển khai các tác nhân thoại và trò chuyện của công ty, sẽ được bổ sung Memory và Routines. Memory sẽ nhận diện những khách hàng đã xác thực quay lại, rồi chắt lọc từng cuộc hội thoại thành bản ghi có cấu trúc về sở thích, giới hạn và những dịp sắp tới, trong khi hệ thống quản lý quan hệ khách hàng vẫn là hồ sơ khách hàng chính. Chẳng hạn, khách hàng thích nói tiếng Tây Ban Nha và chỉ có thể trò chuyện sau 5 giờ chiều sẽ không cần nhắc lại những thông tin đó trong cuộc gọi tiếp theo.

Routines, cũng sắp ra mắt, được thiết kế để tự động hóa các công việc gồm nhiều bước trước, trong và sau cuộc hội thoại bằng cách kết nối với những công cụ và hệ thống hiện có. Ví dụ gồm sàng lọc sơ bộ người đăng ký vay thế chấp rồi gọi lại trong vòng vài phút, nhắc bệnh nhân về lịch khám và mời những người trong danh sách chờ nhận các khung giờ vừa được hủy, gửi báo cáo qua email, ghi thông tin vào hệ thống quản lý quan hệ khách hàng hoặc bắt đầu cuộc gọi. Nhìn chung, các tính năng này giúp ElevenAgents vượt ra ngoài việc trả lời yêu cầu, hướng tới ghi nhớ ngữ cảnh và hoàn tất những công việc xoay quanh cuộc hội thoại.

Dành cho nhân viên, Staniszewski giới thiệu bản xem trước ElevenAI, một ứng dụng nghe các cuộc hội thoại bằng lời nói, kể cả những cuộc họp trực tiếp, rồi tạo ghi chú, bản tóm tắt và danh sách việc cần làm. Ứng dụng cũng có thể hỗ trợ trực tiếp và chuyển ngữ cảnh giữa mọi người với các tác nhân. ElevenLabs cho biết ứng dụng ghi chú cuộc họp khi có sự đồng ý của người tham dự, đồng thời có các cơ chế thông báo và xin chấp thuận.

Quyền truy cập sớm miễn phí vào ElevenAI bắt đầu cùng thời điểm công bố. Tính năng đọc chính tả và ghi chú cuộc họp sử dụng Scribe v3, mô hình phiên âm âm thanh đã ghi của ElevenLabs, hỗ trợ 102 ngôn ngữ; phiên bản riêng Scribe v3 Live được xây dựng để xử lý âm thanh theo thời gian thực với độ trễ thấp.

Đối tác, chợ ứng dụng và hạ tầng NVIDIA

ElevenLabs cho biết công ty có hơn 550 đối tác tại 44 quốc gia, trong đó có Google Cloud, IBM, Deloitte, DXC và Genesys. Chương trình Đối tác mới cho phép các công ty tư vấn, nhà tích hợp hệ thống, nhà cung cấp phần mềm và đại lý tích hợp ElevenAgents vào hệ thống công nghệ của doanh nghiệp hoặc phối hợp với các kỹ sư triển khai trực tiếp của ElevenLabs trong những đợt triển khai phức tạp. Liên minh với McKinsey và QuantumBlack, AI by McKinsey, kết hợp nền tảng này với hoạt động chuyển đổi doanh nghiệp của McKinsey.

Chợ ứng dụng đi kèm ban đầu cung cấp danh mục được tuyển chọn gồm các ứng dụng do đối tác xây dựng cho lĩnh vực chăm sóc sức khỏe, dịch vụ tài chính, bảo hiểm, giáo dục và bán lẻ. Doanh nghiệp có thể xem qua các ứng dụng và liên hệ với nhà phát triển; việc mua ứng dụng thông qua các cam kết hiện có với ElevenLabs dự kiến bắt đầu vào năm 2027.

ElevenLabs và NVIDIA thông báo rằng Nemotron 3.5 Super VL hiện có trên ElevenAgents, đồng thời ElevenLabs dự kiến bổ sung 15 MW năng lực điện toán NVIDIA Vera Rubin, bên cạnh các hệ thống Blackwell Ultra hiện có. Năng lực bổ sung này nhằm phục vụ những đợt triển khai quy mô lớn có yêu cầu về bảo mật hoặc lưu trú dữ liệu, đồng thời giúp các nhà nghiên cứu của ElevenLabs tiếp cận năng lực điện toán đã được tối ưu hóa.

Sự hợp tác mở rộng cũng bao gồm một tác nhân giọng nói triển khai tại chỗ cho Centralna e-Rejestracja, hệ thống đặt lịch trung tâm thuộc nền tảng y tế điện tử quốc gia của Ba Lan, với EasyCall hỗ trợ triển khai. Tác nhân này gọi cho những bệnh nhân chỉ có điện thoại cố định để nhắc họ về các cuộc hẹn và giúp họ đổi lịch. ElevenLabs cho biết hệ thống trung tâm xử lý 40 triệu cuộc hẹn mỗi năm và có tỷ lệ không đến từ 10% đến 20%; giải pháp triển khai sử dụng NVIDIA Confidential Computing để giữ dữ liệu và âm thanh của người dân trong hạ tầng chính phủ, đồng thời bảo vệ chúng trong quá trình xử lý.

Gói Summit cho thấy chiến lược doanh nghiệp của ElevenLabs phụ thuộc vào nhiều yếu tố hơn là hiệu suất mô hình: việc tinh chỉnh và Memory khai thác dữ liệu tích lũy trong quá trình sử dụng thực tế, Routines kết nối các cuộc hội thoại với hệ thống kinh doanh, còn chương trình đối tác và Marketplace mở ra con đường tiếp cận doanh nghiệp. Vì vậy, thách thức chính trong khâu triển khai gồm hai phần: đưa các sản phẩm đã được giới thiệu ở bản xem trước và quyền truy cập sớm vào sử dụng rộng rãi hơn trong môi trường sản xuất, đồng thời thúc đẩy người dùng chuyển từ duyệt Marketplace sang mua hàng thông qua các cam kết hiện có của ElevenLabs.