Mô hình và nền tảng AI
Baseten mở quyền truy cập riêng tư vào Voice Agent Stack và Realtime Voice

Điểm chínhViệc đặt bộ điều phối cùng vị trí với các mô hình giọng nói loại bỏ các chuyến khứ hồi…
Xem thêm
- Việc đặt bộ điều phối cùng vị trí với các mô hình giọng nói loại bỏ các chuyến khứ hồi mạng mà các bộ điều phối từ xa thêm vào mỗi lượt.
- Ngăn xếp của Baseten cho phép người vận hành mở rộng quy mô từng giai đoạn của quy trình một cách độc lập thay vì nhân bản toàn bộ quy trình.
- Các ứng dụng khách của OpenAI SDK không thể kết nối trực tiếp vì điểm cuối của Baseten không phục vụ đường dẫn thời gian thực được nối thêm.
Baseten thông báo về Voice Agent Stack và Baseten Realtime Voice vào ngày 16 tháng 11 năm 2026, mở chương trình xem trước riêng tư cho cả hai sản phẩm thông qua danh sách chờ và cho biết độ trễ trung vị mỗi lượt vào khoảng một giây, với tối đa 56 phiên đồng thời trong môi trường thử nghiệm. Stack đặt các mô hình giọng nói và bộ điều phối cùng một nơi, cho phép khách hàng lựa chọn mô hình độc lập và mở rộng quy mô riêng cho từng thành phần trong quy trình.
Hạ tầng đồng vị trí
Voice Agent Stack chạy trên Baseten Dedicated Inference, đặt bộ điều phối và các mô hình trong cùng một vùng đám mây, kết nối qua mạng nội bộ cụm. Baseten cho biết bộ điều phối từ xa có thể làm tăng thêm hàng trăm mili giây cho các vòng truyền nhận mạng trong mỗi lượt, ngay cả khi các thành phần chuyển giọng nói thành văn bản, xử lý ngôn ngữ và chuyển văn bản thành giọng nói đều được lưu trữ trên nền tảng của hãng. Stack cũng cung cấp khả năng tối ưu hóa thời gian chạy suy luận, kết nối mạng giữa các mô hình, tự động mở rộng quy mô theo lưu lượng, chuyển đổi dự phòng giữa các đám mây và hỗ trợ hậu huấn luyện mô hình.
Realtime Voice là bản triển khai tham chiếu, vận hành một chuỗi các mô hình trọng số mở được Baseten tối ưu hóa để chuyển giọng nói thành văn bản, xử lý ngôn ngữ và chuyển văn bản thành giọng nói, với bộ điều phối tùy chỉnh dựa trên Pipecat. Thiết kế ủy quyền tùy chọn này để mô hình đối thoại nhanh, đồng vị trí đảm nhiệm cuộc trò chuyện, trong khi một mô hình suy luận mạnh hơn ở bên ngoài xử lý bất đồng bộ việc suy luận, tìm kiếm trên web, đưa ra quyết định và gọi công cụ. Các công cụ phía máy chủ chạy trên bộ điều phối đồng vị trí, vốn cũng có thể gọi các máy chủ Model Context Protocol từ xa để tránh phát sinh thêm các vòng truyền nhận giữa máy khách và máy chủ; hệ thống cũng hỗ trợ công cụ phía máy khách.
Kiểm soát mô hình và khả năng tương thích API
Khách hàng có thể chọn riêng các mô hình chuyển giọng nói thành văn bản, xử lý ngôn ngữ và chuyển văn bản thành giọng nói, kết hợp các thành phần chuyên dụng với API của bên thứ ba, đồng thời chuyển từng thành phần sang hạ tầng chuyên dụng theo thời gian. Các tùy chọn hậu huấn luyện bao gồm điều chỉnh khả năng phiên âm để nhận diện biệt ngữ trong ngành, tinh chỉnh cách mô hình ngôn ngữ xử lý cuộc gọi và tinh chỉnh có giám sát mô hình giọng nói bằng dữ liệu giọng nói của khách hàng. Trong một phiên, có thể chuyển đổi mô hình ngôn ngữ, giọng nói hoặc tuyến phiên âm mà không cần triển khai lại.
API tương thích với giao thức sự kiện cốt lõi của OpenAI Realtime và hỗ trợ các chế độ âm thanh đầu vào/âm thanh đầu ra và văn bản đầu vào/âm thanh đầu ra, cùng với tính năng tăng cường từ khóa khi phiên âm, lời xác nhận có thể cấu hình và nhân bản giọng nói. Khả năng tương thích có những giới hạn thực tế: máy khách phải chấp nhận URL WebSocket đầy đủ. SDK Python của OpenAI không thể kết nối trực tiếp vì nó tự thêm /realtime vào URL cơ sở của SDK, tạo thành một đường dẫn mà điểm cuối của Baseten không phục vụ. Các ứng dụng khách chạy trên trình duyệt cần có máy chủ phụ trợ để lưu khóa API và chuyển tiếp socket, vì trình duyệt không thể thiết lập Authorization tiêu đề bắt buộc.
Độ trễ và chi phí khi có nhiều kết nối đồng thời
Baseten báo cáo thời gian trung vị để có âm thanh đầu tiên tăng từ 0.94 giây khi có một cuộc gọi đồng thời lên 1.14 giây khi có 56 cuộc gọi. Các bài kiểm tra độ trễ sử dụng ngữ cảnh tối đa 16,000 token; ngữ cảnh dài hơn có thể làm tăng độ trễ mỗi lượt, trong khi tính năng tóm tắt có thể cấu hình giúp giữ độ dài ngữ cảnh của mỗi phiên trong giới hạn mục tiêu. Cấu hình thử nghiệm sử dụng Qwen3-ASR trên một RTX-6000, Gemma-4-31B trên một B200, Qwen3-TTS trên một RTX-6000 khác và GLM-5.3 Fast thông qua Baseten Model APIs để ủy quyền xử lý.
Mỗi thành phần được mở rộng quy mô độc lập theo mục tiêu số kết nối đồng thời riêng, cho phép người vận hành bổ sung năng lực cho công đoạn đang quá tải thay vì nhân đôi toàn bộ quy trình. Thiết kế này nhằm duy trì nghiêm ngặt các mức độ trễ đuôi p90 và p95, đồng thời giữ mức sử dụng GPU cao. Baseten ước tính chi phí là $0.012 cho mỗi phút âm thanh ở mức 32 phiên đồng thời, chưa bao gồm chi phí tính theo token cho việc ủy quyền sang mô hình suy luận, và $0.008 cho mỗi phút gọi ở mức 56 phiên, đã bao gồm việc ủy quyền qua Model API, theo các giả định về mức sử dụng mà hãng nêu ra. Mô hình giá dành riêng phân bổ chi phí phần cứng cho nhiều phiên hơn, khiến việc duy trì mức sử dụng ổn định trở thành yếu tố trọng tâm trong hiệu quả kinh tế.
Một bài kiểm tra chuẩn chuyển giọng nói thành văn bản độc lập của Coval cung cấp thông tin tham khảo ở cấp thành phần. Bảng xếp hạng 24 giờ của bài kiểm tra, với dữ liệu được ghi dấu thời gian lúc 17:30 UTC ngày 16 tháng 11 năm 2026, xếp Qwen3 ASR 1.7b do Baseten lưu trữ ở vị trí thứ hai theo trung vị Thời gian đến Phân đoạn cuối cùng, đạt 33 mili giây, với tỷ lệ lỗi từ là 2.1% trên 456 mẫu. Chỉ số này bắt đầu tại một thời điểm kết thúc lời nói thống nhất và kết thúc khi bản chép lời cuối cùng được gửi đến; chỉ số không tính thời gian hệ thống trực tiếp cần để phát hiện lượt nói đã kết thúc. Vì vậy, chỉ số này không đo lường toàn bộ thời gian phản hồi của tác nhân.
Baseten cho biết các hướng phát triển trong tương lai bao gồm những luồng điều phối phức tạp hơn, cách thức dễ dàng hơn để chuyển đổi các quy trình giọng nói hiện có, hệ thống song công toàn phần chuyển giọng nói trực tiếp thành giọng nói, các mô hình đa phương thức với đầu chuyên dụng để tạo giọng nói và các nguyên hàm lập lịch mới trên toàn chuỗi. Đợt ra mắt này đưa việc điều phối trở thành điểm kiểm soát hiệu quả kinh tế của tác nhân giọng nói: lựa chọn mô hình, thực thi công cụ và năng lực ở cấp thành phần được xử lý cùng nhau, giúp người vận hành có nhiều cách tinh chỉnh độ trễ và mức sử dụng GPU mà không phải xây dựng lại toàn bộ quy trình.












