Mô hình và nền tảng AI

AWS bổ sung PolyAI Dialog-RSN-1 vào danh mục SageMaker JumpStart

Jonas Reeve
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhJumpStart rút ngắn con đường từ đánh giá đến một điểm cuối AWS được quản trị nhưng để…
Xem thêm
  • JumpStart rút ngắn con đường từ đánh giá đến một điểm cuối AWS được quản trị nhưng để lại điện thoại và tổng hợp giọng nói cho khách hàng.
  • Dialog-RSN-1 chỉ trả về văn bản hoặc lệnh gọi hàm nên mọi triển khai phải thêm lớp chuyển văn bản thành giọng nói của riêng mình.
  • Việc tính phí bắt đầu khi điểm cuối đi vào hoạt động và tiếp tục cho đến khi bị xóa ngay cả khi không có khách hàng nào được kết nối.

AWS thông báo vào ngày 19 tháng 11 năm 2026 rằng Dialog-RSN-1 của PolyAI đã có mặt trong danh mục Amazon SageMaker JumpStart, bổ sung khả năng triển khai chỉ với một cú nhấp, các công cụ đánh giá và bốn cấu hình tối ưu hóa cho mô hình dịch vụ khách hàng xử lý âm thanh trực tiếp. Điểm cuối chạy trong tài khoản AWS riêng của khách hàng.

Điểm mới là quy trình trên danh mục, tiếp nối hai thông báo trước đó của PolyAI. PolyAI giới thiệu Dialog-RSN-1 vào ngày 30 tháng 7 năm 2026 và thông báo triển khai điểm cuối SageMaker thông qua AWS Marketplace vào ngày 6 tháng 10 năm 2026. JumpStart bổ sung khả năng tìm kiếm, đánh giá và triển khai với cấu hình sẵn, trong khi khách hàng vẫn đăng ký thông qua AWS Marketplace.

Đánh giá và triển khai trong cùng một danh mục

Trong Model Hub của bảng điều khiển SageMaker AI, khách hàng chọn Dialog-RSN-1 rồi chọn Deploy. JumpStart tạo một điểm cuối suy luận thời gian thực trên ngăn xếp phục vụ đã được cấu hình sẵn, loại bỏ việc chọn bộ chứa thủ công và nhu cầu tự kiểm thử hiệu năng hàng chục tổ hợp hạ tầng. Thay vào đó, các nhóm có thể dùng vài dòng mã SageMaker Python SDK và tích hợp triển khai vào quy trình tích hợp liên tục và phân phối liên tục.

Trước khi triển khai, thẻ mô hình hiển thị độ trễ P50, thời gian đến mã thông báo đầu tiên và thông lượng. Các cấu hình ưu tiên độ trễ, thông lượng, chi phí hoặc mục đích sử dụng phổ thông cân bằng: cấu hình độ trễ giảm thiểu thời gian đến mã thông báo đầu tiên, cấu hình thông lượng tối đa hóa số mã thông báo mỗi giây, còn cấu hình chi phí giảm thiểu chi phí hạ tầng cho mỗi yêu cầu. Những lựa chọn này gắn cấu hình phục vụ với lưu lượng cuộc gọi, yêu cầu về tốc độ phản hồi và ngân sách, thay vì áp dụng một thiết lập mặc định cho mọi khối lượng công việc.

Hoạt động đánh giá nằm ngay trong cùng mục của danh mục. Sổ tay mẫu của PolyAI truyền phát âm thanh cuộc gọi đã ghi âm và in ra các quyết định chuyển lượt, câu trả lời và bản chép lời của mô hình, giúp nhóm kiểm tra cách mô hình xử lý những loại cuộc gọi dự kiến sẽ tiếp nhận. Các nhóm có thể xem phần tổng quan và mẫu trước khi triển khai; muốn truyền phát âm thanh của chính mình qua mô hình thì cần có điểm cuối.

Suy luận âm thanh với lớp giọng nói riêng biệt

Dialog-RSN-1 xử lý trực tiếp âm thanh của người gọi và kết hợp điều phối lượt thoại, nhận dạng giọng nói, tạo phản hồi và gọi hàm trong một mô hình. PolyAI cho biết xử lý âm thanh trực tiếp giữ lại ngữ điệu, sự ngập ngừng và nhịp điệu—những yếu tố mà hệ thống nhiều tầng có thể làm mất khi nhận dạng giọng nói chuyển cuộc gọi thành bản chép lời. Bộ phát hiện hoạt động giọng nói kích hoạt từng lượt dò, trong khi mã thông báo đầu ra đầu tiên của mô hình ghi lại EMPTY, ONGOING hoặc COMPLETE, qua đó đặt quyết định cuối cùng về lượt thoại vào tay mô hình.

Đường dẫn đầu ra được tách riêng. Dialog-RSN-1 trả về văn bản phản hồi được truyền phát hoặc một lệnh gọi hàm; bản chép lời của người gọi được gửi riêng. Mô hình không tổng hợp giọng nói. Vì vậy, khi triển khai cần cung cấp công nghệ chuyển văn bản thành giọng nói, giúp khách hàng vẫn được tự chọn giọng nói nhưng phải bổ sung một thành phần nằm ngoài điểm cuối mô hình.

Danh sách trên Marketplace của PolyAI cho biết thời gian phản hồi trung vị đến mã thông báo đầu tiên dưới 300 mili giây, còn một lượt trao đổi hoàn chỉnh điển hình với người gọi trong môi trường sản xuất mất khoảng 390 mili giây. Sự khác biệt này rất quan trọng, bởi riêng độ trễ của mô hình không thể hiện được độ trễ của toàn bộ hệ thống thoại, vốn bao gồm tổng hợp giọng nói, điện thoại và các công cụ bên ngoài.

Giới hạn tích hợp và chi phí theo giờ

Điểm cuối nằm trong đám mây riêng ảo của khách hàng, sử dụng các vai trò AWS Identity and Access Management của họ và được giám sát qua Amazon CloudWatch. Vì suy luận chạy trong tài khoản đó, âm thanh cuộc gọi và bản chép lời được lưu trong hạ tầng do khách hàng kiểm soát—một thiết kế phù hợp với các yêu cầu về lưu trú dữ liệu và kiểm toán.

Điểm cuối triển khai giao thức OpenAI Realtime. Cầu nối phía máy khách của PolyAI cung cấp một WebSocket cục bộ cho các máy khách Realtime và truyền sự kiện của họ qua luồng HTTP/2 hai chiều được ký của SageMaker; ứng dụng cũng có thể gọi trực tiếp luồng này. Khách hàng vẫn chịu trách nhiệm về điện thoại, điều phối, logic nghiệp vụ và thực thi công cụ; hướng dẫn tích hợp của PolyAI cũng yêu cầu xác thực ngày tháng, số tham chiếu và số tiền trước khi thực hiện các lệnh gọi công cụ.

Đầu vào âm thanh chỉ hỗ trợ PCM16 đơn kênh được mã hóa base64 ở tần số 16 hoặc 24 kHz; không hỗ trợ G.711, Opus hoặc âm thanh nổi. Cửa sổ ngữ cảnh có 32.000 mã thông báo và mô hình chỉ hỗ trợ tiếng Anh. Kết nối bị giới hạn cứng ở 30 phút và hết thời gian chờ sau năm phút không hoạt động. Trạng thái không được giữ lại khi kết nối lại, nên ứng dụng phải khôi phục ngữ cảnh liên quan khi tạo phiên mới.

Suy luận thời gian thực có giá 45 USD mỗi giờ máy chủ trên ml.p4d.24xlarge và 110 USD mỗi giờ máy chủ trên ml.p5.48xlarge. Một giờ máy chủ là một giờ chạy của phiên bản điện toán; có thể phát sinh thêm phí hạ tầng AWS. Tính phí bắt đầu khi điểm cuối đi vào hoạt động và tiếp tục cho đến khi bị xóa, ngay cả khi không có máy khách nào kết nối. Các ví dụ triển khai của AWS xóa điểm cuối, cấu hình điểm cuối và mô hình trong quá trình dọn dẹp.

Đóng góp chính của JumpStart là rút ngắn quy trình vận hành từ khâu đánh giá mô hình đến khi triển khai một điểm cuối AWS được quản trị. Phần việc còn lại để đưa vào sản xuất nằm ngoài mô hình, gồm hệ thống điện thoại, tổng hợp giọng nói, xác thực công cụ, khôi phục phiên và quản lý điểm cuối vẫn phát sinh phí ngay cả khi không hoạt động. Vì vậy, hiệu quả kinh doanh phụ thuộc vào kết quả xử lý cuộc gọi trên dữ liệu âm thanh của chính khách hàng, được đối chiếu với các khoản chi phí kỹ thuật và lưu trữ tiếp tục phát sinh.

Jonas Reeve là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, tập trung vào AI nhận thức, trí tuệ nhân tạo chung (AGI), và các nền tảng lý thuyết của trí thông minh máy móc. Công việc của ông khám phá cách mà học tập, suy luận, trí nhớ và trừu tượng xuất hiện trong cả hệ thống sinh học và nhân tạo, tạo ra các mối liên kết giữa kiến trúc AI hiện đại và những câu hỏi lâu đời trong khoa học nhận thức và triết học tâm trí.

Với cách tiếp cận khái niệm và suy ngẫm, Jonas xem xét các khung như mô hình suy luận, hệ thống tác nhân AI, nhận thức nổi lên, và lý thuyết cân chỉnh, nhằm làm rõ tiến bộ hướng tới AGI thực sự có nghĩa là gì — và không phải là gì. Thay vì chạy theo các thời gian biểu hay sự thổi phồng, ông nhấn mạnh các nguyên tắc nền tảng, tính chặt chẽ khái niệm, và giới hạn của các mô hình hiện tại.

Các bài viết do Jonas Reeve viết được tạo ra bằng AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác, rõ ràng và thảo luận có trách nhiệm về các khái niệm AI tiên tiến.