Together AI đưa biên dịch liên tục vào suy luận trong môi trường sản xuất

Ngày 4 tháng 11 năm 2026, Together AI công bố Suy luận đa hình, đồng thời giới thiệu Together Compiler là cách triển khai đầu tiên. Hệ thống vận hành bằng các tác tử liên tục tinh chỉnh lại quá trình suy luận theo sự thay đổi của mô hình, lưu lượng truy cập và phần cứng; hiện hệ thống đã chạy trên nhiều khối lượng công việc suy luận sản xuất hàng đầu của công ty và một số điểm cuối phi máy chủ phổ biến.

Together AI cho biết trong vòng chưa đầy 24 giờ, trình biên dịch đạt tốc độ xử lý token mỗi giây cao gấp 1,3 đến 3 lần so với các mốc đối chiếu mã nguồn mở được tối ưu hóa cao, qua các thử nghiệm với Kimi K3, GLM 5.3, MiniMax M3.1-Flash và DeepSeek v4.1-Flash. Những kết quả này làm nổi bật luận điểm chính của thông báo: tối ưu hóa có thể là một quá trình tìm kiếm liên tục gắn với từng lần triển khai, thay vì một đợt tinh chỉnh thủ công rồi cố định khi ra mắt.

Mô hình, lưu lượng truy cập và phần cứng liên tục thay đổi

Suy luận đa hình là thuật ngữ Together AI dùng để chỉ cơ sở hạ tầng phục vụ có khả năng thích ứng với tốc độ phát hành mô hình ngày càng nhanh, kiến trúc đa dạng, hình thái lưu lượng truy cập và yêu cầu cấp độ dịch vụ luôn biến đổi, cũng như những thay đổi phần cứng diễn ra thường xuyên hơn. Trái lại, cách tiếp cận tĩnh bắt đầu từ một cấu hình công cụ xử lý cố định. Cấu hình được tinh chỉnh cho một bối cảnh không nhất thiết phù hợp với bối cảnh khác, đặc biệt khi hành vi của mô hình và phân bố yêu cầu thay đổi.

Những quan sát trong môi trường sản xuất của công ty đưa ra các ví dụ cụ thể. Together AI cho biết số token trong prompt vào giờ làm việc ở một quốc gia đạt khoảng 97.000, so với 70.000 ở nơi khác; độ dài prompt cũng tăng 80% trong hai tuần sau khi một mô hình được phát hành, khi mức sử dụng chuyển sang các tác vụ dựa trên tác tử. Những đợt tăng đột biến từ khách hàng cũng có thể khiến độ dài prompt tăng gấp đôi và tỷ lệ truy xuất bộ nhớ đệm giảm, làm thay đổi các điều kiện mà cấu hình hiện có được tinh chỉnh theo.

Thông báo cũng điều chỉnh trọng tâm trước đây của Together AI về megakernel, tức các kernel hợp nhất nhiều phép toán thành một kernel duy nhất. Sau khi đưa những phiên bản đầu tiên vào môi trường sản xuất, công ty nhận thấy việc hợp nhất tự nó không phải là mục tiêu thiết kế phù hợp với mọi trường hợp: kiến trúc hỗn hợp chuyên gia và khối lượng công việc động có thể đòi hỏi những kỹ thuật khác nhau. Tương tự, các kernel được phát triển dựa trên lưu lượng truy cập cố định hoặc ngẫu nhiên có thể không được hiệu chỉnh phù hợp với lưu lượng trong môi trường sản xuất, nơi cơ chế định tuyến phụ thuộc vào dữ liệu ảnh hưởng đến việc tối ưu hóa nào mang lại hiệu quả cao nhất.

Cách thức hoạt động của biên dịch liên tục

Together Compiler tiếp nhận hình thái lưu lượng truy cập, mô hình và phần cứng làm đầu vào, sau đó dùng các tác tử để tạo và đo lường những phương án tối ưu hóa cho một công cụ suy luận. Một công cụ chạy liên tục chỉ tải mô hình một lần và nạp nóng các lượt truyền xuôi ứng viên mà không cần khởi động lại toàn bộ công cụ. Các tác tử hoạt động song song tạo ra những phương án ứng viên và trao đổi thông tin qua một bảng thông điệp, nhờ đó các thử nghiệm vẫn được xếp hàng trong khi những tác tử khác đang suy luận hoặc sử dụng công cụ.

Hai tầng đo lường giúp cân bằng số lượng thử nghiệm với mức độ sát thực tế. Các công cụ chạy nhanh chỉ tải một phần số lớp để lặp thử nghiệm nhanh và đo thời gian với phương sai thấp; các công cụ chậm hơn tải nhiều lớp hơn để kiểm tra xem những phương án ứng viên có hoạt động tốt trên các phân bố dữ liệu thực tế hay không. Một mô hình chi phí riêng kết hợp thông số kỹ thuật phần cứng, các vi chuẩn so sánh và những lượt truyền xuôi đã đo lường để thu hẹp phạm vi tìm kiếm cấu hình song song trước khi các tác tử dành thời gian tối ưu hóa các phương án ứng viên.

Bài báo kỹ thuật cho biết các phương án ứng viên chiến thắng phải trải qua những bài kiểm tra xác minh về nhiễm bẩn bộ nhớ đệm KV và chất lượng đầu ra trước khi được đưa vào phục vụ. Các bước kiểm tra được thực hiện sau khi đã dùng hết ngân sách tối ưu hóa, khi mã nguồn cuối cùng được chuẩn bị để tích hợp vào công cụ phục vụ.

Bài đăng công bố so sánh thời gian khởi động và báo cáo rằng chuỗi quy trình hiện hành mất 467 giây để sẵn sàng phục vụ, trong khi cấu hình của Together Compiler chỉ mất 9,0 giây. Những số liệu này phản ánh thời gian khởi động công cụ trong quá trình tối ưu hóa, chứ không phải độ trễ của từng yêu cầu; chúng cũng giúp lý giải vì sao khả năng nạp nóng giữ vai trò cốt yếu đối với thông lượng thử nghiệm của hệ thống.

Phạm vi đánh giá và quyền tiếp cận dành cho khách hàng

Để so sánh các công cụ, bài báo sử dụng những cấu hình mở hàng đầu tính đến ngày 30 tháng 10 năm 2026, đồng thời giữ cố định chiến lược song song hóa của mốc đối chiếu nhằm tách riêng tác động của việc tối ưu hóa bằng tác tử. Trainium2 là trường hợp ngoại lệ được công bố so với khối lượng công việc đánh giá tiêu chuẩn: nền tảng này sử dụng một bộ dữ liệu tổng hợp nhiều lượt vì cách triển khai khi đó chưa hỗ trợ mức độ đồng thời cao hơn trong giới hạn dung lượng HBM hiện có.

Together AI cho rằng kết quả tối ưu hóa một phần là nhờ thông lượng thử nghiệm cao gấp 252 lần so với các hệ thống tối ưu hóa tự cải thiện đệ quy dựa trên tác tử ở mức cơ sở.

Ngoài suy luận mô hình ngôn ngữ, bài báo báo cáo mức tăng tốc từ 1,5 đến 6,4 lần trên các mô hình thời tiết, sinh học, chuỗi thời gian và phương trình vi phân riêng phần được thử nghiệm, đồng thời duy trì đầu ra khớp chính xác đến từng bit trong các phép đánh giá đã nêu.

Khách hàng cuối có thể đăng ký quyền truy cập sớm thông qua chương trình beta giới hạn. Together AI dự định cung cấp khả năng tối ưu hóa điểm cuối chuyên dụng chỉ bằng một cú nhấp chuột; lộ trình nghiên cứu của công ty còn bao gồm giải mã suy đoán thích ứng theo lĩnh vực, yêu cầu, token và tải lưu lượng truy cập, cùng với định tuyến động giữa các worker và cấu hình triển khai để đáp ứng lưu lượng phi máy chủ không đồng nhất.

Việc ra mắt này lấy phép đo riêng theo từng cấu hình triển khai, thay vì một kernel tối ưu cho mọi trường hợp, làm nguyên tắc định hướng cho ngăn xếp suy luận của Together AI. Câu hỏi trước mắt của khách hàng là liệu bản beta giới hạn có thể tái tạo những mức cải thiện đã công bố trên mô hình, lưu lượng và phần cứng của chính họ, đồng thời vượt qua cùng các bước kiểm tra chất lượng hay không—đây chính là sự khác biệt mà Continuous Compilation được thiết kế để xử lý.