Together AI ra mắt dịch vụ hậu huấn luyện Together dành cho các mô hình tùy chỉnh

Ngày 19 tháng 10 năm 2026, Together AI ra mắt Hậu huấn luyện Together, một dịch vụ xây dựng mô hình tùy chỉnh thông qua các quy trình học tăng cường và tinh chỉnh có giám sát do người dùng xác định, với mức giá ưu đãi ban đầu là 9 USD cho mỗi giờ GPU sử dụng B200 trong sáu tuần đầu tiên.

Các mô hình ra mắt, giá và quyền truy cập sớm

Dịch vụ được thiết kế để xây dựng mô hình tùy chỉnh bằng cả phần thưởng từ môi trường thông qua học tăng cường (RL) lẫn dữ liệu giám sát thông qua tinh chỉnh có giám sát (SFT). Khách hàng xác định quy trình huấn luyện, bao gồm dữ liệu, môi trường và các khung điều phối tác tử; đồng thời có thể thêm các bước như ghi nhật ký hoặc đo chuẩn bên ngoài. Trong khi đó, Together cùng tối ưu hóa các hệ thống và cơ sở hạ tầng nền tảng để cải thiện chất lượng mô hình và tốc độ huấn luyện. Together cho biết họ xây dựng dịch vụ này vì cơ sở hạ tầng RL ngày càng phức tạp, khiến nhiều công ty có thể hưởng lợi từ quá trình hậu huấn luyện không bao giờ bắt đầu, hoặc bắt đầu nhưng rồi đình trệ do gánh nặng cơ sở hạ tầng.

Dịch vụ ra mắt với các mô hình trọng số mở Muse Spark Open, GLM 5.3, Kimi K3 và Qwen 3.8-27B. Together cho biết trong những tuần tới, họ sẽ mở rộng danh mục để có cả các mô hình ngôn ngữ lớn (LLM) tiên phong lẫn những mô hình nhỏ gọn, hiệu quả. Trong sáu tuần đầu tiên, dịch vụ được cung cấp với mức giá ưu đãi là 9 USD cho mỗi giờ GPU sử dụng B200.

Trước khi ra mắt, Together đã cấp quyền truy cập sớm cho một nhóm tổ chức được chọn trong vài tháng qua. Adit Jain, nhà nghiên cứu tại Collinear AI, cho biết nhóm của ông đã hợp tác với công ty kể từ khi phiên bản beta Hậu huấn luyện ra mắt vào tháng 4 năm 2026.

Tài nguyên mô hình chuyên dụng và tính phí theo phút GPU

Mọi thử nghiệm đều chạy trên thứ mà Together gọi là Tài nguyên mô hình: các phân bổ GPU dành riêng cho một khách hàng, không phải cạnh tranh với yêu cầu ưu tiên của người dùng khác. Mỗi Tài nguyên mô hình có thể chứa một hoặc nhiều Phiên huấn luyện; mỗi phiên tương ứng với một thử nghiệm duy nhất trên cùng một mô hình nền, chẳng hạn như một bộ bộ điều hợp LoRA. Together cho biết các phân bổ GPU chuyên dụng cũng cho phép tinh chỉnh toàn bộ trọng số, thay vì chỉ dùng LoRA, khi điều chỉnh mô hình cho những tác vụ đòi hỏi lượng kiến thức lớn.

Mỗi phiên gồm một phiên bản Trainer, phụ trách các bước truyền xuôi và truyền ngược cũng như cập nhật trọng số, cùng với các phiên bản Generator thực hiện những lượt lấy mẫu từ chính sách. Để tinh chỉnh có giám sát, người dùng có thể khởi chạy một tài nguyên mô hình mà không cần bộ tạo nào nhằm tiết kiệm chi phí. Người dùng quyết định thời điểm gửi tham số của Trainer sang Generator; dịch vụ cũng hỗ trợ RL bất đồng bộ để tận dụng GPU ở mức cao cho cả hai thành phần, đặc biệt trong các lượt thực thi tác tử kéo dài.

Người dùng có thể huấn luyện LoRA, bao gồm nhiều bộ điều hợp LoRA cùng chia sẻ dung lượng GPU, cũng như chạy các thử nghiệm tinh chỉnh toàn bộ trọng số trên một số mô hình được chọn. Dịch vụ hỗ trợ các hàm mất mát tiêu chuẩn, bao gồm cross-entropy, GRPO, CISPO và DPPO; người dùng cũng có thể tính toán mục tiêu huấn luyện tùy chỉnh trên máy cục bộ rồi gửi các gradient của mục tiêu đó đến Trainer.

Theo tài liệu về hậu huấn luyện, giao diện SDK chính gồm phương thức create để cấp phát tài nguyên mô hình (đơn vị tính phí) và phương thức create_session để gắn một phiên huấn luyện vào tài nguyên đó, sau đó là các lệnh gọi theo từng bước: sample_batch tạo các phần hoàn tất để chấm điểm; forward_backward tính hàm mất mát và lan truyền ngược gradient; optim_step cập nhật trọng số; còn weights_sync phát hành trọng số mới cho các bản sao Generator. SFT và DPO bỏ qua sample_batch và weights_sync vì không lấy mẫu các phần hoàn tất.

Tài nguyên mô hình được tính phí theo phút GPU. Together cho biết tổng chi phí huấn luyện sẽ thấp hơn mức giá tính theo token ngay khi quy mô thử nghiệm tăng lên. Tài liệu so sánh mô hình này với dịch vụ tinh chỉnh tiêu chuẩn của công ty, vốn tính phí theo số token được xử lý và chạy như một tác vụ đến khi hoàn tất mà không cho phép can thiệp giữa chừng. Người dùng dịch vụ hậu huấn luyện có thể kiểm tra các chỉ số theo từng bước, thay đổi tốc độ học, xáo trộn lại dữ liệu hoặc tự dừng một lượt chạy theo logic của riêng mình.

Độ ổn định khi huấn luyện và lộ trình triển khai

Together cho biết dịch vụ loại bỏ nhiều nguyên nhân gây lệch chính sách giữa các công cụ huấn luyện và suy luận. Những sai khác nhỏ về số học dù sử dụng cùng trọng số có thể khiến một lượt chạy RL hoạt động kém hiệu quả hoặc sụp đổ. Dịch vụ áp dụng các kỹ thuật tiêu chuẩn như Rollout Routing Replay, cùng với những biện pháp tối ưu được phát triển từ nghiên cứu về độ ổn định khi huấn luyện của công ty. Công ty cho biết các công cụ thực thi lượt lấy mẫu của họ sử dụng cùng những biện pháp tối ưu như hệ thống phục vụ mô hình, với bộ nhớ đệm và định tuyến thông minh cho các tác tử nhiều lượt, cùng khả năng xử lý song song và đóng gói chuỗi được tối ưu hóa để tăng tốc cả các bước SFT lẫn RL.

Sau khi huấn luyện, công ty hiện hỗ trợ phục vụ bộ điều hợp multi-LoRA trong Dedicated Model Inference, cho phép người dùng thay bộ điều hợp ngay trong một lần triển khai trên GPU thay vì phải khởi chạy một lần triển khai sản xuất riêng cho mỗi lượt chạy. Together cho biết mỗi điểm kiểm tra huấn luyện vẫn giữ nguyên chất lượng khi được phục vụ, ngay cả sau khi chuyển từ lấy mẫu multi-LoRA sang suy luận hợp nhất ở độ chính xác FP4.

Tài liệu trình bày quy trình huấn luyện, đánh giá và đưa vào sản xuất: huấn luyện một số bộ điều hợp trên cùng một mô hình nền cố định; gắn các ứng viên vào một lần triển khai multi-LoRA duy nhất rồi so sánh bằng cách chỉ định một bộ điều hợp khác nhau trong mỗi yêu cầu; sau đó triển khai mô hình chiến thắng ở chế độ hợp nhất trong một lần triển khai riêng. Với GLM-5.3 và Kimi-K3, trước tiên phải thực hiện một bước chuẩn bị bộ điều hợp để hỗ trợ suy luận FP4.

Bắt đầu sử dụng, chuyển đổi từ Tinker và những người dùng đầu tiên

Để bắt đầu, cần có phiên bản Together SDK mới nhất và tài liệu hướng dẫn. Together đã đăng các bộ hướng dẫn thực hành trong kho post-training-cookbook trên GitHub, bao gồm huấn luyện GRPO trên bộ tiêu chuẩn GSM8K, triển khai DPO dưới dạng hàm mất mát tùy chỉnh và huấn luyện nhiều bộ điều hợp LoRA trong cùng một tài nguyên mô hình; tài liệu mô tả bộ hướng dẫn này là một thư viện Python gồm các vòng lặp dựng sẵn, với những sổ tay hướng dẫn từng bước về GRPO, SFT và huấn luyện nhiều bộ điều hợp trên một tài nguyên mô hình bằng các lệnh gọi bất đồng bộ của SDK. Với các nhóm đã có thiết lập trên Tinker API, lộ trình chuyển đổi thay thế một dòng import, import together.post_training.tinker as tinkernhư được trình bày chi tiết trong hướng dẫn chuyển đổi.

Trong số những người dùng được tiếp cận sớm, Anthony Li, phó giám đốc khoa học dữ liệu tại Deel, cho biết khả năng kiểm soát và tính linh hoạt của nền tảng giúp nhóm của ông bắt đầu chạy các thử nghiệm RL thực tế chỉ trong vài giờ, đồng thời chạy tối đa năm thử nghiệm RL cùng lúc trên cùng một dung lượng GPU. Oliver Normand, kỹ sư sáng lập tại Jack & Jill, cho biết nhóm của ông đã hậu huấn luyện một mô hình dự đoán những ứng viên mà nhà quản lý tuyển dụng sẽ muốn gặp—một bước cốt lõi trong quá trình tìm kiếm do tác tử tuyển dụng Jill của công ty thực hiện—và đạt chất lượng tương đương một mô hình đóng trong các đánh giá ngoại tuyến, khi sử dụng một mô hình nguồn mở có chi phí phục vụ thấp hơn đáng kể; ông nói các kỹ sư triển khai đồng hành của Together đã viết những tập lệnh tạo ra các kết quả đầu tiên của nhóm.

Jain của Collinear AI cho biết quy trình tự thiết lập liền mạch giúp việc khởi chạy các lượt chạy RL tác tử quy mô đầy đủ trở nên dễ dàng. Các kỹ sư triển khai đồng hành của Together sát cánh cùng khách hàng trong toàn bộ vòng đời hậu huấn luyện, từ việc chọn mô hình mở và bộ khung tác tử đến chuẩn bị dữ liệu, môi trường huấn luyện, đánh giá và triển khai một điểm cuối đã được tối ưu hóa.