Baseten đưa Serverless Loops vào giai đoạn khả dụng rộng rãi cho hậu huấn luyện

Ngày 6 tháng 11 năm 2026, Baseten thông báo Serverless Loops đã được cung cấp rộng rãi, mở quyền sử dụng SDK được quản lý để tinh chỉnh có giám sát và học tăng cường trên các mô hình mở cho tất cả mọi người. Dịch vụ tính phí huấn luyện theo từng token và cung cấp lộ trình trực tiếp từ các điểm kiểm tra đến Baseten Dedicated Inference.

Loops được xây dựng dựa trên sự phân công nhiệm vụ: người dùng cung cấp tín hiệu huấn luyện, còn Baseten vận hành GPU, kernel, kiến trúc mô hình và hệ thống phụ trợ cho huấn luyện phân tán. Python SDK huấn luyện các bộ điều hợp LoRA trong khi giữ nguyên trọng số của mô hình nền. Người dùng chọn mô hình nền, hạng LoRA, tốc độ học, hàm mất mát, dữ liệu hoặc môi trường và thuật toán; Baseten vận hành bộ huấn luyện, bộ lấy mẫu, quá trình đồng bộ trọng số và cơ sở hạ tầng hỗ trợ.

Gói tương thích giữ nguyên các lệnh nhập Tinker và những lệnh gọi cốt lõi để huấn luyện, lấy mẫu cho các nhóm chuyển đổi những tập lệnh hiện có. Hướng dẫn chuyển đổi vẫn yêu cầu đổi phương thức xác thực sang khóa API Baseten, trả về các điểm kiểm tra dưới dạng URL tệp có phân trang, yêu cầu đầu vào hình ảnh nội tuyến và quy định phạm vi mô-đun LoRA theo từng họ mô hình. Khả năng tương thích bao phủ API huấn luyện, nhưng các nhóm vẫn cần điều chỉnh một số chi tiết đặc thù của cơ sở hạ tầng.

Mô hình serverless và cách tính phí

Danh mục serverless gồm ba mô hình: Qwen/Qwen3.6-35B-A3B và zai-org/GLM-5.3-Flash cho văn bản và hình ảnh, và zai-org/GLM-5.3 chỉ dành cho văn bản. Mỗi mô hình hỗ trợ độ dài chuỗi tối đa 262.144 token. Cấu hình ngữ cảnh dài của GLM-5.3 không hỗ trợ cross_entropy hoặc dpo các hàm mất mát. Chế độ chuyên dụng hỗ trợ danh mục mô hình rộng hơn, tính phí theo thời gian sử dụng GPU và bổ sung các tùy chọn kiểm soát số lượng bản sao, khả năng tái sử dụng máy chủ đã khởi động và năng lực xử lý dạng spot.

Các lượt chạy serverless sử dụng năng lực dùng chung mà không cần đặt trước GPU, đồng thời tính phí theo số token dùng trong quá trình huấn luyện và lấy mẫu. Thời gian dành cho việc đọc kết quả, thay đổi hàm thưởng hoặc để hệ thống không hoạt động sẽ không phát sinh phí token. Theo mặc định, hệ thống có thể chuyển sang năng lực chuyên dụng nếu mô hình, hạng LoRA hoặc độ dài chuỗi không được hỗ trợ, hoặc nếu một lượt chạy tái sử dụng các bản triển khai của lượt chạy khác. Thay vào đó, đặt phạm vi thành serverless sẽ khiến yêu cầu không được hỗ trợ thất bại.

Việc bật một mô hình không đảm bảo mô hình đó sẽ được cấp phát. Quyền truy cập riêng theo không gian làm việc, tình trạng không có GPU và giới hạn số lượng bộ huấn luyện của tổ chức vẫn có thể ngăn một lượt chạy, tạo ra những giới hạn năng lực thực tế bên cạnh danh mục đã công bố đối với mô hình tính phí theo mức sử dụng token.

Điểm kiểm tra và suy luận trong môi trường sản xuất

Hướng dẫn bắt đầu nhanh giới thiệu bốn thao tác cốt lõi: forward_backward để xử lý hàm mất mát và gradient, optim_step để cập nhật bộ điều hợp, sample để tạo sinh và save_state để huấn luyện có thể tiếp tục. Công bố trọng số bộ lấy mẫu sẽ tạo ra một điểm kiểm tra có thể triển khai và một ứng dụng khách lấy mẫu được ghim vào điểm kiểm tra đó. Một thao tác riêng save_state giữ nguyên trạng thái mô hình và trạng thái bộ tối ưu hóa. Yêu cầu lấy mẫu đầu tiên có thể mất vài phút trong lúc năng lực serverless khởi động; đây là điều cần lưu ý khi thực hiện các thử nghiệm ngắn.

Điểm kiểm tra của bộ lấy mẫu được triển khai dưới dạng mô hình nền có nạp bộ điều hợp LoRA đã huấn luyện. Các điểm kiểm tra vẫn tồn tại sau khi lượt chạy kết thúc và có thể được triển khai qua CLI, REST API hoặc bảng điều khiển bằng token truy cập Hugging Face, vì quá trình triển khai tải xuống trọng số mô hình nền. Điểm cuối tương thích với OpenAI tạo ra sau đó sẽ tính phí GPU trong thời gian hoạt động. Xóa bản triển khai sẽ dừng tính phí GPU mà không xóa điểm kiểm tra; hủy kích hoạt lượt chạy Loops không làm gỡ bỏ bản triển khai.

Khi ra mắt rộng rãi, Baseten đã cải thiện khả năng xử lý lỗi mạng tạm thời và sự cố GPU, giảm thời gian khởi động và tăng tốc độ truyền trọng số giữa các bộ huấn luyện và bộ lấy mẫu. Baseten cho biết những thay đổi này hỗ trợ nhiều khối lượng công việc đồng thời hơn của khách hàng, đồng thời cho biết hệ thống suy luận sản xuất của công ty xử lý hơn 15 tỷ yêu cầu mỗi ngày. Quy trình triển khai trong môi trường sản xuất bao gồm tự động mở rộng quy mô, quản lý triển khai và chỉ số suy luận; người dùng cũng có thể tải xuống trọng số ở định dạng Safetensors của Hugging Face.

Thẩm định và khối lượng công việc ban đầu của khách hàng

Baseten cho biết công ty đã thẩm định dịch vụ bằng các bài kiểm tra số học và thử nghiệm học tăng cường đầu cuối sử dụng những tác vụ τ-bench trong các lĩnh vực bán lẻ, hàng không và ngân hàng, sau đó đánh giá trên các tác vụ khó được giữ lại để kiểm thử. Dự án τ-bench mô tả một bộ tiêu chuẩn đánh giá khả năng của tác tử trong việc trò chuyện với người dùng, gọi công cụ, truy xuất kiến thức và tuân thủ chính sách trên các lĩnh vực doanh nghiệp; kết quả được đối chiếu với dữ liệu cơ sở dữ liệu có thể xác minh.

Baseten cho biết NVIDIA đã hậu huấn luyện Nemotron Super 3.5 VL trên các tác vụ văn bản và hình ảnh, cải thiện độ chính xác phân loại ý định từ 76.8% lên 94% và đạt F1 kiểm định 87% trong việc trích xuất thông tin từ biên lai; công việc này cũng bao gồm học tăng cường để đếm vật thể trong hình ảnh. Datadog đang sử dụng học tăng cường tác tử nhiều lượt để thử nghiệm các ý tưởng huấn luyện cho tác tử SRE của mình, còn Ambience Healthcare đã hậu huấn luyện các mô hình để sửa lỗi phiên âm lâm sàng và ghi nhận chính xác thuật ngữ y khoa cũng như định dạng.

LangChain Labs đang hậu huấn luyện các mô hình dựa trên dấu vết hoạt động của tác tử cho LangSmith Engine, trong đó có công việc đọc một kho lưu trữ GitHub để chẩn đoán sự cố và soạn thảo lời nhắc hoặc thay đổi mã cho một yêu cầu kéo. Hệ thống có thể chuyển sang mô hình trọng số mở nhỏ hơn để phân loại dấu vết theo dạng và mức độ nghiêm trọng của lỗi, hoặc đối chiếu chúng với các sự cố hiện có. Quy trình làm việc của LangChain cho thấy hành vi của ứng dụng trở thành mục tiêu huấn luyện như thế nào, trong đó quy mô mô hình và mức độ chuyên biệt của tác vụ được lựa chọn phù hợp với công việc.

Các tài khoản khách hàng ghi nhận việc sử dụng trước thông báo GA và cho thấy quy trình hạ tầng dự kiến: dữ liệu ứng dụng trở thành đầu vào huấn luyện, các điểm kiểm tra được đánh giá, rồi những mô hình được chọn tiến tới môi trường sản xuất. Đối với các nhóm hạ tầng, ranh giới chi phí cũng rất rõ ràng. Các lần chạy serverless được hỗ trợ không cần đặt trước GPU và tránh phí token trong thời gian nhàn rỗi, trong khi một điểm cuối suy luận đang hoạt động vẫn tiếp tục tính phí GPU; danh mục serverless và dung lượng không gian làm việc quyết định những trường hợp có thể sử dụng tùy chọn serverless.