Baseten ra mắt Grid để định tuyến và quản trị hoạt động lập trình bằng AI trong doanh nghiệp

Ngày 4 tháng 11 năm 2026, Baseten công bố Grid và mở quyền truy cập xem trước công khai cho lớp định tuyến, cổng kết nối và hàng rào bảo vệ dành cho hoạt động lập trình bằng AI trong doanh nghiệp. Công ty cho biết Baseten Router giúp tiết kiệm gần 70% chi phí cho mỗi tác vụ trong các thử nghiệm ban đầu, với mức đánh đổi về chất lượng là 0,9 điểm phần trăm so với Opus 5.5; người dùng có thể đăng ký danh sách chờ để được quyền truy cập sớm.

Định tuyến không chỉ dựa trên giá token

Grid tự động đưa ra lựa chọn mà nếu không, các nhà phát triển phải tự quyết định: mô hình nào trong số các mô hình được phê duyệt sẽ xử lý từng tác vụ lập trình. Với mỗi yêu cầu, Baseten Router đánh giá các mô hình nguồn mở và nguồn đóng được tổ chức phê duyệt, đồng thời cân nhắc hiệu suất dự kiến của mô hình đối với tác vụ so với chi phí.

Thay vì chỉ xếp hạng mô hình theo giá token, bộ định tuyến còn tính đến chi phí phát sinh từ việc thử lại, các lệnh gọi công cụ thất bại và câu trả lời chưa hoàn chỉnh. Mục tiêu của hệ thống là giảm chi phí hoàn thành tác vụ mà vẫn đáp ứng các yêu cầu của nhóm về chất lượng và hiệu suất. Các tuyến định tuyến tự động có thể ưu tiên chi phí, năng lực xử lý hoặc cân bằng cả hai.

Các tổ chức cũng có thể chọn chia sẻ nhật ký truy vết, để dùng chúng huấn luyện các bộ định tuyến tùy chỉnh đạt hiệu quả Pareto cho khối lượng công việc cụ thể của mình. Baseten cho biết mức tiết kiệm thực tế sẽ thay đổi tùy theo đặc điểm khối lượng công việc và mức cân bằng giữa chi phí với chất lượng mà khách hàng mong muốn. Vì vậy, kết quả thử nghiệm chỉ cho thấy tiềm năng, chứ không phải mức giảm áp dụng phổ quát.

Chintan Parikh, trưởng bộ phận kỹ thuật của Opendoor, cho biết Grid đã hợp nhất khả năng theo dõi chi tiêu nội bộ cho AI và tự động giảm chi phí với mức suy giảm chất lượng tối thiểu. Hầu như tất cả mọi người tại Opendoor đều sử dụng AI, và phần lớn nhân viên không muốn phải quyết định nên chọn mô hình nào.

Truy cập tập trung mà không cần thay đổi công cụ dành cho nhà phát triển

Grid Gateway cung cấp lớp quản trị. Các nhóm nền tảng có thể phê duyệt mô hình, cấp quyền truy cập ở cấp nhóm, đặt ngân sách và sử dụng thông tin xác thực do công ty quản lý, đồng thời theo dõi mức sử dụng trên các nhóm, ứng dụng và tác tử. Bảng điều khiển phân tách chi tiêu theo mô hình và hiển thị tổng chi tiêu, lượng token, tỷ lệ bộ nhớ đệm được sử dụng và khoản chi phí tiết kiệm được.

Khi ra mắt, Grid hỗ trợ các mô hình của OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock và Baseten. Nhà phát triển có thể kết nối Claude Code, Codex, OpenCode và Pi bằng một lệnh thiết lập duy nhất, còn quản trị viên có thể tự động hóa cấu hình thông qua hệ thống quản lý thiết bị di động.

Các ứng dụng và tác tử nội bộ sử dụng Anthropic hoặc API của OpenAI có thể kết nối bằng cách thay đổi URL cơ sở và ID mô hình. Nhờ đó, phần mềm hiện có được đưa vào cùng một điểm cuối mà tổ chức không cần thay thế các công cụ dành cho nhà phát triển đã sử dụng lâu nay.

Các nhóm nền tảng cũng có thể chỉ định cho mỗi bộ công cụ một mô hình lập trình mặc định và một mô hình nền nhỏ hơn để xử lý các tác vụ phụ như tóm tắt. Nhà phát triển được cung cấp các thiết lập mặc định này trong quá trình thiết lập và có thể đổi mô hình sau đó.

Hàng rào bảo vệ dùng chung và hạ tầng suy luận

Grid tích hợp các chính sách an toàn có thể cấu hình tại cổng kết nối, tập trung kiểm tra cả yêu cầu lẫn phản hồi. Chính sách có thể khác nhau tùy theo khối lượng công việc; hồ sơ ghi lại nội dung nào bị gắn cờ và cách xử lý. Các rủi ro được xác định bao gồm tài liệu chứa chỉ dẫn ẩn nhằm chuyển hướng tác tử, hành động trái phép và thông tin khách hàng xuất hiện ở những nơi không phù hợp.

Các hàng rào bảo vệ này khác với cơ chế kiểm soát thực thi. Kiểm tra an toàn xem xét những yêu cầu và phản hồi có rủi ro, trong khi cơ chế kiểm soát thực thi quyết định tác tử có thể truy cập và thực hiện những gì. Baseten cho biết doanh nghiệp cần cả hai lớp này.

Bên dưới cổng kết nối, nền tảng suy luận của Baseten đảm nhiệm việc định tuyến, chuyển đổi giữa các giao thức của mô hình và bộ công cụ, lưu vào bộ nhớ đệm, mở rộng quy mô và tối ưu hóa. Khi Baseten phục vụ mô hình đã chọn, các phiên làm việc nhiều lượt kéo dài của tác tử có thể được định tuyến đến bộ nhớ đệm khóa-giá trị đang nóng để giảm chi phí. Các nhóm nghiên cứu hiệu suất mô hình, hậu huấn luyện và hạ tầng của công ty cũng phát triển các nhân tùy chỉnh, giải mã suy đoán và những bài đánh giá mà mọi mô hình phải vượt qua trước khi phát hành.

Sau giai đoạn xem trước, Baseten dự định hỗ trợ giao các công việc kéo dài cho tác tử lưu trữ trên đám mây và điều phối nhiều tác tử cùng xử lý các nhiệm vụ phức tạp. Các kế hoạch khác bao gồm định tuyến được tinh chỉnh theo dữ liệu và trường hợp sử dụng của khách hàng, các tín hiệu an toàn phong phú hơn và hỗ trợ hàng rào bảo vệ riêng của khách hàng.

Vì vậy, thước đo kinh tế cần xét là chi phí hoàn thành một tác vụ với chất lượng yêu cầu; giá token chỉ là một yếu tố đầu vào. Do mức tiết kiệm được báo cáo phụ thuộc vào đặc điểm khối lượng công việc và một số khả năng quản lý tác tử vẫn đang trong kế hoạch, giai đoạn xem trước chưa cho thấy rõ liệu các kết quả thử nghiệm đó có được duy trì ổn định trong hoạt động lập trình thực tế hay không.