Baseten ra mắt Sandboxes dành cho các tác nhân AI chạy trong thời gian dài và duy trì trạng thái

Baseten đã ra mắt Sandboxes vào ngày 5 tháng 11 năm 2026, cung cấp cho các tác nhân AI những môi trường microVM biệt lập, lưu giữ tệp, bộ nhớ và các tiến trình đang chạy giữa các tác vụ. Dịch vụ thực thi hiện đã khả dụng và được dùng miễn phí đến ngày 16 tháng 11 năm 2026, với vai trò là thành phần đầu tiên trong nền tảng đám mây dành cho tác nhân mà Baseten dự định xây dựng.

Tài liệu sản phẩm đặt giới hạn mặc định là 10 sandbox hoạt động đồng thời cho mỗi tổ chức; bộ phận hỗ trợ có thể nâng giới hạn này. Các nhóm có thể phân công môi trường riêng cho từng người dùng hoặc dự án, đồng thời tạo hoặc xóa môi trường khi người dùng và dự án thay đổi. Ví dụ về cách sử dụng gồm có tác nhân viết và chạy mã cho trang web theo yêu cầu của người dùng, hoặc tải xuống các nguồn tài liệu, phân tích chúng và thu thập kết quả nghiên cứu.

Cách ly bằng microVM và lưu giữ trạng thái

Mỗi môi trường được cách ly trong một microVM riêng, có nhân hệ điều hành riêng và cơ chế cách ly ở cấp phần cứng. Baseten cho biết cách này mang lại mức độ cách ly cao hơn các phương pháp dựa trên container, đồng thời cho phép tác nhân chạy mã không đáng tin cậy, thao tác với tệp và thực thi tiến trình mà không có nguy cơ di chuyển ngang. Hệ thống trạng thái giải quyết một vấn đề khác: duy trì tiến độ mà không cần liên tục chạy tài nguyên tính toán.

Khi mất kết nối, hệ thống tạo ảnh chụp nhanh bao gồm hệ thống tệp, bộ nhớ và các tiến trình đang hoạt động. Khi môi trường ở trạng thái ngủ, tài nguyên tính toán được giảm về 0; khi khôi phục, trạng thái đã lưu được phục hồi để công việc có thể tiếp tục qua nhiều phiên hoặc tạm dừng chờ con người nhập thông tin. Nhờ đó, việc tạm ngưng vừa giúp duy trì tính liên tục, vừa là cơ chế quản lý tài nguyên: nhiều không gian làm việc có thể được lưu lại trong khi tài nguyên tính toán đang hoạt động chỉ dành cho các môi trường thực hiện công việc.

Baseten cho biết thời gian khôi phục là 25 mili giây, có thể mở rộng lên hàng nghìn sandbox trong vài giây và nhanh hơn các công cụ sandbox khác tới năm lần. Mục tiêu về độ trễ được tính trên toàn bộ quy trình: thời gian khởi động, đọc và ghi tệp, cùng các lượt trao đổi suy luận khứ hồi nếu không sẽ cộng dồn qua những vòng lặp dài của tác nhân.

Bảng điều khiển hiển thị các chỉ số theo thời gian thực về yêu cầu API, tỷ lệ lỗi, CPU và bộ nhớ, cùng thông tin triển khai như khu vực, RAM, ảnh và nhãn. Tính năng quan sát tích hợp sẵn cho thấy những gì đang diễn ra trong môi trường của tác nhân mà không cần thiết lập hệ thống giám sát riêng.

Ảnh, quyền truy cập và lưu giữ dữ liệu

Mỗi sandbox đều khởi chạy từ một ảnh. Baseten duy trì các tùy chọn tích hợp sẵn, còn các nhóm có thể tạo ảnh tùy chỉnh từ Dockerfile hoặc nhập ảnh từ kho lưu trữ; phiên bản được quản lý riêng theo từng nhóm. Ảnh có thể chứa hệ điều hành và môi trường thực thi ngôn ngữ, các gói và công cụ dòng lệnh, mã hoặc dữ liệu khởi đầu, cùng các thiết lập mặc định về bộ nhớ và cổng. Máy chủ API Sandbox xử lý lệnh và thao tác tệp cho các công cụ MCP.

Sau khi tạo ảnh tùy chỉnh thành công, ảnh sẽ được gắn thẻ phiên bản; mỗi sandbox mới khởi chạy từ một bản sao của phiên bản đó. Các tệp được tạo hoặc thay đổi trong quá trình chạy sẽ không làm thay đổi ảnh. Nhà phát triển có thể tạo môi trường bằng Baseten CLI, thực thi lệnh hoặc mở thiết bị đầu cuối tương tác; các tác nhân lập trình cũng có thể sử dụng chính những lệnh CLI đó.

Trạng thái đã lưu có giới hạn về việc xóa. Khi xóa sandbox, kể cả khi sandbox hết hạn, dữ liệu cục bộ của sandbox sẽ bị xóa vĩnh viễn. Để dữ liệu tồn tại qua nhiều sandbox, cần lưu kết quả bên ngoài môi trường hoặc giữ chúng trên một ổ đĩa của sandbox đã được gắn vào.

Lưu trữ và mạng vẫn nằm trong lộ trình phát triển

Tiền đề kiến trúc của Baseten là các nền tảng điện toán đám mây trước đây được xây dựng cho một ứng dụng phục vụ hàng triệu người dùng, trong khi tác nhân đảo ngược mô hình đó thành hàng triệu ứng dụng siêu nhỏ phục vụ một nhóm nhỏ người dùng là con người hoặc tác nhân. Vì vậy, mỗi môi trường cần có công cụ, công việc tích lũy và tệp riêng, được hỗ trợ bởi hệ thống điện toán, lưu trữ, mạng và định danh được thiết kế đồng bộ.

Sandboxes bổ sung cho Dedicated Inference, Model APIs, Training, Loops và Grid trong nền tảng của Baseten, đưa khả năng thực thi vào danh mục sản phẩm suy luận, huấn luyện, định tuyến và quản trị của công ty. Với mục đích lưu trữ, Agent Drive sẽ cung cấp hệ thống tệp từ xa phân tán dùng chung giữa các sandbox, được tối ưu cho khối lượng ghi lớn và các tệp nhỏ như mã nguồn và Markdown. Agent Proxy sẽ thực thi các quy tắc kết nối từ bên ngoài sandbox và chèn thông tin xác thực trong các lệnh gọi nhạy cảm, chẳng hạn như thanh toán Stripe, mà không để lộ thông tin xác thực đó cho tác nhân. Thiết kế tổng thể còn bao gồm quyền hạn, nhật ký kiểm tra, tường lửa, địa chỉ IP tĩnh và các biện pháp kiểm soát có thể cấu hình. Baseten dự kiến đưa Agent Drive và Agent Proxy vào hoạt động trong những tháng tới.

Giới hạn thực tế là Sandboxes có thể duy trì trạng thái làm việc của tác nhân qua các lần tạm dừng, nhưng những kết quả cần tồn tại sau khi xóa vẫn phải được lưu bên ngoài môi trường hoặc trên một ổ đĩa đã gắn vào. Hệ thống tệp dùng chung và các biện pháp kiểm soát thông tin xác thực được thực thi từ bên ngoài vẫn thuộc lộ trình phát triển, vì vậy hiện tại nền tảng đám mây dành cho tác nhân mới chỉ bắt đầu với khả năng thực thi, chứ chưa có toàn bộ hệ thống điện toán, lưu trữ và mạng mà Baseten mô tả.