Baseten, 장기간 실행되는 상태 유지형 AI 에이전트를 위한 Sandboxes 출시

Baseten은 2026년 11월 5일 Sandboxes를 출시해, AI 에이전트가 작업 간에 파일과 메모리, 실행 중인 프로세스를 유지할 수 있는 격리된 마이크로VM 환경을 제공했다. 실행 서비스는 현재 이용할 수 있으며 2026년 11월 16일까지 무료로 사용할 수 있다. 이는 Baseten이 계획 중인 에이전트 클라우드의 첫 번째 구성 요소다.

제품 설명서에 따르면 조직당 샌드박스 동시 실행 기본 한도는 10개이며, 지원팀에 요청하면 한도를 높일 수 있다. 팀은 개별 사용자나 프로젝트에 별도의 환경을 할당할 수 있고, 사용자와 프로젝트의 변동에 따라 환경을 생성하거나 삭제할 수 있다. 예를 들어 에이전트가 사용자를 위해 웹사이트 코드를 작성하고 실행하거나, 자료를 내려받아 분석하고 조사 결과를 수집할 수 있다.

마이크로VM 격리와 저장된 상태

각 환경은 전용 마이크로VM으로 격리되며, 별도의 커널과 하드웨어 수준의 격리를 갖춘다. Baseten은 이 방식이 컨테이너 기반 접근법보다 더 강력한 격리를 제공하며, 에이전트가 측면 이동 없이 신뢰할 수 없는 코드를 실행하고 파일을 조작하며 프로세스를 실행할 수 있게 한다고 밝혔다. 상태 시스템은 지속적으로 컴퓨팅 리소스를 가동하지 않고도 진행 상황을 보존하는, 이와는 다른 문제를 해결한다.

연결이 끊기면 파일 시스템과 메모리, 활성 프로세스를 모두 포함하는 스냅샷이 생성된다. 환경이 절전 상태에 있는 동안 컴퓨팅 리소스 사용량은 0으로 줄어든다. 다시 시작하면 저장된 상태가 복원되어 여러 세션에 걸쳐 작업을 이어가거나 사람의 입력을 기다리며 일시 중지할 수 있다. 따라서 일시 중단은 작업의 연속성을 보장하는 기능인 동시에 리소스 관리 수단이기도 하다. 수많은 작업 공간을 저장된 상태로 유지하면서 실제 작업 중인 환경에만 활성 컴퓨팅 리소스를 할당할 수 있다.

Baseten에 따르면 재개 시간은 25밀리초이며, 몇 초 안에 샌드박스를 수천 개까지 확장할 수 있고, 다른 샌드박스 도구보다 최대 5배 빠르다. 지연 시간 목표는 여러 작업에서 누적되는 지연을 고려한 것이다. 에이전트가 긴 작업 루프를 수행할 때는 시작 시간과 파일 읽기·쓰기, 추론 왕복 시간이 더해질 수 있다.

대시보드에는 API 요청, 오류율, CPU 및 메모리의 실시간 지표와 함께 리전, RAM, 이미지, 레이블 등 배포 세부 정보가 표시된다. 기본 제공되는 관측 기능을 사용하면 별도의 모니터링 환경을 설정하지 않고도 에이전트 환경에서 어떤 일이 일어나는지 확인할 수 있다.

이미지, 액세스 및 데이터 보존

모든 샌드박스는 이미지에서 시작한다. Baseten은 기본 제공 이미지를 관리하며, 팀은 Dockerfile을 사용해 맞춤 이미지를 빌드하거나 레지스트리에서 이미지를 가져올 수 있다. 이미지 버전은 팀별로 관리된다. 이미지에는 운영체제 및 언어 런타임, 패키지와 명령줄 도구, 시작 코드나 데이터, 기본 메모리 및 포트 설정을 포함할 수 있다. Sandbox API 서버는 MCP 도구의 명령과 파일 작업을 처리한다.

맞춤 이미지 빌드가 성공하면 태그가 지정된 버전이 생성되며, 새 샌드박스는 각각 해당 버전의 복사본에서 시작한다. 실행 중에 생성하거나 변경한 파일은 이미지에 반영되지 않는다. 개발자는 Baseten CLI를 통해 환경을 만들고 명령을 실행하거나 대화형 터미널을 열 수 있으며, 코딩 에이전트도 동일한 CLI 명령을 사용할 수 있다.

저장된 상태에는 삭제 시 적용되는 경계가 있다. 샌드박스를 삭제하면, 만료에 따른 삭제를 포함해, 로컬 데이터가 영구적으로 제거된다. 결과를 다른 샌드박스에서도 유지하려면 환경 외부에 저장하거나 마운트된 샌드박스 볼륨에 보관해야 한다.

스토리지와 네트워킹은 향후 로드맵에 포함

Baseten의 아키텍처는 기존 클라우드의 기본 구성 요소가 수백만 명의 사용자에게 서비스를 제공하는 하나의 애플리케이션을 위해 만들어졌지만, 에이전트 환경에서는 이 모델이 뒤집혀 소수의 사람 또는 에이전트 사용자에게 서비스하는 수백만 개의 마이크로 애플리케이션이 생긴다는 전제를 바탕으로 한다. 이에 따라 각 환경에는 자체 도구와 축적된 작업, 파일이 필요하며, 이를 뒷받침하는 컴퓨팅, 스토리지, 네트워킹 및 ID 관리 기능도 함께 설계되어야 한다.

Sandboxes는 Baseten 플랫폼의 Dedicated Inference, Model APIs, Training, Loops 및 Grid에 추가되어 추론, 학습, 라우팅 및 거버넌스 제품에 실행 기능을 더한다. 스토리지 측면에서 Agent Drive는 샌드박스 간에 공유되는 분산형 원격 파일 시스템을 제공할 예정이다. 이 시스템은 코드나 Markdown처럼 쓰기 작업이 많고 크기가 작은 파일에 최적화된다. Agent Proxy는 샌드박스 외부에서 연결 규칙을 적용하고, Stripe 결제와 같은 민감한 호출이 이루어지는 동안 자격 증명을 주입해 에이전트에 해당 자격 증명이 노출되지 않도록 한다. 더 광범위한 설계에는 권한, 감사 로그, 방화벽 설정, 고정 IP 및 구성 가능한 제어 기능이 포함된다. Baseten은 앞으로 몇 달 안에 Agent Drive와 Agent Proxy를 출시할 예정이다.

실질적인 한계는 Sandboxes가 일시 중지된 동안 에이전트의 작업 상태를 보존할 수는 있지만, 삭제 후에도 유지해야 하는 결과는 여전히 환경 외부의 스토리지나 마운트된 볼륨에 저장해야 한다는 점이다. 공유 파일 시스템과 외부에서 적용되는 자격 증명 제어 기능은 아직 로드맵에 있는 항목이므로, 현재 에이전트 클라우드는 Baseten이 설명한 컴퓨팅·스토리지·네트워킹 전체 시스템이 아니라 실행 기능부터 제공한다.