Baseten, 기업용 AI 코딩을 위한 라우팅 및 관리 기능 Grid 출시

Baseten은 2026년 11월 4일 Grid를 발표하고, 기업용 AI 코딩을 위한 라우팅·게이트웨이·가드레일 계층의 공개 프리뷰를 시작했다. 회사는 초기 벤치마크에서 Baseten Router를 사용하면 작업당 비용을 거의 70% 절감할 수 있었으며, Opus 5.5와 비교해 품질은 0.9퍼센트포인트 낮아졌다고 밝혔다. 얼리 액세스는 대기자 명단을 통해 신청할 수 있다.

토큰 가격을 넘어서는 라우팅

Grid는 개발자가 직접 선택하던 작업을 자동화한다. 즉, 각 코딩 작업을 어떤 승인된 모델이 처리할지 결정한다. Baseten Router는 요청이 들어올 때마다 조직에서 승인한 오픈 소스 및 폐쇄형 모델 옵션을 평가하고, 예상 작업 성능과 비용을 비교한다.

라우터는 토큰 가격만으로 모델의 순위를 매기는 대신, 재시도와 도구 호출 실패, 불완전한 답변에 따르는 비용도 고려한다. 목표는 팀의 품질 및 성능 요구 사항을 충족하면서 작업 완료 비용을 줄이는 것이다. 자동 라우팅은 비용, 지능 또는 두 요소의 균형을 우선시할 수 있다.

조직은 추적 데이터를 공유하는 데 동의할 수도 있다. 이 데이터는 각 조직의 특정 워크로드에서 파레토 효율성을 달성하도록 맞춤형 라우터를 학습시키는 데 활용할 수 있다. Baseten은 정확한 절감 폭이 워크로드의 형태와 고객이 원하는 비용·품질 간 균형에 따라 달라진다고 밝혔다. 따라서 벤치마크는 보편적으로 적용되는 절감률이 아니라 잠재적인 절감 가능성을 보여주는 지표다.

Opendoor의 엔지니어링 책임자 Chintan Parikh는 Grid가 사내 AI 지출을 한곳에서 파악할 수 있게 했으며, 품질 손실을 최소화하면서 지출을 자동으로 줄였다고 말했다. Opendoor에서는 거의 모든 직원이 AI를 사용하고, 대부분은 어떤 모델을 선택할지 직접 결정하고 싶어 하지 않는다.

개발자 도구를 바꾸지 않고 중앙에서 액세스 관리

Grid Gateway는 관리 계층을 제공한다. 플랫폼 팀은 모델을 승인하고, 팀별 액세스 권한을 부여하며, 예산을 설정하고, 회사가 관리하는 인증 정보를 사용할 수 있다. 또한 팀, 애플리케이션, 에이전트 전반의 사용량을 모니터링할 수 있다. 대시보드에서는 모델별 지출 내역을 확인하고 총지출, 토큰 사용량, 캐시 적중률, 절감 비용을 볼 수 있다.

출시 시점에 Grid는 OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock 및 Baseten의 모델을 지원한다. 개발자는 설정 명령 한 번으로 Claude Code, Codex, OpenCode 및 Pi를 연결할 수 있으며, 관리자는 모바일 기기 관리 기능을 통해 구성을 자동화할 수 있다.

Anthropic API 또는 OpenAI API를 사용하는 사내 애플리케이션과 에이전트는 기본 URL과 모델 ID를 변경해 연결할 수 있다. 이렇게 하면 조직이 기존 개발자 도구를 교체하지 않고도 기존 소프트웨어를 동일한 엔드포인트에 연결할 수 있다.

플랫폼 팀은 각 하네스에 기본 코딩 모델과 요약 같은 부수 작업을 위한 더 작은 백그라운드 모델을 지정할 수도 있다. 개발자는 설정 과정에서 이 기본 모델을 제공받으며, 나중에 모델을 변경할 수 있다.

공유 보호 장치와 추론 인프라

Grid는 게이트웨이에 구성 가능한 안전 정책을 배치해 요청과 응답을 중앙에서 검사한다. 정책은 워크로드에 따라 달라질 수 있으며, 기록을 통해 무엇이 탐지됐고 어떻게 처리됐는지 확인할 수 있다. 확인 대상 위험에는 에이전트의 방향을 바꾸는 숨겨진 지침이 포함된 문서, 승인되지 않은 작업, 있어서는 안 될 곳에 노출되는 고객 정보가 포함된다.

이러한 보호 장치는 실행 제어와는 별개다. 안전 검사는 위험한 요청과 응답을 살피지만, 실행 제어는 에이전트가 무엇에 접근하고 어떤 작업을 할 수 있는지 결정한다. Baseten은 기업에 두 계층이 모두 필요하다고 밝혔다.

게이트웨이 아래에서는 Baseten의 추론 플랫폼이 라우팅, 모델과 하네스 프로토콜 간 변환, 캐싱, 확장 및 최적화를 처리한다. Baseten이 선택된 모델을 제공하는 경우, 비용을 줄이기 위해 여러 차례 대화를 이어가는 에이전트의 긴 세션에 키-값 캐시를 미리 준비해 사용할 수 있다. Baseten의 모델 성능 연구팀, 사후 학습팀 및 인프라팀은 맞춤형 커널, 투기적 디코딩, 그리고 모든 모델이 출시 전에 통과해야 하는 평가도 함께 다룬다.

프리뷰 이후 Baseten은 장시간 작업을 클라우드 호스팅 에이전트에 위임하고, 복잡한 작업에서 여러 에이전트가 협업하도록 지원할 계획이다. 고객 데이터와 사용 사례에 맞춘 라우팅, 더욱 풍부한 안전 신호, 고객 자체 보호 장치 지원도 계획에 포함돼 있다.

따라서 경제성을 판단하는 기준은 요구되는 품질을 충족하며 작업을 완료하는 데 드는 비용이고, 토큰 가격은 여러 입력값 중 하나일 뿐이다. 보고된 절감 효과가 워크로드의 형태에 따라 달라지고 에이전트 관리 기능 중 일부가 아직 계획 단계에 있는 만큼, 이번 프리뷰만으로는 벤치마크 결과가 실제 프로덕션 코딩 작업에서도 얼마나 일관되게 재현될지 알 수 없다.