Bito, 컨텍스트와 모델 라우팅으로 코딩 에이전트 비용 절감하는 Governor 출시

코딩 에이전트는 유용한 변경을 적용하기 전에 적절한 파일을 찾느라 세션의 상당 부분을 쓸 수 있다. 검색을 할 때마다 컨텍스트가 추가되며, 이 컨텍스트는 이후 요청에서 모델로 다시 전달될 수 있어 비교적 작은 작업도 추론 비용이 점점 커질 수 있다. Bito는 코드베이스 컨텍스트와 작업을 맡을 모델을 선택하는 결정을 결합한 새 모델 라우터 Governor로 이러한 비용의 두 가지 원인을 모두 해결하려 한다.

10월 27일 출시된 Governor는 기존 코딩 에이전트와 에이전트가 호출하는 모델 사이에서 작동한다. Bito는 불필요한 검색 컨텍스트를 줄이고 적절한 모델과 추론 수준을 선택해 품질을 유지하면서 에이전트 지출을 40%에서 70%까지 줄일 수 있다고 밝혔다. 이 절감 폭은 회사가 보고한 결과이며, 모든 팀에 보장되는 절감액은 아니다.

이 제품은 Claude Code, Cursor, Codex 같은 도구를 사용하는 워크플로를 지원한다. 팀은 개발자가 이미 사용하는 코딩 환경을 교체하는 대신 에이전트가 공통 엔드포인트를 사용하도록 설정한다.

코딩 세션이 길어지면 예상보다 비용이 커지는 이유

토큰당 가격은 에이전트 비용의 일부에 불과하다. 한 세션에서는 검색, 파일 읽기, 편집, 테스트 실행이 반복될 수 있으며, 그 결과로 쌓인 대화 내용은 이후 모델을 호출할 때마다 다시 입력으로 제공된다. 따라서 작업 초반에 읽은 대용량 파일은 에이전트가 처음 파일을 연 뒤 한참이 지나서도 비용에 영향을 줄 수 있다.

Bito는 Claude Code 세션 하나에서 검색 결과로 약 65,000개의 토큰이 반환된 사례를 들어 문제를 설명한다. 회사에 따르면 누적된 컨텍스트를 반복 처리한 결과 세션이 끝날 때까지 총 토큰 수는 600만 개에 이르렀다. 이 수치는 측정된 세션 하나의 사례이며 모든 코딩 작업에서 일반적으로 발생하는 비용을 나타내지는 않는다.

프롬프트 캐싱을 사용하면 입력을 반복해서 처리하는 비용을 줄일 수 있지만, 캐시된 토큰과 새로 처리하는 토큰의 가격은 서로 다르다. 따라서 총비용은 에이전트가 작동하는 방식, 유지하는 컨텍스트, 그리고 모델을 바꿀 때 유용한 캐시 상태를 보존하는지 아니면 잃는지에 따라 달라진다.

Bito의 공동 창업자 겸 CEO인 Amar Goel은 발표문에서 “적절한 모델을 선택하는 것도 중요하지만, 에이전트가 코드를 검색하고 이미 살펴본 내용을 모두 다시 보내는 데 드는 비용도 그만큼 중요하다”고 말했다.

코드 컨텍스트 엔진으로 반복적인 탐색을 줄이다

Governor는 회사 코드의 실시간 그래프를 유지한다. 에이전트가 코드베이스를 조사해야 할 때 Governor가 더 작고 빠른 모델을 사용해 조사한 뒤, 관련 코드 컨텍스트를 담은 요약 답변을 반환할 수 있다고 Bito는 설명한다.

비용 절감은 최첨단 모델을 사용한 탐색을 반복하지 않고, 불필요한 검색 결과가 메인 에이전트의 대화에 포함되지 않도록 하는 데서 비롯된다. 핵심을 추린 답변을 반환하면 첫 검색의 가격뿐 아니라 이후 요청에서 계속 전달되는 컨텍스트의 양도 달라진다.

Bito의 플랫폼 문서에는 기반이 되는 그래프가 더 자세히 설명돼 있다. 이 그래프는 저장소 전반의 심볼, 서비스 토폴로지, 종속성, 관계를 색인하며, 이슈 트래커, 설계 문서, 엔지니어링 논의와 같은 출처의 컨텍스트도 함께 다룬다. 또한 데이터베이스 스키마, 아키텍처 패턴, 배포 컨텍스트도 맵으로 구성한다.

덕분에 이 제품은 텍스트 일부와 일치하는 정보를 찾는 것보다 더 폭넓은 범위를 검색할 수 있다. 인증 변경에 관한 질문에 답하려면 인터페이스를 담당하는 서비스와 해당 인터페이스에 의존하는 호출자, 이전 설계 결정의 근거를 찾아야 할 수 있다. 이러한 관계를 연결하면 에이전트가 코드를 제안하기 전에 변경의 영향을 조사하는 데 도움이 된다.

핵심은 여전히 실제로 활용할 수 있는 근거를 제공하는 것이다. Bito의 Governor 소개에서는 파일 및 줄 참조를 포함한 간결한 조사 답변을 설명한다. 이를 통해 메인 에이전트는 실제 코드베이스에 근거해 다음 단계를 진행할 수 있다.

라우팅은 작업과 캐시 상태에 따라 달라진다

Governor는 수행 중인 작업에 따라 모델과 추론 수준도 선택한다. Bito에 따르면 작업 유형, 피상적이거나 잘못된 답변이 초래할 결과, 사용자 의도, 세션에서 이미 구축된 캐시를 고려한다.

짧은 메시지에 긴 지시가 담길 수 있다는 점에서 컨텍스트는 중요하다. “진행해”라는 짧은 말이 복잡한 계획을 실행해도 된다는 뜻일 수 있기 때문이다. 메시지 길이를 난이도의 대리 지표로 삼는 라우터는 개발자가 에이전트에게 실제로 무엇을 요청하는지 놓칠 수 있다.

Bito는 Governor가 개발자의 새 요청이 시작될 때 라우팅 결정을 내리고, 에이전트가 작업을 수행하는 동안 그 선택을 유지한다고 설명한다. 또한 모델을 전환해 얻을 수 있는 잠재적 절감 효과가 기존 캐시의 이점을 잃을 만한 가치가 있는지도 따진다.

따라서 더 저렴한 모델을 선택한다고 해서 다음 호출까지 반드시 가장 저렴해지는 것은 아니다. 이미 캐시가 쌓인 고가 모델을 사용하면, 특히 대화가 길어진 상황에서 비용 계산이 달라질 수 있다. 추론 설정도 또 하나의 변수다. 심층 분석이 필요한 작업에는 추가 연산이 정당화될 수 있지만, 일상적인 단계에는 필요하지 않을 수 있다.

Governor의 배포 설계는 기존 워크플로를 유지하도록 마련됐다. Bito는 Anthropic 및 OpenAI 호환 API를 지원하고, 팀의 공급자 키를 사용하며, 기존 게이트웨이와 함께 실행할 수 있다고 밝혔다. 이는 라우팅 계층에 관한 설명이며, 팀은 사용하려는 에이전트와 공급자 액세스를 여전히 구성해야 한다.

Privado, 비용과 작업 단계 감소 효과 보고

발표 자료에 포함된 고객 사례에서 개인정보 보호 소프트웨어 회사 Privado는 Claude Code를 사용해 자사 엔지니어링 작업을 통제된 방식으로 테스트했다. Bito에 따르면 작업당 비용은 4.12달러에서 2.14달러로 48% 감소했고, 에이전트가 작업당 필요한 단계 수도 47단계에서 23단계로 줄었다.

Privado는 품질이 그대로 유지됐고 작업 완료 속도는 38% 빨라졌다고 밝혔다. Bito 웹사이트에 따르면 고객 A/B 비교는 엔지니어링 작업 40개를 대상으로 했으며, 동일한 작업과 모델, 테스트 환경을 사용하고 Governor를 변수로 두었다.

이러한 세부 정보 덕분에 결과는 포괄적인 비용 절감 주장보다 더 많은 정보를 제공하지만, 결과를 얼마나 일반화할 수 있는지에는 한계가 있다. 저장소, 작업 구성, 공급자 설정 또는 시작 모델이 달라지면 정보 검색, 캐시 사용, 추론 비용 간의 균형도 달라질 수 있다.

Bito는 코딩 모델의 비용과 품질에 관한 연구도 발표한다. 9월 연구에서는 엔지니어링 작업 60개를 대상으로 모델 29개를 테스트하고 답변 1,740개를 평가했다고 설명한다. 일부 작업은 코드를 실행하거나 심어 둔 결함을 찾아내는 방식으로 확인했고, 나머지는 테스트 전에 작성한 기준에 따라 AI 평가자가 판정했다. 이처럼 더 광범위한 모델 연구는 Privado 고객 비교와는 별개다.

라우팅을 바꾸기 전에 테스트할 수 있는 제어 기능

Governor는 품질, 균형, 비용 설정과 섀도 모드를 제공한다. 섀도 모드에서는 요청 처리 방식을 바꾸지 않은 채 팀의 트래픽을 어떻게 라우팅할지 기록한다. 이를 통해 엔지니어링 리더는 기능을 활성화하기 전에 제안된 결정을 검토할 수 있다.

추가 안전장치로는 엄격한 가격 상한, 허가 없이 더 비싼 모델로 라우팅하지 못하도록 하는 제한, 문제가 발생할 경우 요청한 모델로 되돌리는 기능이 있다. 라우팅 결정과 그 이유도 기록된다.

Bito는 코딩 에이전트 외의 영역으로 Governor를 확장할 계획이다. 현재 이번 출시는 장시간 소프트웨어 개발 세션에서 반복적으로 탐색하고 모델을 호출하는 데 드는 비용이라는 구체적인 엔지니어링 문제를 다룬다.

유용한 지표는 작업을 성공적으로 완료하는 데 드는 비용과 함께, 필요한 품질과 시간을 고려한 값이 될 것이다. Governor가 내세우는 바는 에이전트에 더 나은 컨텍스트를 제공하고 모델 역량을 더욱 계획적으로 배분하면, 개발자에게 기존 도구를 포기하라고 요구하지 않고도 팀이 이 지표를 개선할 수 있다는 것이다.