여러분이 돈을 낼 필요가 없는 AI의 우회 작업

첨단 AI 기업들이 토큰을 판매하면서 여건만 된다면 반드시 우리에게 불리하게 가격을 책정하지 않을 것이라는 뜻은 아니다. Anthropic은 6월에 실질적으로 30% 가격을 인상했고, DeepSeek은 8월에 API 요금을 인상했으며, OpenAI는 9월 말 중간 등급의 토큰 할당량을 축소한 조치를 마지못해 철회했다. 따라서 이제는 긴축으로 향하는 추세가 꽤 분명해졌다.

실제로 AI 에이전트가 매일 주어지는 토큰 할당량을 45분 만에 썩 훌륭하다고 할 수만은 없는 코드를 쏟아내며 모두 써버리고는 3~4시간 뒤에 다시 오라고 할 때면 이런 생각이 되풀이되곤 한다. 그렇게 답답한 순간에는 그 과정에 들어가는 여러 작업이 제공업체에 유리하도록 짜여 있는 것은 아닌지 의심하지 않을 수 없다. 결국 이런 방식은 토큰을 특별히 추가 구매하게 하거나, 심지어 ‘자동 충전’을 켜도록 유도하기에 좋은 수단이기 때문이다.

실제로 그런 일이 벌어지고 있다 해도, 현시점에서 선도 기업들은 에이전트 워크로드에서 모델과 하네스 전반에 걸쳐 토큰이 어떻게 사용되는지 우리가 완전히 이해하지 못한다는 전제 뒤에 그럴듯하게 숨을 수 있다. 그들 역시 완전히 이해하지 못한다. 물론 결제 유도 파이프라인은 정말 매끄럽지만, 제품이 널리 상품화된 지금도 그 밖의 모든 것은 아직 프리알파 단계에 있으며 최첨단 연구의 대상에 머물러 있다.

낭비 관리

에이전트 워크플로에서 AI 에이전트가 추론을 수행할 때 토큰을 낭비하고(따라서 여러분의 돈도 낭비한다는) 사실은 이미 잘 알려져 있다. 정확히 1년 전, 나는 추론형 AI 모델이 ‘장황하게 늘어놓으며’ 토큰을 얼마나 소모하는지 보여주는 새로운 연구에 관한 글을 썼다. 올해 초에는 사고의 연쇄 추론이 ‘장식적’이라는 추가 연구를 소개했고, 지난주에는 Tsuga의 제품 책임자 Nils Bunge가 이곳에 실린 전문가 견해를 담은 기고문에서 다음과 같이 밝혔다.

‘토큰을 두 배로 소비하는 팀이 반드시 두 배의 가치를 만들어내는 것은 아니다. 더 어려운 작업을 처리하고 있거나, 필요 이상으로 강력한 모델을 사용하고 있거나, 실패한 작업을 에이전트가 반복해서 다시 시도하고 있을 수도 있다.’

잘 알려지지 않은 것은 토큰이 불필요한 작업이나 과정에서 어떤 방식으로 낭비되는가 하는 점이다. 오늘 이 주제에 다시 관심을 갖게 된 계기는 바로 이 문제를 다룬 새로운 논문이었다.

AI 에이전트는 어떻게 여러분의 돈을 낭비하는가?라는 제목의 이 새로운 미국 학계 공동 연구*는 에이전트 프로세스에서 토큰이 얼마나 낭비되는지 정량화할 수 있는 통합 프레임워크를 제시한다. 모델이 비공개 소스인 경우에는 ‘섀도’ 방법론에 제공업체의 공식 통계와 지표를 결합해 AI가 추론하고 행동하는 동안 토큰이 어떻게 사용됐는지에 관한 상세한 내역을 제공한다.

낭비되는 AI 토큰을 측정하는 새로운 방법. 각 에이전트의 추론, 행동 및 비용을 기록한 뒤 반복, 불필요한 요청, 피할 수 있었던 우회 작업이 있는지 살펴본다. 확인된 낭비를 제거하고 에이전트가 원래 작업을 완료할 수 있는지 다시 시험한다. 출처

위 그림과 같이 에이전트가 평소처럼 작동하도록 두고, 추론 사례와 도구 사용, 토큰 소비량 및 비용을 비롯해 AI 제공업체와 주고받는 통신을 가로채 기록한다. 그런 다음 Large Language Model (LLM) 심사 모델이 기록을 검토해 유용한 작업과 반복, 불필요한 검색 및 우회 작업을 구분한다. 이후 낭비로 의심되는 부분을 제거하고 토큰 절감량을 계산한 뒤, 에이전트의 작업을 재개해 작업을 성공적으로 완료할 수 있는지 확인한다.

연구진은 실험에서 에이전트가 생성한 출력 토큰의 약 18%가 낭비된다는 사실을 발견했다. 작업의 45%가 넘는 경우 한 에이전트가 같은 작업을 성공적으로 완료하는 데 다른 에이전트가 필요로 한 것보다 더 많은 토큰을 낭비했다. 또한 불필요한 추론의 41~46%를 제거해도 성능에는 거의 영향이 없었으며, 이는 결과를 크게 훼손하지 않고도 상당한 비용을 절감할 수 있음을 시사한다.

논문은 다음과 같이 설명한다.

‘수집된 궤적 전반에서 출력 토큰의 약 18%가 낭비로 확인됐다.

‘놀랍게도 작업의 45%가 넘는 경우, 한 에이전트가 낭비한 출력 토큰만으로도 같은 작업을 성공적으로 해결한 다른 에이전트의 전체 출력 토큰 수를 넘어선다.’

또한 이 연구는 에이전트가 익숙하지 않은 도구를 다루거나 결국 아무 성과도 내지 못하는 접근법을 시도할 때 가장 많은 자원을 낭비한다는 사실을 발견했다. 추론 노력을 높여도 일관된 개선으로 이어지지는 않았다. Kimi-K3는 추론 노력을 최대로 설정했을 때 낮게 설정했을 때보다 추론 토큰을 6.6배 더 많이 생성했지만, 그에 상응해 결과가 더 좋아진다는 보장은 없었다.

다섯 가지 벤치마크에서 네 단계의 추론 노력 수준에 따라 Kimi-K3가 어떤 성능을 보이는지 나타낸 테스트 결과. 추론 노력을 더 많이 들여도 성공률이 일관되게 향상되지는 않았으며, 최대 수준으로 노력했을 때 오히려 낮은 설정에서보다 결과가 나빠지는 경우도 있었다.

비유하자면, 강력한 자동차를 몰면서도 성능을 제대로 발휘하지 않는 상황과 달리, 이러한 에이전트 세션은 별다른 이득이 없고 부정적인 결과를 초래할 가능성까지 있는데도 매번 운행할 때마다 가능한 최고 속도까지 가속하는 자동차를 모는 것과 비슷하다.

이 논문은 토큰 낭비를 일으키는 데 각 하네스가 어떤 역할을 하는지도 살펴본다. 그 결과, 동일한 AI 모델인 Kimi-K3도 어떤 하네스를 사용하느냐에 따라 똑같은 작업에서 네 배가 넘는 추론을 생성할 수 있지만, 그렇다고 반드시 더 나은 결과를 얻는 것은 아닌 것으로 나타났다.

일부 낭비는 기본적인 소프트웨어 오류에서 비롯됐다. OpenCode, Kimi Code CLI, OpenClaw는 잘못된 Python 환경에서 작업을 반복적으로 실행해 오류를 일으키고, 토큰을 소모하는 재시도를 유발하는 것으로 나타났다. 또한 Kimi Code CLI에서는 AI가 소프트웨어 자체가 거부할 시간 초과를 요청할 수 있어, 비용이 더 많이 드는 시도가 이어졌다.

직관과 달리, 더 많은 도구를 제공하는 하네스가 반드시 토큰을 더 많이 낭비하는 것은 아니었다. 반복적으로 나타난 일부 비효율은 어떤 하네스가 모델을 제어하는지와 관계없이 모델 자체에서 비롯된 것으로 보였다.

‘[Several] 겉보기에 당연한 하네스의 특성만으로는 관찰된 낭비의 차이를 일관되게 설명할 수 없다. 예를 들어, [below]에서 보듯이 더 많은 도구를 제공하는 하네스가 반드시 토큰을 더 많이 낭비하는 것은 아니다. OpenClaw는 다른 하네스보다 훨씬 많은 도구를 제공하지만, 낭비 수준은 중간 정도에 그친다. 또한 모든 낭비가 하네스에 따라 달라지는 것은 아니다.

‘[Below right] SWE-bench Verified에서 Kimi-K3가 프로젝트의 원래 수정 사항이라고 생각하는 내용을 작성한 뒤 나중에 포기하는 우회가 반복적으로 나타난다는 점을 보여 준다. ‘

AI 에이전트 하네스별 토큰 낭비를 비교한 테스트 결과. 왼쪽: 더 많은 도구를 제공해도 낭비가 반드시 늘어나는 것은 아니다. 오른쪽: Kimi-K3는 하네스와 관계없이 소프트웨어의 원래 수정 사항이라고 여기는 해결책을 반복해서 시도했다가 포기하지만, 다른 유형의 작업에서는 이런 일이 드물다.

문제를 해결하기 위해 저자들은 에이전트 하네스가 환경의 제약으로 더 이상 진행할 수 없는 상황을 인식하고, 그 한계를 AI 모델에 명확히 알린 다음, 반복되는 실패가 더 많은 토큰을 소모하도록 두지 말고 실행을 중단해야 한다고 제안한다. 또한 낭비된 토큰을 측정한 결과를 활용해 모델 학습과 추론 전략, 하네스 설계를 개선하는 방안도 제시한다.

방법론

AI 에이전트의 활동을 재구성하기 위해 연구진은 모델과 이를 제어하는 소프트웨어 사이의 모든 상호작용을 추적하고, 추론 과정과 응답, 도구 요청, 토큰 비용을 기록했다. 다만 세부 정보의 수준은 제공업체마다 달랐다. Kimi-K3는 추론 과정을 전부 공개하고, Gemini 3.1 Pro는 요약만 공개하며, Claude는 아무것도 공개하지 않는다.

각 도구의 결과는 에이전트에 다시 전달됐다. 덕분에 연구진은 과정이 완료되거나 에이전트의 작동 한도에 도달할 때까지 진행 상황을 추적할 수 있었다.

AI 에이전트가 토큰을 사용하는 네 가지 사례. 이미 알고 있는 정보를 반복하거나, 똑같은 검색을 되풀이하거나, 불필요하게 사과하는 것은 낭비로 간주한다. 반면 검색에 실패했더라도 에이전트가 시도할 만한 타당한 이유가 있었다면 반드시 낭비라고 볼 수는 없다.

에이전트의 활동을 추적하기 위해 요청은 프록시를 거쳐 전달됐다. 필요한 코드 변경은 미미했으며, 각 요청에는 벤치마크, 실행, 작업, 시도 정보가 태그로 붙었다. 다만 OpenClaw는 이러한 태그를 지원하지 않아, 이 경우에는 각 테스트마다 LiteLLM을 기반으로 별도의 프록시를 사용했다.

네 가지 유형

이 연구는 반복적으로 나타나는 네 가지 패턴을 통해 토큰 낭비를 정의한다. 재진술(이미 알고 있는 정보 반복), 중복 조회(불필요한 도구 요청 반복), 군더더기 추가(관련 없는 텍스트 덧붙이기), 우회(그럴듯해 보이지만 결국 성과가 없는 접근 방식 추구)다.

기록된 각 세션은 LLM-as-a-Judge(LLMaJ**)가 검토했다. 이 모델에는 원래 과제와 전체 기록, 네 가지 낭비 패턴을 모두 식별하기 위한 기준이 제공됐다. 낭비로 의심되는 부분에 표시한 뒤 제거하고, 남은 토큰을 다시 세어 낭비 비율과 비용을 계산했다. 그런 다음 각 제공업체의 자체 토크나이저나 집계 도구, 보고된 출력 사용량과 대조해 토큰 수를 확인했다(보고된 형식 차이는 경미한 수준이었다).

테스트

연구에서 테스트한 모델은 Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5, Claude Fable 5.1이었다. 테스트에는 τ²-bench(항공사 및 소매업 고객 서비스), SWE-bench Verified(소프트웨어 엔지니어링), Claw-Eval, MCP-Atlas(범용 도구 사용) 벤치마크가 사용됐다.

또한 Kimi-K3는 여러 추론 수준에서 테스트했으며, OpenCode, OpenClaw, OpenHands, Hermes, Kimi Code CLI 등 다섯 가지 에이전트 하네스를 비교했다. 후자의 비교를 통해 모델, 과제, 추론에 들이는 노력, 하네스 설계가 토큰 낭비에 미치는 영향을 평가했다(성능에 미치는 영향을 확인하기 위해 추가 테스트에서는 낭비로 의심되는 부분을 제거했다).

모델별 낭비 비용을 산출하기 위해 불필요한 텍스트와 도구 호출 비용을 전체 출력 비용과 비교하고, 네 가지 벤치마크의 결과를 평균 냈다. 내부 추론은 전체 추론 과정을 공개한 유일한 모델인 Kimi-K3에 한해 별도로 평가했다.

네 가지 벤치마크의 평균을 기준으로 AI 모델 6종의 출력 비용 중 낭비된 부분을 비교한 테스트 결과. 왼쪽은 전체 낭비율이며, Kimi-K3의 내부 추론은 별도로 표시했다. 오른쪽은 과제 성공 및 실패 시 낭비율을 보여주며, 대체로 실패한 과제에서 낭비가 더 컸다.

위 결과에서 보듯 답변 생성과 도구 사용에 지출한 비용의 11%에서 24.9%가 낭비된 것으로 판단됐다. GPT-6 Astra의 성능이 가장 좋았고 Claude Sonnet 5가 가장 나빴다. Kimi-K3는 답변과 도구 사용에 쓴 토큰의 약 6분의 1을 낭비했으며, 내부 추론에서는 그 비율이 4분의 1을 넘었다.

대체로 과제가 실패했을 때 낭비가 더 많이 발생했지만, Kimi-K3의 추론에서는 반대였다. 불필요한 작업에 토큰을 더 많이 쓴다고 성공 가능성이 높아진다는 뚜렷한 증거는 없었다.

또 다른 테스트에서는 AI가 작업을 수행하는 도중 낭비되는 토큰을 줄이려고 시도했다. 각 단계에서 AI 심판**을 사용해 모델의 추론 과정에서 반복되는 정보와 불필요한 텍스트를 제거한 뒤 과제를 계속 수행하게 했다.

두 가지 벤치마크에서 불필요한 AI 추론을 제거했을 때 성공률에 미친 영향을 보여주는 테스트 결과. 추론의 41~46%를 제거해도 성능에는 거의 영향이 없었지만, 추론을 전부 제거하자 실패가 크게 늘었다.

SWE-bench Verified에서는 추론의 41%를 제거했지만 성능 저하는 없었고, 성공률은 오히려 89%에서 89.5%로 소폭 상승했다. MCP-Atlas에서는 46%를 제거했으며, 성공률은 65%에서 62.3%로 소폭 하락하는 데 그쳤다.

다시 말해, AI가 작업을 수행하는 동안 추론의 거의 절반을 버려도 과제를 끝내는 능력에 심각한 악영향을 주지 않을 수 있었다.

마지막으로^†, Kimi-K3에 동일한 과제를 여러 에이전트 하네스로 수행하게 했다. 아래 결과에서 보듯 추론 출력량은 네 배 넘게 차이가 났지만, 성능이 일관되게 향상되지는 않았다.

두 가지 벤치마크에서 에이전트 하네스별 Kimi-K3의 토큰 소비량을 비교한 테스트 결과. 내부 추론은 파란색으로, 응답과 도구 호출은 주황색으로 표시했다. 코딩 과제에서는 Mini-SWE가 Hermes보다 네 배 넘는 양의 추론을 생성했다.

낭비 중 일부는 기본적인 소프트웨어 오류에서 비롯됐다. OpenCode, Kimi Code CLI, OpenClaw는 코딩 테스트를 잘못된 Python 환경에서 실행해 오류와 재시도를 유발했다.

결론

이 글은 분량이 길고 방법론도 꼼꼼한 논문을 살펴본 짧은 소개에 불과하며, 논문을 더 깊이 읽어볼 만한 가치가 있을 수 있다.

그 주제는 내가 자주 의식하는 한 가지를 떠올리게 했다. 바로 우리와 최첨단 공급업체들이 이러한 프로세스에 대해 실제로 이해하는 바 사이의 엄청난 간극, 그리고 기업들이 제품을 마치 지난 3개월 동안 린터를 거쳐 아주 우수한 성적으로 검사를 통과한 것처럼 기꺼이 포장하려는 태도다.

현시점에서 결과가 좋지 않더라도 지금으로서는 우리 자신 외에는 누구도 탓할 수 없습니다. 우리 대부분이 매우 실험적이고 예측하기 어려운 제품이라는 사실을 알고도 이를 구매하고 있기 때문입니다.

* University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles)와 독립 연구자가 명시적으로 동등하게 기여했습니다.

* 제가 파악한 바로는, 논문에는 어떤 모델을 사용했는지 명시되어 있지 않습니다.

^†이 내용은 논문이 아니라 이 글에 관한 것입니다. 논문은 제가 보통 다루는 분량보다 길고, 여기서 다룰 수 있는 범위보다 더 많은 테스트와 깊이 있는 내용을 담고 있습니다. 자세한 내용은 위에 링크된 원본 PDF를 참조해 주세요.

최초 게시일: 2026년 11월 6일 금요일