토큰 비용만으로는 기업 AI의 성과를 알 수 없는 이유

기업의 AI 도입은 익숙한 주기를 거치고 있다. 초기에는 기술에 대한 기대가 컸고 비용 청구서가 아직 도착하지 않았기 때문에, 조직들은 가장 크고 성능이 뛰어난 모델을 선택하며 전면적으로 뛰어들었다. 청구서가 도착하자 반응은 예상대로였다. 팀들은 사용을 제한하고 실험을 줄였으며, 더 저렴한 모델을 찾기 시작했다.

Databricks의 공동 창업자 겸 CEO인 Ali Ghodsi는 이 주기의 초기 단계를 “토큰 극대화”라고 표현했다. 토큰을 더 많이 소비하는 것을 진전의 증거로 여기는 단계다. 더 중요한 단계는 “가치 극대화”다. 지출로 무엇을 얻는지 파악하고, 중요한 업무에 그 지출을 집중한다는 뜻이다.

이는 단순히 비용 최적화에 새 이름을 붙인 것이 아니다. 비용 최적화는 조직이 지출을 줄일 방법을 묻는 반면, 가치 극대화는 지출한 비용으로 더 많은 것을 얻는 방법을 묻는다. AI가 개별 실험을 넘어 기업의 일상적인 운영에 자리 잡으면서 이 차이는 점점 더 중요해질 것이다.

가장 큰 모델이 언제나 적합한 모델은 아니다

많은 조직은 거의 모든 작업에 사용 가능한 가장 강력한 모델을 활용하는 것으로 AI 프로그램을 시작했다. 기술이 무엇을 할 수 있는지 파악하고 모델의 성능이 예측 가능성보다 중요했던 초기 실험 단계에서는 이 접근 방식이 타당했다.

그러나 도입이 확대되면서 모든 요청에 최첨단 모델을 사용하는 비용을 정당화하기 어려워졌다. 일부 조직은 접근을 제한하거나 팀에 작업을 줄이라고 요구했지만, 광범위한 제한은 실제 낭비뿐 아니라 유용한 실험까지 위축시킬 수 있다.

더 성숙한 접근 방식이 나타나고 있다. 팀들은 일상적인 작업에는 더 작고 특화된 모델을 배정하고, 복잡한 추론이 필요하거나 실패 비용이 큰 작업에는 성능이 더 뛰어난 모델을 사용하기 시작했다. 시간이 지나면 일부 조직은 비용과 성능, 민감한 데이터에 대한 통제력을 높이기 위해 자체 인프라 안에 모델을 배포할 수도 있다.

중요한 질문은 대형 모델과 소형 모델 중 어느 쪽이 더 나은지가 아니다. 해당 작업에 적합한 모델인지, 그리고 결과가 이를 만드는 데 든 총비용을 정당화하는지가 중요하다.

토큰은 활동량을 보여줄 뿐, 가치를 말해주지는 않는다

대부분의 기업용 AI 대시보드는 사용량을 중심으로 구성된다. 토큰을 얼마나 사용했는지, 어떤 모델이 토큰을 처리했는지, 조직이 얼마를 지출했는지 보여준다. 이 수치는 필요하지만, 작업이 유용한 결과를 냈는지는 알려주지 않는다.

토큰을 두 배로 소비하는 팀이 반드시 두 배의 가치를 만들어내는 것은 아니다. 더 어려운 작업을 처리하고 있을 수도 있고, 필요 이상으로 강력한 모델을 사용하고 있을 수도 있으며, 실패한 작업을 거듭 재시도하는 에이전트에 의존하고 있을 수도 있다. 모델 비용이 많이 드는 작업 흐름도 장애를 예방하고, 고객 문제를 해결하거나, 직원들에게 귀중한 시간을 돌려준다면 훌륭한 투자일 수 있다.

이와 같은 문제는 토큰 대신 기가바이트를 대상으로 수년간 옵저버빌리티 분야에서도 나타났다. 팀들은 가시성을 극대화하는 것이 가장 안전한 전략처럼 보여 모든 데이터를 수집하기 시작했다. 스토리지와 처리 비용이 증가하자 비용을 억제하기 위해 데이터 샘플링을 시작하고, 보관 기간을 줄이며, 맥락 정보를 버렸다.

두 경우 모두 비용이 증가했을 때 흔히 택한 대응은 활동을 줄이는 것이었다. 조직에 필요한 것은 그 대신 어떤 활동이 가치 있는지, 어떤 활동이 낭비인지, 결과를 희생하지 않으면서 어떤 활동을 더 효율적으로 바꿀 수 있는지 파악하는 능력이다.

실제 비용은 추론을 넘어선다

모델 호출만으로 AI 작업 흐름이 완성되는 경우는 드물다. 에이전트는 답변을 내놓기 전에 문서를 검색하고, 데이터베이스에 질의하고, 텔레메트리를 검색하고, 외부 서비스를 호출하며, 애플리케이션이나 인프라에서 새로운 활동을 일으킬 수 있다.

배포 후 결제 단계의 지연 시간이 늘어난 이유를 조사하는 에이전트를 생각해 보자. 이 에이전트는 로그를 살펴보고, 지표를 비교하고, 트레이스를 점검하고, 배포 기록을 가져오며, 다운스트림 서비스를 분석할 수 있다. 처음 세운 가설이 틀리면 시간 범위를 조정하고, 서비스 이름을 달리해 검색하며, 몇 가지 다른 원인을 추적할 수도 있다.

따라서 사람의 지시 한 번으로 기계가 생성하는 작업이 수백 건 발생할 수 있다. 이러한 작업은 컴퓨팅 자원, 스토리지 입출력, 네트워크 용량, 타사 API 할당량을 소모하지만, 이 비용은 조직의 모델 지출 대시보드에 표시되지 않을 수도 있다.

따라서 겉보기에 저렴한 모델도 비용이 많이 드는 작업 흐름을 뒷받침할 수 있다. 성능이 더 뛰어난 모델은 호출당 비용이 더 높을 수 있지만, 더 적은 단계로 올바른 결론에 도달해 재시도 횟수와 이를 지원하는 인프라를 줄일 수 있다. 이 둘을 비교하려면 전체 작업을 관찰해야 한다.

활동, 비용, 결과를 연결하라

가치 극대화를 위해서는 흔히 따로 측정되는 세 가지 정보 유형을 서로 연결해야 한다.

첫째는 모델 선택, 토큰 소비, 지연 시간, 도구 호출, 재시도, 병렬 분기 등을 포함한 AI 활동입니다. 둘째는 이러한 활동으로 발생하는 인프라 및 재정 비용으로, 컴퓨팅, 저장 공간, 네트워크 사용량, 데이터베이스 부하, 외부 API 이용료 등이 여기에 포함됩니다. 셋째는 결과로, 작업이 성공적으로 완료되었는지, 그리고 누군가 그 결과를 유용하다고 여겼는지를 보여줘야 합니다.

모든 결과를 정확한 달러 금액으로 환산할 필요는 없습니다. 답변이 받아들여졌는지, 누군가 작업을 다시 해야 했는지, 사고가 더 빠르게 해결되었는지, 자동화된 워크플로가 개입 없이 완료되었는지 등을 확인하는 실용적인 지표만으로도 충분할 수 있습니다.

예를 들어, 수백 건의 질의를 생성하는 사고 조사가 엔지니어들이 핵심 서비스를 30분 더 빨리 복구하는 데 도움이 된다면 그만한 가치가 있을 수 있습니다. 반면 훨씬 규모가 작은 워크플로라도 아무도 읽지 않는 보고서를 만든다면 여전히 낭비일 수 있습니다. 토큰 소비량만으로는 이 둘을 구분할 수 없습니다.

조직은 활동과 결과를 연결할 수 있게 되면 최첨단 모델을 어디에 사용할지, 더 작은 모델로 충분한 곳은 어디인지, 워크플로를 재설계해야 하는 곳은 어디인지 의도적으로 결정할 수 있습니다.

가시성을 확보한다고 통제권을 포기할 필요는 없습니다

AI의 가치를 파악하려면 민감한 맥락 정보에 접근할 수 있어야 합니다. 프롬프트, 생성 결과, 소스 코드, 고객 정보, 프로덕션 텔레메트리가 모두 하나의 워크플로에 포함될 수 있습니다.

조직은 AI 시스템의 성능을 파악하기 위해 이 정보를 외부 서비스로 내보내야 해서는 안 됩니다. 측정을 유용하게 해주는 프롬프트와 프로덕션 맥락 정보는 보안, 개인정보 보호, 규정 준수 팀이 조직 환경 밖으로 유출되도록 허용할 수 없는 정보와 동일할 수 있습니다.

따라서 기업의 의사결정권자는 AI 및 관측성 데이터가 어디에서 처리되는지, 누가 접근할 수 있는지, 얼마나 오래 보관되는지, 그리고 기존 보안 경계 안에서 분석을 수행할 수 있는지를 확인해야 합니다. 효과적인 거버넌스에는 가시성이 필요하지만, 그 가시성이 새로운 데이터 통제 문제를 일으켜서는 안 됩니다.

분석을 기초 데이터 가까이에서 수행하면 AI 활동을 그 영향을 받는 애플리케이션, 인프라, 비즈니스 프로세스와 연결하기도 쉬워집니다. 이러한 전체적인 관점을 통해 팀은 지출한 금액뿐 아니라 그 지출로 무엇을 얻었는지도 파악할 수 있습니다.

규모가 아니라 가치를 최적화하세요

기업 AI의 다음 단계에서 성공하는 조직이 반드시 토큰을 가장 많이 사용하거나 지출을 가장 적게 하는 조직은 아닙니다. 의미 있는 결과를 내는 모델과 워크로드를 파악하고, 그 지식을 바탕으로 배포를 이끄는 조직이 성공할 것입니다.

그러려면 개별 모델 비용 대시보드만 보는 데서 벗어나야 합니다. 팀은 사용자 요청에서 모델 호출, 도구, 인프라를 거쳐 최종 결과에 이르는 전체 과정을 관찰하는 동시에 민감한 정보를 조직의 적절한 통제 아래 두어야 합니다.

토큰 극대화는 실험을 장려하고 AI로 무엇을 할 수 있는지 보여줬다는 점에서 유용한 단계였습니다. 그다음에는 가시성, 비용, 결과를 결합하는 가치 극대화라는 원칙이 필요합니다. 이를 통해 조직은 지출이나 데이터에 대한 통제력을 잃지 않고 실험을 계속할 수 있습니다.

첫 청구서가 도착했다고 해서 기업 AI의 규모를 줄일 필요는 없습니다. 필요한 것은 더 신중한 접근입니다. 투입하는 노력은 작업의 난이도에, 모델은 과제에, 지출은 측정 가능한 가치에 맞춰야 합니다.