AI의 새로운 경제는 토큰으로 구성되지만 우리는 그것을 잘못 측정하고 있다

대부분의 사람들이 아직 완전히 이해하지 못하지만 AI에서 변화가 일어나고 있다: 요청을 세는 대신 토큰을 세고 있다.

웹 시대에는 시스템을 초당 요청 수로 측정했다. 그것은 깨끗하고 직관적이었으며 대부분 정확했다. 요청이 들어오면 응답이 나가고, 그 모델을 중심으로 인프라를 확장할 수 있었다.

그 추상화는 사라졌다.

AI에서 기본 단위는 더 이상 요청이 아니다. 그것은 토큰이다. 모든 프롬프트, 응답, 그리고 추론의 사슬은 토큰으로 분해된다. 그것은 시스템이 수행하는 작업, 발생하는 비용, 그리고 점점 더 많이 창조되는 가치를 나타낸다.

자연스럽게, 산업은 이 변화를 받아들여 토큰당 비용, 토큰당 수익과 같은 지표를 도입했다. 그것은 마치 우리는终于 AI 시스템을 양적으로 측정할 수 있는 방법을 찾았다는 느낌이다. 그러나 이러한 프레임은 불완전하다.

산업의捷径: 토큰은 가치와 같다

토큰이 AI의 새로운 통화라는 이야기가 퍼지고 있다. 더 많은 토큰이 더 많은 지능을 의미하며, 그로 인해 더 많은 수익을 창출한다는 것이다. 그것은 매력적인 아이디어이지만, 실제로 시스템 내에서 일어나는 것을 단순화한다.

모든 토큰이 동일하지는 않다. 일부 토큰은 실제 작업을 나타낸다: 데이터 분석, 인사이트 생성, 워크플로 자동화, 비즈니스 결과를 지원하는 결정과 같은 것들. 다른 토큰은 훨씬 덜 의미가 있다: 비공식적인 콘텐츠 생성, 실험, 또는 생산에 들어가지 않는 사용 사례와 같은 것들.

이미 기업 내에서 이러한 현상을 볼 수 있다. 한 팀은 개발자 생산성 또는 고객 운영을 지원하기 위해 수백만 토큰을 생성할 수 있다. 다른 팀은 내부적으로 탐색할 수 있는 도구와 같은 것들을 실험하기 위해 동일한 볼륨의 토큰을 생성할 수 있다. 문서상으로 토큰 수는 동일해 보이지만, 실제 비즈니스 가치는 완전히 다르다.

모든 토큰을 가치의 교환 가능한 단위로 취급하면 조직 내에서 실제로 AI가 하는 일을 왜곡된 시각으로 보게 된다. 비즈니스는 토큰 볼륨으로 구축되지 않는다. 그것은 토큰이 가능하게 하는 것들로 구축된다.

그 차이를 이해하기 위해서는 시스템이 실제로 어떻게 작동하는지 표면 아래를 들여다보아야 한다.

두 번째 프롬프트가 첫 번째보다 빠른 이유

ChatGPT와 같은 도구를 사용해 본 적이 있다면, 두 번째 질문이 첫 번째보다 빠르다는 것을 알 수 있다. 이러한 행동은 모델이 더 똑똑해진 것이 아니라, 이전 프롬프트의 컨텍스트를 재사용하기 때문이다.

최신 AI 시스템은 각 요청을 분리하여 처리하지 않는다. 컨텍스트를 구축하고, 이전 프롬프트와 응답을 메모리에 저장한다. 이는 일반적으로 KV 캐시라고 불리는 곳에 저장되며, 빠르게 접근할 수 있도록 GPU에 가까운 곳에 위치한다.

첫 번째 요청은 비용이 많이 든다. 초기 상태를 초기화하고, 메모리를 할당하고, 입력을 처리하고, 컨텍스트를 구축하기 때문이다. 이후의 요청은 그 상태를 재사용하여 대기 시간을 줄이고 응답성을 개선한다.

이 동작은 컨텍스트 창이 수천 개에서 수십만 개, 또는 수백만 개의 토큰으로 확장함에 따라 더 중요해진다. 시스템이 유지하는 컨텍스트가 많을수록, 메모리와 인프라에 더 많은 압력을 가한다. 따라서 저장, 압축, 또는 삭제할 항목을 결정하는 것이 중요해진다.

사용자 관점에서 보면, 시스템이 더 빠르다고 느껴진다. 그러나 인프라 관점에서 보면, 이는 메모리, 대기 시간, 비용 사이의 복잡한 트레이드오프이다.

실제로 중요한 작업은 모델 자체가 아니라, 모델을 둘러싼 시스템에서 일어난다.

최종 제약: 에너지

모델 성능을 넘어서면, 대화는 빠르게 변한다.

대규모 AI를 운영하는 팀은 주로 어떤 모델이 가장 좋은지 묻지 않는다. 그들은 어떻게 그것을 지속할 수 있는지 묻는다.

AI 인프라는 물리적 제한에 부딪치고 있다: 에너지 가용성, 냉각 능력, 메모리 대역폭. 데이터 센터는 이러한 제약을 중심으로 재설계되고 있으며, 대규모 AI 시스템을 배포하는 조직은 전통적인 소프트웨어 회사보다 공급 회사와 더 비슷해지고 있다.

이미 대규모 기업에서 AI 인프라를 구축하고 있는 곳에서, 전력과 냉각이 모델 능력보다 주요 제약이 되고 있다.

AI 워크로드는 깨끗하게 확장하지도, 예측 가능하지도 않다. 컴퓨팅, 메모리, 네트워킹을 통해 동시에 수요를 증가시킨다. 더 많은 토큰을 생성하는 것은 단순히 더 많은 GPU를 추가하는 문제가 아니라, 효율적으로 작동하는 데 필요한 에너지와 열 부하를 처리할 수 있는지의 문제이다.

토큰을 생성하는 비용은 컴퓨팅을 넘어선다. 그것은 전기, 냉각, 물리적 인프라, 그리고 부하下的 성능을 유지하는 능력을 포함한다.

대부분의 “토큰당 비용” 토론은 이러한 현실을 완전히 반영하지 않는다. 대규모에서는 에너지가 예산이 된다. 단순히 또 다른 항목이 아니다.

미래는 더 큰 모델이 아니다. 그것은 더好的 시스템이다.

過去 2년 동안, 산업은 모델 비교, 벤치마크, 랭킹, 그리고 능력의 점진적인 개선에 초점을 맞추고 있었다.

그것은 이제 변하고 있다.

생산 환경에서 성능은 모델을 선택하는 것보다 어떻게 사용하는지에 더 많이 달려 있다. 조직은 모델의 시스템으로 이동하고 있다. 큰 모델과 작은 모델을 결합하고, 작업을 지능적으로 라우팅하고, 전체 워크플로우에서 비용, 대기 시간, 처리량을 최적화한다.

모든 요청을 하나의 큰 모델로 보내는 대신, 시스템은 작업을 더 작은 구성 요소로 분해한다. 더 단순한 작업은 더 효율적인 모델로 처리할 수 있다. 더 복잡한 추론은 더 큰 모델로 예약된다. 컨텍스트는 가능한 한 재사용되고, 캐싱 전략이 공격적으로 적용된다.

이러한 결정은 모델을 바꾸는 것보다 성능과 비용에 더 큰 영향을 미친다. 이러한 의미에서 토큰은 여전히 작업의 단위이지만, 토큰을 생성하고 관리하는 시스템이 실제 차별점이 된다.

AI 시스템에서 가장 간과되는 계층

AI는 종종 모델과 응용 프로그램의 두側에서 설명되지만, 중간 계층에서 대부분의 복잡성과 기회가 존재한다.

이 계층은 요청을 이동시키는 것만이 아니다. 그것은 요청을 형성한다. 트래픽 흐름, 의사 결정 강제, 시스템이 실제 조건에서 어떻게 행동하는지 결정한다.

배달과 보안을 별개의 문제로 취급할 수 없다. 요청을 라우팅하고 컨텍스트를 관리하는 동일한 계층에서 정책이 적용되고, 위험이 완화되고, 신뢰가 확립된다.

복잡성이 증가함에 따라, 점 решение은 붕괴한다. 필요한 것은 이러한 기능을 실시간으로 조정할 수 있는 통합 플랫폼이다. 아니라事実 후에 그것들을 함께縫合하는 것이다.

여기서 트레이드오프가 이루어진다. 여기서 비용을 제어하고, 성능을 최적화하며, 보안 결정이 실시간으로 시행된다. AI 시스템이 확장함에 따라, 이 계층은 점점 더 중요해진다. 그것은 데모에서 잘 수행하는 시스템과 생산에서 신뢰성 있게 작동하는 시스템 사이의 차이다. 이러한 변환은 조직이 AI 시스템을 설계하고 관리하는 방식에 실제적인 영향을 미친다.

조직에 대한 의미

기업이 AI를 생산에 도입함에 따라, 질문은 어떤 모델을 사용할지가 아니라, 모델 주변의 시스템이 어떻게 작동하는지이다.

그것은 토큰 메트릭스와 모델 벤치마크를 넘어서, 요청이 어떻게 라우팅되고, 컨텍스트가 어떻게 관리되고, 정책이 어떻게 시행되는지에 초점을 맞추는 것을 의미한다.

대부분의 조직은 여전히 이러한 조각들을 함께 조립하고 있다. 그러나 이러한 접근 방식은 실제 생산 압력하에서 지탱되지 않는다.

우리는 잘못된 것을 측정하고 있다

토큰은 유용한 추상화를 제공한다. 그것은 이전에 무형이었던 것을 양적으로 측정할 수 있는 방법을 산업에 제공한다. 그러나 그것은 전체 그림이 아니다.

현재, 산업은 가장 쉽게 측정할 수 있는 것에 집중하고 있다. 토큰 수, 처리량, 비용 메트릭스와 같은 것들. 그러나 그것은 가장 중요한 것이 아니다.

AI의 다음 단계는 토큰을 가장 많이 생성하는 것이 아니라, 토큰이 무엇을 나타내는지 이해하고, 토큰을 의미 있는, 효율적인, 확장 가능한 결과로 변환할 수 있는 시스템을 구축하는 것이다.

그것은 토큰이 제품이 아니다. 그것은 지능이 생성될 때의 부산물에 불과하다.