Нова економіка штучного інтелекту будується на токенах, але ми їх неправильно вимірюємо

Відбувається зміна в штучному інтелекті, яку більшість людей відчувають, але ще не повністю розуміють: ми перейшли від підрахунку запитів до підрахунку токенів.

У епоху вебу ми вимірювали системи в запитах за секунду. Це було чисто, інтуїтивно і в основному точно. Запит надходив, відповідь йшла, і ви могли масштабувати інфраструктуру навколо цієї моделі.

Ця абстракція зникла.

У штучному інтелекті фундаментальною одиницею вже не є запит — це токен. Кожен запит, кожна відповідь і кожна ланцюгова логіка розбиваються на токени, які представляють роботу системи, витрати та, все частіше, створену цінність.

Природно, галузь об’єдналася навколо цієї зміни, вводячи метрики, такі як токени за секунду, вартість за токен і навіть дохід за токен. Це здається, що ми нарешті знайшли спосіб кількісно оцінити системи штучного інтелекту. Але таке формулювання є неповним.

Галузевий скорочення: токени дорівнюють вартості

Є зростаюча розповідь про те, що токени є новою валютою штучного інтелекту — що більше токенів означає більшу інтелектуальність, а отже, більший дохід. Це приваблива ідея, але вона спрощує те, що насправді відбувається всередині цих систем.

Не всі токени рівні. Деякі токени представляють справжню роботу: аналіз даних, генерація інсайтів, автоматизація робочих процесів і підтримка рішень, які впливають на бізнес-результати. Інші токени значно менш значущі — випадкова генерація контенту, експерименти або випадки використання, які ніколи не переходять у виробництво.

Ви вже можете побачити це всередині підприємств. Одна команда може згенерувати мільйони токенів для підтримки продуктивності розробників або операцій клієнтів, безпосередньо впливаючи на ефективність і дохід. Інша команда може згенерувати такий же обсяг, експериментуючи з інструментами, які ніколи не виходять за межі внутрішньої експлуатації. На папері кількість токенів виглядає ідентично. У реальності бізнес-цінність абсолютно різна.

Розгляд усіх токенів як взаємозамінних одиниць вартості створює спотворене уявлення про те, що штучний інтелект насправді робить всередині організації. Бізнеси не будуються на об’ємі токенів; вони будуються на тому, що ці токени дозволяють.

Щоб зрозуміти цю різницю, потрібно подивитися під поверхню того, як ці системи насправді працюють.

Чому ваш другий запит швидший за перший

Якщо ви коли-небудь використовували інструмент, такий як ChatGPT, ви, ймовірно, помітили, що ваш другий запит часто швидший за перший. Це поведінка не пов’язана з тим, що модель стає розумнішою — це пов’язано з тим, як система повторно використовує контекст попередніх запитів.

Сучасні системи штучного інтелекту не обробляють кожен запит у ізоляції. Вони будують контекст, зберігаючи попередні запити і відповіді в пам’яті, часто у тому, що називається кешем KV. Цей кеш знаходиться поруч з GPU, щоб його можна було швидко доступити під час генерації відповідей на наступні запити.

Перший запит дорогостоячий, оскільки він ініціалізує цей стан — виділяє пам’ять, обробляє вхідні дані і будує контекст. Наступні запити повторно використовують цей стан, що зменшує затримку і покращує реакцію.

Ця динаміка стає ще важливішою, оскільки вікно контексту розширюється з тисяч до сотень тисяч — або навіть мільйонів — токенів. Чим більше контекст зберігається системою, тим більше тиску це створює на пам’ять і інфраструктуру, роблячи критичним рішення про те, що зберігається, стискається або викидається.

З точки зору користувача, це здається швидшою системою. З точки зору інфраструктури це складний компроміс між пам’яттю, затримкою і вартістю.

Це місце, де відбувається справжня робота: не тільки в самій моделі, а й у системі, яка її оточує.

Остання обмеження: енергія

Як тільки ви перейдете за межі продуктивності моделі, розмова швидко змінюється.

Команди, які працюють зі штучним інтелектом у великому масштабі, не запитують в першу чергу, яка модель найкраща. Вони запитують, як її утримувати.

Інфраструктура штучного інтелекту тисне на фізичні обмеження: доступність енергії, потужність охолодження і пропускна здатність пам’яті. Дані центри переробляються навколо цих обмежень, і організації, які розгортають великомасштабні системи штучного інтелекту, починають працювати більше як комунальні підприємства, ніж традиційні компанії з програмного забезпечення.

Ми вже бачимо це у великих підприємствах, які будують інфраструктуру штучного інтелекту, де потужність і охолодження — а не здатність моделі — стають основним обмеженням.

Вантажі штучного інтелекту не масштабуються чисто або передбачувано. Вони збільшують попит на обчислення, пам’ять і мережу в одному і тому ж часі. Генерація більшої кількості токенів не просто питання додавання更多 GPU; це питання того, чи може підлягаюча інфраструктура витримати енергетичне і теплове навантаження, необхідне для ефективної роботи цих систем.

Вартість генерації токена тому розширюється за межі обчислень. Вона включає електрику, охолодження, фізичну інфраструктуру і можливість підтримувати продуктивність під навантаженням без погіршення.

Більшість дискусій про “вартість за токен” не повністю відображають цю реальність. У масштабі енергія стає бюджетом, а не просто ще одним пунктом.

Майбутнє не в більших моделях. А в кращих системах.

За останні два роки галузь зосереджувалася на порівнянні моделей, розглядаючи бенчмарки, рейтинги і інкрементні поліпшення можливостей.

Ця увага починає зміщуватися.

У виробничих середовищах продуктивність менше залежить від того, яку модель ви виберете, і більше від того, як ви її використовуєте. Організації переходять до систем моделей — поєднуючи великі і малі моделі, маршрутизуючи завдання розумно і оптимізуючи вартість, затримку і пропускну здатність по всьому робочому процесу.

Натомість відсилаючи кожен запит до однієї великої моделі, системи розбивають вантажі на менші компоненти. Простіші завдання можуть бути оброблені більш ефективними моделями, тоді як більш складна логіка резервується для більших моделей. Контекст повторно використовується, де це можливо, і стратегії кешування застосовуються агресивно.

Ці рішення часто мають більший вплив на продуктивність і вартість, ніж зміна з однієї моделі на іншу. У цьому сенсі токени залишаються одиницею роботи, але система, яка генерує і керує ними, стає справжнім диференціатором.

Найбільше недооцінена шар у системах штучного інтелекту

Штучний інтелект часто описується у термінах моделей з одного боку і застосунків з іншого, але шар між ними — це місце, де живе більша частина складності — і можливостей.

Цей шар не просто переміщує запити; він формує їх. Він визначає, як рухається трафік, як приймаються рішення і як системи поводяться під реальними умовами.

Доставка і безпека не можуть бути розглядати як окремі проблеми тут. Той самий шар, який маршрутизує запити і керує контекстом, також є місцем, де застосовуються політики, мінімізуються ризики і встановлюється довіра.

По мірі зростання складності окремі рішення руйнуються. Що потрібно, це уніфікована платформа, яка може координувати ці функції в реальному часі, а не шити їх разом після факту.

Це місце, де робляться компроміси. Це місце, де контролюється вартість, оптимізується продуктивність і приймаються рішення про безпеку в реальному часі. По мірі зростання систем штучного інтелекту цей шар стає все більш важливим. Це різниця між системою, яка працює добре у демонстрації, і системою, яка працює надійно і ефективно у виробництві. Ця зміна має реальні наслідки для того, як організації проектують і керують системами штучного інтелекту.

Що це означає для організацій

По мірі переходу підприємств штучного інтелекту у виробництво, питання не тільки в тому, яку модель використовувати — а як система навколо неї спроектована для роботи.

Це означає думати за межами метрик токенів і бенчмарків моделей, і зосереджуватися на тому, як маршрутизуються запити, як керується контекстом і як застосовуються політики по всьому робочому процесу.

Більшість організацій все ще шije ці частини разом — і такий підхід не витримує реального виробничого тиску.

Ми вимірюємо не те

Токени забезпечують корисну абстракцію. Вони дають галузі можливість кількісно оцінити щось, що раніше здавалося невизначеним, але вони не являють собою повну картину.

Наразі галузь схиляється до того, що найлегше виміряти — кількості токенів, пропускній здатності і метрик вартості — а не того, що найважливіше. Без контексту ці цифри можуть бути вводять в оману.

Наступна фаза штучного інтелекту не буде визначатися тим, хто генерує найбільше токенів. Вона буде визначатися тим, хто розуміє, що ці токени представляють, і хто може будувати системи, які перетворюють їх у значущі, ефективні і масштабовані результати.

Бо в кінцевому підсумку токени не є продуктом. Вони просто побічним продуктом створення інтелекту.