Почему стоимость токенов не показывает, насколько успешно работает корпоративный ИИ

Развитие корпоративного ИИ проходит знакомый цикл. Сначала организации использовали его на полную, выбирая самые крупные и мощные модели: технология вызывала воодушевление, а счет за нее еще не пришел. Когда он все же пришел, реакция оказалась столь же предсказуемой: команды начали ограничивать доступ, сокращать эксперименты и искать более дешевые модели.

Али Годси, сооснователь и генеральный директор Databricks, описал ранний этап этого цикла как «максимизацию потребления токенов», когда большее число использованных токенов воспринимается как свидетельство прогресса. Гораздо важнее следующий этап — «максимизация ценности»: нужно понимать, что дает это расходование средств, и направлять их на действительно важные задачи.

Это не просто новое название оптимизации затрат. Оптимизация затрат отвечает на вопрос, как организации тратить меньше, а максимизация ценности — как получать больше от потраченного. Это различие будет становиться все важнее по мере того, как ИИ выходит за пределы отдельных экспериментов и становится частью повседневной работы предприятий.

Самая мощная модель не всегда подходит лучше всего

Многие организации начинали внедрять ИИ, используя самую мощную из доступных моделей почти для каждой задачи. На раннем экспериментальном этапе такой подход имел смысл: команды пытались понять, на что способна эта технология, и возможности модели были важнее предсказуемости.

Однако по мере масштабирования внедрения стало трудно оправдать использование передовой модели для каждого запроса. Некоторые организации отреагировали ограничением доступа или требованием к командам сократить объем работы, но широкие ограничения могут подавить не только бесполезные расходы, но и полезные эксперименты.

Постепенно формируется более зрелый подход. Команды начинают подбирать небольшие специализированные модели для рутинных задач, оставляя более мощные модели для задач, требующих сложных рассуждений или связанных с высокой ценой ошибки. Со временем некоторые организации могут также развернуть модели в собственной инфраструктуре, чтобы лучше контролировать расходы, производительность и обработку конфиденциальных данных.

Важно не то, какая модель лучше — большая или маленькая. Важно, подходит ли модель для задачи и оправдывает ли результат общие затраты на его получение.

Токены показывают активность, а не ценность

Большинство панелей мониторинга корпоративного ИИ сосредоточены на потреблении ресурсов. Они показывают, сколько токенов использовано, какие модели их обработали и сколько потратила организация. Эти цифры необходимы, но они не позволяют понять, принесла ли работа полезный результат.

Команда, использующая вдвое больше токенов, не обязательно создает вдвое больше ценности. Возможно, она решает более сложные задачи, использует неоправданно мощную модель или полагается на агента, который раз за разом повторяет неудачные попытки. Даже рабочая нагрузка с высокими затратами на модели может быть отличным вложением, если она предотвращает сбои, решает проблемы клиентов или возвращает сотрудникам часы ценного времени.

Та же проблема годами существовала в сфере наблюдаемости, только речь шла о гигабайтах, а не токенах. Сначала команды собирали все данные, поскольку максимальная видимость казалась самой безопасной стратегией. Когда расходы на хранение и обработку выросли, они начали выборочно собирать данные, сокращать сроки их хранения и отбрасывать контекст, чтобы сдержать затраты.

И в том и в другом случае на рост затрат часто отвечали сокращением объема работы. Вместо этого организациям нужно уметь определять, какие действия приносят пользу, какие ведут к лишним расходам, а какие можно сделать эффективнее без ущерба для результата.

Реальные затраты не ограничиваются инференсом

Вызов модели редко исчерпывает всю рабочую нагрузку, связанную с ИИ. Прежде чем выдать ответ, агент может извлекать документы, обращаться к базе данных, искать данные телеметрии, вызывать внешние службы и создавать дополнительную нагрузку на приложения или инфраструктуру.

Представим, что агент выясняет, почему после развертывания обновления выросла задержка при оформлении заказа. Он может изучить журналы, сопоставить метрики, проверить трассировки, извлечь записи о развертывании и проанализировать зависимые службы. Если первая гипотеза не подтвердится, агент может изменить временной интервал, выполнить поиск по другим названиям служб и проверить несколько альтернативных причин.

Таким образом, одна инструкция от человека может породить сотни операций, выполняемых машиной. Эти операции расходуют вычислительные ресурсы, ресурсы хранилища для ввода-вывода, пропускную способность сети и квоты сторонних API, однако расходы на них могут не отражаться на панели мониторинга затрат организации на модели.

Это значит, что даже недорогая на первый взгляд модель может быть частью дорогого рабочего процесса. Более мощная модель может стоить дороже при каждом вызове, но быстрее приходить к правильному выводу, требуя меньше повторных попыток и ресурсов вспомогательной инфраструктуры. Сравнить эти варианты можно, только наблюдая за выполнением задачи целиком.

Свяжите активность, затраты и результаты

Чтобы максимизировать ценность, организациям нужно связать между собой три типа данных, которые часто измеряются по отдельности.

Первый — активность ИИ: выбор модели, расход токенов, задержки, вызовы инструментов, повторные попытки и параллельные ветви. Второй — инфраструктурные и финансовые затраты, обусловленные этой активностью, включая вычислительные ресурсы, хранение данных, сетевой трафик, нагрузку на базы данных и оплату внешних API. Третий — результат: он должен показывать, успешно ли выполнена работа и сочёл ли кто-либо результат полезным.

Не каждый результат нужно переводить в точную сумму в долларах. Иногда достаточно практического показателя: например, приняли ли ответ, пришлось ли человеку переделывать работу, удалось ли быстрее устранить инцидент или завершился ли автоматизированный процесс без вмешательства.

Например, расследование инцидента, в ходе которого выполняются сотни запросов, может быть оправданным, если благодаря ему инженеры восстановят критически важный сервис на 30 минут раньше. Гораздо более простой рабочий процесс всё равно может оказаться неэффективным, если в результате получается отчёт, который никто не читает. По одному лишь расходу токенов эти два случая не различить.

Когда организации научатся связывать активность с результатами, они смогут осознанно решать, где использовать самые передовые модели, где достаточно моделей меньшего размера, а где нужно переработать рабочий процесс.

Контроль над данными не должен быть платой за прозрачность

Чтобы понять ценность ИИ, необходим доступ к конфиденциальным данным. Промпты, сгенерированные ответы, исходный код, информация о клиентах и телеметрия из рабочей среды могут быть частью одного и того же процесса.

Организациям не следует передавать эту информацию стороннему сервису лишь для того, чтобы понять, насколько эффективно работают их системы ИИ. Промпты и контекст рабочей среды, необходимые для полезных измерений, могут содержать те же сведения, которые службы безопасности, защиты данных и соблюдения нормативных требований не могут разрешить передавать за пределы инфраструктуры организации.

Поэтому руководителям компаний следует выяснять, где обрабатываются данные об ИИ и наблюдаемости, кто имеет к ним доступ, как долго они хранятся и можно ли проводить анализ в пределах существующего периметра безопасности. Эффективное управление требует прозрачности, однако она не должна создавать новую проблему с контролем над данными.

Если анализ проводится рядом с исходными данными, становится проще связать активность ИИ с приложениями, инфраструктурой и бизнес-процессами, на которые она влияет. Такой целостный обзор позволяет понять не только размер затрат, но и то, какую отдачу они принесли.

Оптимизируйте ценность, а не объём

Организации, которые добьются успеха на следующем этапе развития корпоративного ИИ, не обязательно будут использовать больше всего токенов или тратить меньше всех. Это будут те, кто сможет определить, какие модели и рабочие нагрузки дают значимые результаты, и использовать эти знания при внедрении.

Для этого нужно выйти за рамки изолированных панелей мониторинга затрат на модели. Командам необходимо отслеживать весь путь — от запроса пользователя через вызовы моделей, инструменты и инфраструктуру до конечного результата, — при этом обеспечивая надлежащий контроль организации над конфиденциальной информацией.

Погоня за максимальным расходом токенов была полезным этапом: она побуждала к экспериментам и показывала, на что способен ИИ. Следующий необходимый шаг — ориентация на максимальную ценность: нужно учитывать прозрачность, затраты и результаты, чтобы организации могли продолжать эксперименты, не теряя контроля над расходами и своими данными.

Корпоративному ИИ не нужно становиться менее масштабным только потому, что пришли первые счета. Нужно подходить к его использованию более взвешенно: соотносить усилия со сложностью задач, модели — с задачами, а расходы — с измеримой ценностью.