Чому витрати на токени не показують, чи ефективно працює корпоративний ШІ

Корпоративний ШІ проходить знайомий цикл. Спочатку організації робили ставку на все й одразу, обираючи найбільші та найпотужніші моделі, адже технологія захоплювала, а рахунок за неї ще не надійшов. Коли він таки надійшов, реакція була такою ж передбачуваною: команди почали обмежувати доступ, скорочувати експерименти й шукати дешевші моделі.

Алі Ґодсі, співзасновник і генеральний директор Databricks, назвав ранній етап цього циклу «максимізацією кількості токенів», коли споживання більшої кількості токенів сприймають як ознаку прогресу. Важливіший етап — це «максимізація цінності», тобто розуміння того, що дають ці витрати, і спрямування ресурсів на справді важливі завдання.

Це не просто нова назва для оптимізації витрат. Оптимізація витрат передбачає пошук способів витрачати менше, тоді як максимізація цінності — пошук способів отримати більше від витраченого. Це розмежування ставатиме дедалі важливішим у міру того, як ШІ виходитиме за межі окремих експериментів і впроваджуватиметься в повсякденну діяльність підприємств.

Найбільша модель — не завжди найкраща

Багато організацій розпочали свої програми з ШІ, використовуючи найпотужнішу доступну модель майже для кожного завдання. Такий підхід був виправданим на ранньому експериментальному етапі, коли команди намагалися зрозуміти можливості технології, а спроможність моделі була важливішою за передбачуваність її роботи.

Однак із розширенням впровадження витрати на використання передової моделі для кожного запиту стало важко виправдати. Деякі організації у відповідь обмежили доступ або попросили команди скоротити обсяг роботи, але широкі обмеження можуть придушити не лише марнотратство, а й корисні експерименти.

Поступово формується зріліший підхід. Команди починають доручати типові завдання меншим спеціалізованим моделям, залишаючи потужніші для завдань, що потребують складних міркувань або пов’язані з високою ціною помилки. З часом деякі організації можуть також розгортати моделі у власній інфраструктурі, щоб краще контролювати витрати, продуктивність і обробку конфіденційних даних.

Важливо не те, яка модель краща — велика чи мала. Важливо, чи відповідає модель завданню та чи виправдовує результат загальні витрати на його отримання.

Токени свідчать про активність, а не про цінність

Більшість корпоративних панелей моніторингу ШІ побудовано навколо споживання ресурсів. Вони показують, скільки токенів було використано, які моделі їх обробляли та скільки витратила організація. Ці показники потрібні, але вони не дають зрозуміти, чи принесла робота корисний результат.

Команда, що споживає вдвічі більше токенів, не обов’язково створює вдвічі більше цінності. Можливо, вона виконує складнішу роботу, використовує надмірно потужну модель або покладається на агента, який знову й знову повторює невдалі спроби. Завдання з високими витратами на моделі все одно може бути чудовою інвестицією, якщо воно допомагає запобігти збоям, розв’язати проблеми клієнтів або повернути працівникам години цінного часу.

Та сама проблема роками існувала у сфері спостережуваності — лише замість токенів ішлося про гігабайти. Спочатку команди збирали все підряд, адже максимальна видимість здавалася найбезпечнішою стратегією. Коли зросли витрати на зберігання й обробку даних, вони почали вибірково збирати дані, скорочувати строк їх зберігання та втрачати контекст, щоб контролювати витрати.

В обох випадках реакцією на зростання витрат часто ставало скорочення обсягів роботи. Натомість організаціям потрібна можливість визначати, яка діяльність має цінність, яка є марнотратною, а яку можна зробити ефективнішою без шкоди для результату.

Реальні витрати не обмежуються інференцією

Виклик моделі рідко становить увесь робочий процес із ШІ. Перш ніж сформувати відповідь, агент може отримувати документи, надсилати запити до бази даних, шукати телеметричні дані, звертатися до зовнішніх сервісів і створювати нову активність у застосунках чи інфраструктурі.

Розгляньмо агента, який з’ясовує, чому після розгортання зросла затримка під час оформлення замовлення. Він може перевірити журнали, порівняти метрики, проаналізувати трасування, отримати записи про розгортання та дослідити залежні сервіси. Якщо перша гіпотеза не підтвердиться, агент може змінити часовий інтервал, шукати за іншими назвами сервісів і перевірити кілька альтернативних причин.

Тож одна інструкція від людини може спричинити сотні операцій, згенерованих машиною. На них витрачаються обчислювальні ресурси, ресурси на введення та виведення даних у сховищі, пропускна здатність мережі й квоти сторонніх API, причому жодні з цих витрат можуть не відображатися на панелі організації, де показано витрати на моделі.

Отже, модель, що здається недорогою, може бути частиною дорогого робочого процесу. Потужніша модель може коштувати більше за один виклик, але швидше дійти правильного висновку, потребуючи менше повторних спроб і допоміжної інфраструктури. Порівняти ці варіанти можна лише спостерігаючи за всім завданням.

Пов’яжіть активність, витрати й результати

Щоб максимізувати цінність, організаціям потрібно пов’язати три типи інформації, які часто вимірюють окремо.

Перший складник — активність ШІ: вибір моделі, споживання токенів, затримка, виклики інструментів, повторні спроби та паралельні гілки. Другий — інфраструктурні й фінансові витрати, зумовлені цією активністю, зокрема на обчислювальні ресурси, зберігання даних, використання мережі, навантаження на бази даних і зовнішні API. Третій — результат, який має показати, чи виконано роботу успішно та чи виявився результат корисним для когось.

Не кожен результат потрібно оцінювати точною сумою в доларах. Може бути достатньо практичного показника: наприклад, чи прийняли відповідь, чи довелося комусь переробляти роботу, чи вдалося швидше усунути інцидент або чи завершився автоматизований робочий процес без втручання людини.

Наприклад, розслідування інциденту, під час якого виконуються сотні запитів, може бути доцільним, якщо завдяки йому інженери відновлять роботу критично важливої служби на 30 хвилин раніше. Значно простіший робочий процес усе одно може бути марнотратним, якщо в результаті створюється звіт, якого ніхто не читає. Саме лише споживання токенів не дає змоги розрізнити ці випадки.

Коли організації зможуть пов’язати активність із результатами, вони зможуть свідомо вирішувати, де використовувати найпередовіші моделі, де достатньо менших моделей, а де потрібно перепроєктувати робочий процес.

Прозорість не має вимагати відмови від контролю

Щоб зрозуміти цінність ШІ, потрібен доступ до чутливої інформації. Підказки, відповіді моделей, вихідний код, дані клієнтів і телеметрія виробничих систем можуть бути частинами одного робочого процесу.

Організації не повинні експортувати цю інформацію до зовнішнього сервісу лише для того, щоб зрозуміти, наскільки ефективно працюють їхні системи ШІ. Підказки й виробничий контекст, завдяки яким вимірювання має сенс, можуть містити саме ту інформацію, яку команди з безпеки, захисту конфіденційності та відповідності вимогам не можуть дозволити вивозити за межі середовища організації.

Тому керівникам підприємств варто з’ясувати, де обробляються дані про ШІ та спостережуваність, хто має до них доступ, як довго їх зберігають і чи можна проводити аналіз у межах наявного периметра безпеки. Належне управління потребує прозорості, але ця прозорість не повинна створювати нових проблем із контролем над даними.

Якщо аналізувати дані поруч із їхнім першоджерелом, легше пов’язати активність ШІ з програмами, інфраструктурою та бізнес-процесами, на які вона впливає. Саме такий цілісний огляд дає командам змогу зрозуміти не лише, скільки вони витратили, а й яку віддачу принесли ці витрати.

Оптимізуйте цінність, а не обсяг

На наступному етапі розвитку корпоративного ШІ досягнуть успіху не обов’язково ті організації, які використовують найбільше токенів або витрачають найменше. Ними стануть ті, хто зможе визначити, які моделі та робочі навантаження забезпечують значущі результати, а потім використовувати ці знання для планування впровадження.

Для цього потрібно вийти за межі ізольованих панелей витрат на моделі. Командам необхідно спостерігати за всім шляхом — від запиту користувача через виклики моделей, інструменти й інфраструктуру до кінцевого результату, — водночас забезпечуючи належний контроль організації над чутливою інформацією.

Гонитва за максимальною кількістю токенів була корисним етапом, адже заохочувала до експериментів і показала, на що здатен ШІ. Наступним кроком має стати системна робота над підвищенням цінності: потрібно поєднати прозорість, витрати й результати, щоб організації могли й надалі експериментувати, не втрачаючи контролю над витратами й даними.

Корпоративному ШІ не потрібно ставати менш масштабним лише тому, що надійшли перші рахунки. Натомість його слід використовувати більш обдумано: обсяг зусиль має відповідати складності завдання, моделі — завданням, а витрати — вимірюваній цінності.