Чому 95% ініціатив штучного інтелекту не дають жодного повернення інвестицій

Недавнє дослідження MIT показало, що 95% організацій не отримують жодного повернення інвестицій від ініціатив з генерації штучного інтелекту; жодного вимірного впливу на прибуток і збиток trotz значних інвестицій. Заголовки були зосереджені на рівні невдач, але справжнє питання полягає не в тому, чи працює технологія. Великі мови моделі є потужними, доступними та швидко покращуються. Проблема полягає в тому, як бізнес намагається їх використовувати.

Більшість організацій підходять до агентів штучного інтелекту так само, як вони підходили до кожного іншого технологічного впровадження. Вони беруть існуючі процеси, прикріплюють до них штучний інтелект і очікують магії. Коли це не працює, вони звинувачують моделі. Але невдача відбувається значно раніше, ніж штучний інтелект починає діяти.

Я бачив цю схему повторюватися знову і знову у великих підприємствах, які будують потоки роботи штучного інтелекту. Команди отримують збудження від можливостей, поспішно починають розробку, а потім натрапляють на ті самі передбачувані перешкоди. Різниця між 5% тих, хто успішно впроваджує штучний інтелект, і 95% тих, хто генерує нульовий повернення інвестицій, полягає не в удачі чи бюджеті; це уникає шість критичних помилок, які вбивають вартість агентів штучного інтелекту ще до їх початку.

Ваші дані більш заплутані, ніж ви думаєте

Більшість команд думають, що наявність даних означає, що вони готові до штучного інтелекту. Вони вказують на свій дата-лейк, свій CRM, свої ретельно підтримувані бази даних і припускають, що успіх гарантований. Потім вони вивантажують все в LLM і дивуються, чому їхній агент виробляє сміттєві виводи або спалює їхній бюджет за кілька днів.

Заплутані дані створюють заплутані агенти. Якщо ви надсилаєте сирі бази даних, експорти з HTML, або необроблені текстові об’єкти агенту штучного інтелекту, ви встановлюєте його на шлях до невдачі. Моделі плутаються в нерелевантних полях, відволікаються на артефакти форматування і перевантажуються об’ємом.

Команди регулярно надсилають записи клієнтів з 47 полями, коли тільки 3 є критичними для прийняття рішень. Вони включають UUID, які не додають жодної семантичної цінності, але споживають дорогі токени. Вони годують агентів HTML, витягнутим з внутрішніх інструментів, замість чистої, структурованої інформації.

Ви швидше досягнете ліміту, ніж очікуєте

Кожна команда вважає, що вони ніколи не досягнуть ліміту контексту. “Ми обробляємо тільки кілька клієнтських записів”, – кажуть вони. “Як це може бути складно?” Потім їхній агент потребує аналізу 500 тікетів підтримки, кожен з повною історією розмови, і раптом вони натрапляють на мільйон-токенові стелі.

Великі контексти накопичуються швидше, ніж хто-небудь очікує. Агент підтримки клієнтів, який обробляє ескалації, може потребувати доступу до історії тікетів, статей знань, попередніх взаємодій і документів продукту. Це легко сотні тисяч токенів на запит. Помножте це на конкуруючих користувачів, і ваші витрати на інфраструктуру вихлюпуються з контролю.

Наївний підхід полягає в тому, щоб просто надіслати все моделі і сподіватися на найкраще. Розумні команди розбивають запити на шматки, підсумовують кожен шматок, а потім діють на підсумок підсумків. Цей ієрархічний підсумовування зберігає запити керованими, зберігаючи при цьому критичну інформацію, необхідну агентам для прийняття хороших рішень.

Безпека ускладнюється швидко

Команди отримують збудження від особистості свого агента штучного інтелекту та його можливостей, пишуть деякі базові керівництва і думають, що вони захищені. Насправді агенти штучного інтелекту вимагають фундаментально іншої безпеки мислення, ніж традиційні програми.

Агенти штучного інтелекту можуть бути обмануті, маніпульовані та примушені до дій, які порушують традиційні моделі безпеки. Вхідні дані користувача можуть містити приховані інструкції, які перевершують ваші ретельно створені запити. Агенти можуть бути переконані проігнорувати свої керівництва, отримати доступ до даних, які вони не повинні бачити, або вчинити дії поза їхнім призначеним призначенням.

Розумні реалізації вимагають суворих меж того, що агенти можуть і не можуть робити. Для всього, що змінює стан; запис даних, надсилання електронної пошти, здійснення API-звонів; вам потрібен пропонуючий-виправданий-затверджений робочий процес. Агент пояснює, що він хоче зробити і чому, а потім чекає затвердження людини перед діями. Це запобігає неконтрольованій автоматизації, зберігаючи при цьому переваги допомоги штучного інтелекту.

Що насправді працює

Від спостереження за сотнями впроваджень агентів штучного інтелекту, шість практик відрізняють успішні розгортання від дорогих невдач.

Перше – гігієна даних. Надсилайте компактні, типізовані JSON з фіксованими схемами. Видаліть UUID, HTML, дублікатні поля та будь-яку конфіденційну інформацію, якщо вона не абсолютно критична для прийняття рішень. Замініть конфіденційну інформацію метаданими, коли це можливо. Це зберігає моделі сфокусованими, скорочуючи розмір вантажу, витрати та затримку.

Друге – управління контекстом. Ви досягнете ліміту токенів швидше, ніж очікуєте. Розбийте запити на менші шматки, підсумовуйте кожен шматок, а потім діятайте на підсумки. Цей ієрархічний підхід зберігає запити під контролем, зберігаючи при цьому необхідний контекст.

Третє – безпека запиту. Визначте суворі межі того, що ваш агент може і не може робити. Реалізуйте пропонуючі-виправдані-затверджені робочі процеси для всього, що змінює стан. Розглядайте весь контент користувача як недостовірний; видаліть код і посилання, і нагадайте моделям ніколи не слідувати інструкціям, прихованим у тексті користувача. Постійно моніторьте запити і виводи на предмет аномального або порушеного поведінки політики, щоб забезпечити ефективність меж з часом.

Четверте – контроль витрат. Встановіть токени та бюджети витрат на запит і на робочий процес. Регіструйте використання токенів інструментами та запитами, щоб виявити регресії на ранній стадії. Без дисципліни ви будете зіткнутися з неконтрольованими рахунками або сплесками затримки просто тоді, коли зростає прийняття.

П’яте – забезпечення якості. Зберігайте приватний набір оцінювання реальних інцидентів і крайніх випадків. Стежте за точністю, викликанням і регресіями. Нові моделі будуть вас здивовувати, зазвичай у поганий спосіб. Для критичних робочих процесів використовуйте температуру близько нуля і засіяні бекенди для збереження послідовних виводів.

Шосте – управління. Заблокуйте угоди про обмін даними до того, як будь-яка інформація буде передана. Визначте, що буде спільним, як воно буде захищено, і хто буде відповідальним. Це не тільки юридичний захист; це сигнал довіри, що ви серйозно ставитеся до даних.

Чому більшість команд помиляються

Проекти агентів штучного інтелекту не дають повернення інвестицій, оскільки команди зосереджуються на неправильних речах. Вони одержимі тим, яку модель використовувати, ігноруючи якість даних. Вони будують складні робочі процеси, пропускаючи базові контролі безпеки. Вони розгортають агентів без контролю витрат, а потім панікують, коли рахунки стрімко зростають.

Успішні 5% розуміють, що агенти штучного інтелекту не просто програмне забезпечення; це нова категорія цифрових працівників, які вимагають інших практик управління. їм потрібні чисті дані, чіткі межі та постійний нагляд. Якщо ви отримуєте ці основи правильно, агенти штучного інтелекту стають потужними мультиплікаторами продуктивності. Якщо ви помиляєтеся, ви приєднуєтеся до 95% тих, хто дивиться, чому їх дорогі інвестиції в штучний інтелект не дали жодного вимірного повернення.