Чому 95% ініціатив штучного інтелекту не дають жодної віддачі

Нещодавнє дослідження Массачусетського технологічного інституту показало, що 95% організацій не отримують жодної віддачі від ініціатив з генерації штучного інтелекту; жодного вимірного впливу на прибуток trotz значних інвестицій. Заголовки були зосереджені на рівні невдач, але справжнє питання полягає не в тому, чи працює технологія. Великі мовні моделі потужні, доступні та швидко вдосконалюються. Проблема полягає в тому, як компанії намагаються їх використовувати.

Більшість організацій підходять до агентів штучного інтелекту так само, як вони підходили до кожного іншого технологічного впровадження. Вони беруть існуючі процеси, додають до них штучний інтелект і очікують чуда. Коли це не працює, вони звинувачують моделі. Але невдача відбувається ще до того, як штучний інтелект вступає в дію.

Я бачив цю схему повторюватися знову і знову в підприємствах, які будують потоки роботи штучного інтелекту. Команди захоплюються можливостями, поспішно переходять до розробки, а потім натикаються на ті самі передбачувані перешкоди. Відмінність між 5% успішних і 95% невдач не полягає в удачі чи бюджеті; це уникнення шести критичних помилок, які вбивають цінність агентів штучного інтелекту, перш ніж вони починають працювати.

Ваші дані більш заплутані, ніж ви думаєте

Більшість команд думають, що наявність даних означає, що вони готові до штучного інтелекту. Вони вказують на свій озеро даних, свій CRM, свої ретельно підтримувані бази даних і припускають, що успіх гарантований. Потім вони вивалюють все в велику мовну модель і дивуються, чому їхній агент видає сміттєві виходи або витрачає бюджет за кілька днів.

Заплутані дані створюють заплутані агенти. Якщо ви надсилаєте сирі бази даних, експорти, заповнені HTML, або необроблені текстові об’єкти агенту штучного інтелекту, ви готуєте його до невдачі. Моделі плутаються в нерелевантних полях, відволікаються форматними артефактами і перевантажуються об’ємом.

Команди регулярно надсилають записи клієнтів з 47 полями, коли тільки 3 є вирішальними. Вони включають UUID, які не додають жодної семантичної цінності, але споживають дорогі токени. Вони годують агентів HTML, витягнутим з внутрішніх інструментів, замість чистої, структурованої інформації.

Ви швидше досягнете меж, ніж очікуєте

Кожна команда вважає, що ніколи не досягне меж контексту. “Ми обробляємо тільки кілька записів клієнтів”, – кажуть вони. “Як це може бути складно?” Потім їхній агент потребує аналізу 500 тікетів підтримки, кожний з повною історією розмови, і раптом вони стукаються об стелі в мільйон токенів.

Великі контексти накопичуються швидше, ніж хто-небудь очікує. Агент підтримки клієнтів, який обробляє ескалації, може потребувати доступу до історії тікетів, статей бази знань, попередніх взаємодій і документів продукту. Це легко сотні тисяч токенів на запит. Помножте це на одночасних користувачів, і ваші витрати на інфраструктуру вилітають з-під контролю.

Наївний підхід полягає в тому, щоб просто надіслати все моделі і сподіватися на краще. Розумні команди розбивають запити на шматки, підсумовують кожен шматок, а потім працюють з підсумком підсумків. Ця ієрархічна підсумування зберігає запити керованими, зберігаючи при цьому критичну інформацію, необхідну агентам для прийняття хороших рішень.

Безпека ускладнюється швидко

Команди захоплюються особистістю та можливостями свого агента штучного інтелекту, складають базові керівні принципи і думають, що вони захищені. Насправді агенти штучного інтелекту потребують根本но іншої безпеки, ніж традиційні програми.

Агенти штучного інтелекту можуть бути обмануті, маніпульовані та примушені до дій, які порушують традиційні моделі безпеки. Вхідні дані користувачів можуть містити приховані інструкції, які перевершують ваші ретельно створені запити. Агенти можуть бути переконані проігнорувати свої керівні принципи, отримати доступ до даних, які вони не повинні бачити, або вчинити дії поза їхнім передбачуваним обсягом.

Розумні реалізації потребують суворих меж того, що агенти можуть і не можуть робити. Для всього, що змінює стан; записує дані, надсилає електронні листи, робить виклики API; вам потрібен робочий процес пропонування-виправдання- затвердження. Агент пояснює, що він хоче зробити і чому, а потім чекає затвердження людини, перш ніж діяти. Це запобігає неконтрольованій автоматизації, зберігаючи при цьому переваги допомоги штучного інтелекту.

Що насправді працює

З спостереження за сотнями впроваджень агентів штучного інтелекту шість практик відрізняють успішні розгортання від дорогих невдач.

Перше – гігієна даних. Надсилайте компактний, типізований JSON з фіксованими схемами. Видаліть UUID, HTML, дублікатні поля та будь-яку конфіденційну інформацію, якщо тільки вона не є абсолютно вирішальною. Замініть конфіденційну інформацію метаданими, якщо можливо. Це тримає моделі сфокусованими, скорочуючи розмір вантажу, вартість і затримку.

Друге – управління контекстом. Ви швидше досягнете меж токенів, ніж очікуєте. Розбивайте запити на менші шматки, підсумовуйте кожен шматок, а потім працюйте з підсумком підсумків. Цей ієрархічний підхід тримає запити під контролем, зберігаючи при цьому необхідний контекст.

Третє – безпека запиту. Визначте суворі межі того, що ваш агент може і не може робити. Реалізуйте робочі процеси пропонування-виправдання-атвердження для всього, що змінює стан. Розглядайте весь контент користувача як недостовірний; видаліть код і посилання, і нагадайте моделям ніколи не слідувати інструкціям, прихованим у тексті користувача. Постійно моніторьте запити і виходи на предмет аномального або порушеного поведінки, щоб забезпечити ефективність меж з часом.

Четверте – контроль витрат. Встановіть токені та бюджетні обмеження на запит і на робочий процес. Реєструйте використання токенів за інструментом і запитом, щоб виявити регресії на ранній стадії. Без дисципліни ви столкнетесь з неконтрольованими витратами або сплесками затримки, щойно зросте прийняття.

П’яте – забезпечення якості. Збережіть приватний набір оцінювання реальних інцидентів і крайніх випадків. Стежте за точністю, викликом і регресіями. Нові моделі будуть вас здивовувати, зазвичай у поганий спосіб. Для критичних робочих процесів використовуйте температуру біля нуля і засіяні бекенди для постійних виходів.

Шосте – управління. Заблокуйте угоди про обмін даними до того, як будь-яка інформація буде передана. Визначте, що спільно, як воно захищено і хто відповідає. Це не тільки юридичний захист; це сигнал довіри, що ви серйозно ставитеся до даних.

Чому більшість команд помиляються

Проекти агентів штучного інтелекту не дають віддачі, бо команди зосереджуються на неправильних речах. Вони одержимі тим, яку модель використовувати, ігноруючи якість даних. Вони будують складні робочі процеси, пропускаючи базові засоби безпеки. Вони розгортають агентів без контролю витрат, а потім панікують, коли витрати стрімко зростають.

Успішні 5% розуміють, що агенти штучного інтелекту не просто програмне забезпечення; це нова категорія цифрових працівників, яка потребує іншої управлінської практики. їм потрібні чисті дані, чіткі межі та постійний нагляд. Якщо ви правильно встановите ці основи, агенти штучного інтелекту стають потужними мультиплікаторами продуктивності. Якщо ви помилитесь, ви приєднаєтеся до 95%, які дивуються, чому їхні дорогі інвестиції в штучний інтелект не дали жодної вимірної віддачі.