Чому підприємчі штучний інтелект ламається після розгортання – і що з цим робити

Попередження: Проблема не в моделі

У 2023 році місто Нью-Йорк запустило чат-бот MyCity, щоб допомогти підприємствам орієнтуватися в складних правилах. Ідея була простою: зробити юридичну інформацію легше доступною.

На практиці система давала відповіді, які були не тільки неправильними, але й юридично вводили в оману – від правил чаювання до дискримінації в житлі та правил оплати.

Пізніше аудит показав, що 71,4% відгуків користувачів були негативними. Замість того, щоб виправити основні проблеми, реакцією було додати застереження. Чат-бот навіть залишався у “бета-версії” понад два роки, перш ніж його було закрито.

Недолік не був технічним. Система зламалася в процесі виробництва, оскільки не було механізму, щоб забезпечити точність, не було ясної відповідальності та не було можливості втрутитися, коли щось пішло не так.

Це той самий шаблон, який лежить в основі підприємства штучного інтелекту сьогодні: технологія працює, але організації не створені для того, щоб працювати надійно, коли вона вже запущена.

Від пілотного проекту до виробництва: Де все руйнується

Створення пілотного проекту досить просте – вибрати випадок використання, вибрати модель, підготувати дані, знайти спонсора. Запуск системи у виробництві – це зовсім інша ліга.

Пропуск між ними такий же, як різниця між стрибком у басейн і стрибком з стратосфери, як це зробив Фелікс Баумгартнер у 2012 році. Те ж саме базове фізичне явище, зовсім різні умови – і зовсім різні наслідки у разі невдачі.

У виробництві штучний інтелект вступає у реальні потоки прийняття рішень, взаємодіє з клієнтами та створює юридичні та оперативні наслідки. Там починають з’являтися прогалини – не у моделі, а у тому, як вона керується.

Європа робить це видимим раніше, ніж більшість регіонів. Регулятори, такі як закон ЄС про штучний інтелект, GDPR та NIS2, не сповільнюють впровадження – вони показують, чи можуть організації працювати над системами штучного інтелекту під реальними обмеженнями.

У 2025 році 55% великих підприємств ЄС вже використовували штучний інтелект. Впровадження вже відбувається у великому масштабі. Проблема полягає в тому, що відбувається після розгортання.

На цьому етапі починають з’являтися базові оперативні питання. І часто ніхто не може відповісти на них: Хто відповідає за вивід штучного інтелекту та автономні рішення? Що відбувається, коли система поводиться несподіваним чином? І хто зупинить її, перш ніж шкода дійде до ЗМІ?

Відповідальність лежить на компанії, а не на технології. Чат-бот авіакомпанії Air Canada дав клієнтові неправильну інформацію про тарифи на жалобу. Клієнт довіряв цій інформації та пізніше був відмовлений у поверненні коштів. Трибунал постановив, що авіакомпанія була відповідальною – чат-бот не був окремою сутністю.

Та ж сама проблема, інший кут: система McHire компанії McDonald’s виявила конфіденційну інформацію майже 64 тисячам заявників. Причина не була складним нападом – адміністративний логін використовував “admin” і “123456”. Система виглядала сучасною. Недолік був елементарним.

Коли ви прикріплюєте управління до живої системи, це вже запізно. Розгортання системи – це технічне рішення. Надійна робота системи – це організаційне рішення. І це та частина, яку більшість компаній недооцінюють.

Хто насправді володіє ризиком штучного інтелекту? Ніхто.

Це є ядром проблеми, і парадоксально, найменш обговорюваної. Відділ інформаційних технологій керує інфраструктурою. Юридичний відділ займається дотриманням законодавства. Бізнес-команди просувають випадки використання. Але ніхто не володіє ризиком штучного інтелекту з кінця в кінець.

Це створює дві негайні проблеми. Рішення про запуск сповільнюється – тому що ніхто не хоче брати на себе відповідальність. І рішення про зупинку сповільнюється так само – тому що ніхто не знає, хто може.

Дані свідчать про це. Менше 10% випадків використання штучного інтелекту доходять від пілотного проекту до виробництва, і більшість організацій борються з генерацією вимірюваних бізнес-результатів. Водночас багато вже розгортають штучний інтелект – але згідно з звітом про зрілість управління, тільки 7% мали добре структуроване та послідовно застосовуване управління.

Чому це відбувається так послідовно? Тому що більшість рамок і корпоративних політик визначають, що повинно відбуватися – не хто відповідає, коли це має значення. Коли система починає давати неправильні виводи о 24:00 у п’ятницю, питання не є теоретичним. Хто діє? І хто має повноваження вирішувати?

Це тільки погіршується з масштабом. Одну систему можна керувати неформально. Коли у вас тридцять систем, відповідальність фрагментується по командам, і ніхто не має повного бачення.

Банк Commonwealth Bank of Australia дає чіткий приклад. Банк замінив 45 працівників служби клієнтів на голосові боти штучного інтелекту, сподіваючись, що попит зменшиться. Але він не зменшився. Об’єми дзвінків збільшувалися, менеджери втручаються для обробки надлишків, і банку довелося знову найняти всіх 45 працівників. Коли його запитали, він не міг продемонструвати, що автоматизація скоротила навантаження.

Ніхто не перевірив припущення до розгортання. Ніхто не володів результатом, коли ці припущення зазнали невдачі. Це той самий вакуум відповідальності, який з’являється на практиці.

Мати правила недостатньо. Вам потрібен механізм

Більшість організацій не мають недостатньо політики. У них немає систем, які працюють, коли щось пішло не так.

Політика визначає, що повинно відбуватися. Механізм визначає, що насправді відбувається – коли модель дає неправильні виводи, коли постачальник змінює щось на задньому плані, або коли система починає поводитися несподіваним чином.

Ця різниця стає видимою у виробництві – коли рішення повинні прийматися під реальними умовами.

Ці невдачі слідують послідовній динаміці. У кожному випадку з’являються ті ж самі оперативні прогалини – тільки у різних формах.

Володіння відбувається першим

Кожна розгорнута система штучного інтелекту потребує ясного відповідальному власника – однієї особи, а не команди чи відділу, з повноваженням схвалити, призупинити та зупинити її.

Без цього ні швидкого розгортання, ні безпечної інтервенції неможливі. Як видно з прикладу банку Commonwealth, відсутність ясного володіння приводить безпосередньо до оперативної невдачі.

Дані та юридична ясність часто відсутні

Багато систем запускаються без задокументованих потоків даних, перевіреної юридичної основи чи ясності щодо того, які зобов’язання застосовуються, коли система вже у виробництві.

Дія італійського регулятора проти DeepSeek у 2025 році ілюструє це чітко. Проблема не полягала у якості моделі – а у нездатності пояснити, як обробляються персональні дані. Результатом стала раптова перерва у роботі служби для європейських користувачів.

Тестування рідко відображає реальне використання

Системи часто оцінюються за сценаріями, у яких вони працюють добре, але не за випадками, коли невдача мала б найбільше значення.

Чат-бот MyCity є чітким прикладом. Базові країні випадки – навколо трудового законодавства, дискримінації в житлі чи правил оплати – не були виявлені до розгортання. Як тільки система була відкрита для реальних користувачів, ці невдачі стали публічними одразу.

Тестування не тільки про продуктивність – воно про виявлення випадків, коли система зазнає невдачі, до того, як це зроблять користувачі, регулятори чи журналісти.

Інтервенція неясна чи занадто повільна

Даже коли проблеми видно, часто немає ясного сигналу чи повноважень, щоб призупинити чи зупинити систему.

Zillow Offers демонструє це у великому масштабі. Система використовувала алгоритм для визначення ціни та покупки будинків. Коли ринок охолов у 2021 році, система продовжувала купувати за завищеними цінами. Не було механізму для виявлення зсуву вчасно, і не було ясного рішення про зупинку. Результатом стали збитки понад 880 мільйонів доларів та закриття всього підрозділу.

Моніторинг не є володінням

Моніторинг часто зводиться до панелей керування, але це не те, що запобігає невдачам.

Що має значення, це визначена відповідальність: хто відстежує сигнали, що викликає ескалацію, і хто очікується діяти.

Deloitte Australia показує, що відбувається, коли цього немає. Урядовий звіт містив вигадані цитати та неправильні юридичні посилання, оскільки ніхто не був явно відповідальним за перевірку виводів перед доставкою. Результатом стала часткова повернення коштів та ушкодження репутації.

Агентний штучний інтелект: Що прийде, буде ще складніше

Генеративний штучний інтелект виробляє виводи. Агентний штучний інтелект приймає дії. Це змінює ризик повністю.

Замість однієї відповіді для оцінки одна інструкція може викликати ланцюжок рішень по системах – виклики API, доступ до даних, транзакції, оновлення – часто без людської інтервенції на кожному етапі.

Коли щось пішло не так, проблема вже не в точності. Це слідування. Який крок викликав проблему? Які дані були використані? Хто авторизував дію? У багатьох випадках ці питання важко відповісти після факту.

Це той випадок, коли існуючі прогалини стають критичними. Неясне володіння, слабкий моніторинг та відсутність інтервенції не тільки тривають – вони посилюються. Неправильна відповідь можна виправити. Неправильна дія може створити наслідки, перш ніж хто-небудь помітить.

Ранні сигнали вже вказують у цьому напрямку. Gartner оцінює, що понад 40% проєктів агентного штучного інтелекту будуть скасовані до кінця 2027 року – не через обмеження моделі, а тому що організації борються з контролем над витратами, ризиком та результатами. Це той самий шаблон, який ми бачимо з генеративним штучним інтелектом після розгортання. Только з більшим ставком.

Регулятори вже реагують простим принципом: автоматизація не усуває відповідальність. Для організацій це створює ясний висновок: якщо володіння та контроль неясні сьогодні, розгортання в агентні системи не розв’яже проблему. Воно її посилить.

Операція – або програш

Штучний інтелект вже не є обмеженням. Моделі широко доступні, здатні та все більше комодифікуються. Реальна відмінність полягає не в тому, чи може організація створити штучний інтелект – а в тому, чи може вона його надійно експлуатувати, коли він уже запущений.

Це той випадок, коли більшість невдач відбувається – у тому, як системи працюють, а не у тому, як вони будуються. Організації, які успішно працюють, не будуть тими, у яких є найбільш просунуті моделі. Вони будуть тими, у яких є найясніші оперативні структури навколо них.

Це можна перевірити безпосередньо. Візьміть свою найважливішу систему штучного інтелекту та відповісті на три питання:

• Хто може її зупинити?
• Як ви знаєте, коли вона зазнає невдачі?
• Що відбувається, коли вона зазнає невдачі?

Якщо ці відповіді неясні, система не готова до виробництва.

Модель може бути. Організація – ні.