Лідери думок

Управління штучним інтелектом поза межами моделі

Zuzana Drotárová
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиПрогалини у підзвітності, а не недоліки моделей, спричиняють більшість невдач…
Показати більше
  • Прогалини у підзвітності, а не недоліки моделей, спричиняють більшість невдач корпоративного ШІ.
  • Air Canada визнали відповідальною за неправильну консультацію щодо тарифів на похорон, надану її чат-ботом.
  • Агентний ШІ посилить існуючі прогалини в управлінні, оскільки автономні дії збільшують ризики.

Попередження: Проблема не в моделі

У 2023 році місто Нью-Йорк запустило чат-бот MyCity, щоб допомогти підприємствам орієнтуватися в складних правилах. Ідея була простою: зробити юридичну інформацію легше доступною.

На практиці система давала відповіді, які були не тільки неправильними, але й юридично вводили в оману – від правил щодо чайових до дискримінації в житлі та правил оплати.

Пізніше аудит показав, що 71,4% відгуків користувачів були негативними. Замість того, щоб виправити основні проблеми, реакцією було додати відмови від відповідальності. Чат-бот навіть залишався у “бета-версії” понад два роки, перш ніж його було закрито.

Недолік не був технічним. Система зламалася під час промислової експлуатації, оскільки не було механізму, щоб забезпечити точність, не було ясної відповідальності та не було можливості втрутитися, коли щось пішло не так.

Це той самий шаблон, який лежить в основі корпоративного використання штучного інтелекту сьогодні: технологія працює, але організації не підготовлені до його надійної експлуатації після запуску.

Від пілотного проекту до промислової експлуатації: Де все руйнується

Створення пілотного проекту досить просте – вибрати випадок використання, вибрати модель, підготувати дані, знайти спонсора. Робота системи у промисловій експлуатації – це зовсім інша ліга.

Розрив між ними такий же, як різниця між стрибком у басейн і стрибком зі стратосфери, як це зробив Фелікс Баумгартнер у 2012 році. Ті самі базові фізичні закони, зовсім різні умови – і зовсім різні наслідки у разі невдачі.

У промисловій експлуатації штучний інтелект вступає у реальні потоки прийняття рішень, взаємодіє з клієнтами та створює юридичні та оперативні наслідки. Там починають з’являтися прогалини – не у моделі, а у тому, як вона керується.

Європа робить це видимим раніше, ніж більшість регіонів. Нормативні акти, такі як закон ЄС про штучний інтелект, GDPR та NIS2, не сповільнюють впровадження – вони показують, чи можуть організації експлуатувати системи штучного інтелекту під реальними обмеженнями.

У 2025 році 55% великих підприємств ЄС вже використовували штучний інтелект. Впровадження вже відбувається у великому масштабі. Проблема полягає в тому, що відбувається після розгортання.

На цьому етапі починають з’являтися базові оперативні питання. І часто ніхто не може відповісти на них: Хто відповідає за вивід штучного інтелекту та автономні рішення? Що відбувається, коли система поводиться несподіваним чином? І хто помітить проблему, перш ніж її наслідки потраплять до ЗМІ?

Відповідальність лежить на компанії, а не на технології. Чат-бот авіакомпанії Air Canada (AC.TO ) дав клієнтові неправильну інформацію про спеціальні авіатарифи у зв’язку зі смертю близького родича. Клієнт довіряв цій інформації та пізніше йому відмовили в поверненні коштів. Трибунал постановив, що авіакомпанія була відповідальною – чат-бот не був окремою сутністю.

Та ж сама проблема, інший кут: система McHire компанії McDonald’s розкрила конфіденційні дані майже 64 тисяч претендентів. Причина не була складним нападом – адміністративний логін використовував “admin” і “123456”. Система виглядала сучасною. Недолік був елементарним.

Коли ви прикріплюєте управління до живої системи, це вже запізно. Розгортання системи – це технічне рішення. Надійна робота системи – це організаційне рішення. І це та частина, яку більшість компаній недооцінюють.

Хто насправді володіє ризиком штучного інтелекту? Ніхто.

Це є ядром проблеми, і парадоксально, найменш обговорюваної. Відділ інформаційних технологій керує інфраструктурою. Юридичний відділ займається дотриманням законодавства. Бізнес-команди просувають випадки використання. Але ніхто не володіє ризиком штучного інтелекту від початку до кінця.

Це створює дві негайні проблеми. Рішення про запуск сповільнюється – тому що ніхто не хоче брати на себе відповідальність. І рішення про зупинку сповільнюється так само – тому що ніхто не знає, хто може.

Дані свідчать про це. Менше 10% випадків використання штучного інтелекту доходять від пілотного проекту до промислової експлуатації, і більшість організацій борються з генерацією вимірюваних бізнес-результатів. Водночас багато вже розгортають штучний інтелект – але згідно з звітом про зрілість управління, тільки 7% мали добре структуроване та послідовно застосовуване управління.

Чому це відбувається так послідовно? Тому що більшість рамок і корпоративних політик визначають, що повинно відбуватися – не хто відповідає, коли це має значення. Коли система починає давати неправильні виводи опівночі в п’ятницю, питання не є теоретичним. Хто діє? І хто має повноваження вирішувати?

Це тільки погіршується з масштабом. Однією системою можна керувати неформально. Коли у вас тридцять систем, відповідальність фрагментується по командам, і ніхто не має повного бачення.

Банк Commonwealth Bank of Australia (CBA.AX ) дає чіткий приклад. Банк замінив 45 працівників служби клієнтів на голосові боти штучного інтелекту, сподіваючись, що попит зменшиться. Але він не зменшився. Об’єми дзвінків збільшувалися, менеджери втрутилися для обробки надлишків, і банку довелося знову найняти всіх 45 працівників. Коли його запитали, він не міг продемонструвати, що автоматизація скоротила навантаження.

Ніхто не перевірив припущення до розгортання. Ніхто не володів результатом, коли ці припущення зазнали невдачі. Це той самий вакуум відповідальності, який з’являється на практиці.

Мати правила недостатньо. Вам потрібен механізм

Більшості організацій не бракує політик. У них немає систем, які працюють, коли щось пішло не так.

Політика визначає, що повинно відбуватися. Механізм визначає, що насправді відбувається – коли модель дає неправильні виводи, коли постачальник змінює щось на задньому плані, або коли система починає поводитися несподіваним чином.

Ця різниця стає видимою у промисловій експлуатації – коли рішення повинні прийматися під реальними умовами.

Ці невдачі слідують послідовній динаміці. У кожному випадку з’являються ті ж самі оперативні прогалини – тільки у різних формах.

Володіння відбувається першим

Кожна розгорнута система штучного інтелекту потребує чітко визначеного відповідального власника – однієї особи, а не команди чи відділу, з повноваженням схвалити, призупинити та зупинити її.

Без цього неможливі ні швидке розгортання, ні безпечне втручання. Як видно з прикладу банку Commonwealth, відсутність ясного володіння приводить безпосередньо до оперативної невдачі.

Дані та юридична ясність часто відсутні

Багато систем запускаються без задокументованих потоків даних, перевіреної юридичної основи чи ясності щодо того, які зобов’язання застосовуються, коли система вже у промисловій експлуатації.

Дія італійського регулятора проти DeepSeek у 2025 році ілюструє це чітко. Проблема не полягала у якості моделі – а у нездатності пояснити, як обробляються персональні дані. Результатом стала раптова перерва у роботі служби для європейських користувачів.

Тестування рідко відображає реальне використання

Системи часто оцінюються за сценаріями, у яких вони працюють добре, але не за випадками, коли невдача мала б найбільше значення.

Чат-бот MyCity є чітким прикладом. Базові граничні випадки – навколо трудового законодавства, дискримінації в житлі чи правил оплати – не були виявлені до розгортання. Як тільки система була відкрита для реальних користувачів, ці невдачі стали публічними одразу.

Тестування не тільки про продуктивність – воно про виявлення випадків, коли система зазнає невдачі, до того, як це зроблять користувачі, регулятори чи журналісти.

Інтервенція неясна чи занадто повільна

Навіть коли проблеми видно, часто немає ясного сигналу чи повноважень, щоб призупинити чи зупинити систему.

Zillow Offers демонструє це у великому масштабі. Система використовувала алгоритм для визначення ціни та покупки будинків. Коли ринок охолов у 2021 році, система продовжувала купувати за завищеними цінами. Не було механізму для виявлення зсуву вчасно, і не було ясного рішення про зупинку. Результатом стали збитки понад 880 мільйонів доларів та закриття всього підрозділу.

Моніторинг не є володінням

Моніторинг часто зводиться до панелей керування, але це не те, що запобігає невдачам.

Що має значення, це визначена відповідальність: хто відстежує сигнали, що викликає ескалацію, і хто має діяти.

Deloitte Australia показує, що відбувається, коли цього немає. Урядовий звіт містив вигадані посилання на джерела та неправильні юридичні посилання, оскільки ніхто не був явно відповідальним за перевірку результатів перед передаванням замовнику. Результатом стало часткове повернення коштів та ушкодження репутації.

Агентний штучний інтелект: Що прийде, буде ще складніше

Генеративний штучний інтелект виробляє виводи. Агентний штучний інтелект виконує дії. Це змінює ризик повністю.

Замість однієї відповіді для оцінки одна інструкція може викликати ланцюжок рішень по системах – виклики API, доступ до даних, транзакції, оновлення – часто без людської інтервенції на кожному етапі.

Коли щось пішло не так, проблема вже не в точності. Йдеться про відстежуваність. Який крок викликав проблему? Які дані були використані? Хто авторизував дію? У багатьох випадках на ці питання важко відповісти постфактум.

Це той випадок, коли існуючі прогалини стають критичними. Неясне володіння, слабкий моніторинг та відсутність інтервенції не тільки тривають – вони посилюються. Неправильну відповідь можна виправити. Неправильна дія може створити наслідки, перш ніж хто-небудь помітить.

Ранні сигнали вже вказують у цьому напрямку. Gartner оцінює, що понад 40% проєктів агентного штучного інтелекту будуть скасовані до 2027 року – не через обмеження моделі, а тому що організації борються з контролем над витратами, ризиком та результатами. Це той самий шаблон, який ми бачимо з генеративним штучним інтелектом після розгортання. Тільки з вищими ставками.

Регулятори вже реагують простим принципом: автоматизація не усуває відповідальність. Для організацій це створює ясний висновок: якщо володіння та контроль неясні сьогодні, розгортання в агентні системи не розв’яже проблему. Воно її посилить.

Експлуатуйте належно — або втратите

Штучний інтелект вже не є обмеженням. Моделі широко доступні, здатні та все більше комодифікуються. Реальна відмінність полягає не в тому, чи може організація створити штучний інтелект – а в тому, чи може вона його надійно експлуатувати, коли він уже запущений.

Це той випадок, коли більшість невдач відбувається – у тому, як системи працюють, а не у тому, як вони будуються. Організації, які успішно працюють, не будуть тими, у яких є найбільш просунуті моделі. Вони будуть тими, у яких є найясніші оперативні структури навколо них.

Це можна перевірити безпосередньо. Візьміть свою найважливішу систему штучного інтелекту та дайте відповіді на три питання:

  • Хто може її зупинити?
  • Як ви знаєте, коли вона зазнає невдачі?
  • Що відбувається, коли вона зазнає невдачі?

Якщо ці відповіді неясні, система не готова до промислової експлуатації.

Модель може бути. Організація – ні.

Зузана Дротарова керує бізнес-аналізом в Avenga, керуючи близько 100 аналітиками у корпоративних програмах в Чехії та Словаччині. Вона зосереджується на операційних структурах і структурах ухвалення рішень, які визначають, чи працюють корпоративні ініціативи, включаючи штучний інтелект, в реальному робочому середовищі.