Інциденти штучного інтелекту стають операційними кризами. Нас потрібно до них ставитися відповідально.

За останні кілька років більшість організацій говорили про ризики штучного інтелекту мовою управління.

Чи точна модель? Чи справедлива? Чи затверджені дані? Чи дотримуємося ми нових регуляцій? Це важливі питання, але вони не єдині. Найбільш нагальні питання – це те, що відбувається, коли щось пішло не так?

Що відбувається, коли агент штучного інтелекту виконує дію, яку він ніколи не мав намір виконувати? Що відбувається, коли модель витікає конфіденційну інформацію? Що відбувається, коли галюцинація створює юридичну відповідальність, або автоматичне рішення впливає на клієнта, співробітника, пацієнта чи партнера таким чином, що його не можна легко скасувати?

І, можливо, найбільш практично: куди організація має йти, щоб координувати відповідь? Це зміна, яка зараз відбувається. Ризик штучного інтелекту стає питання оперативної стійкості, а не лише питання управління.

Штучний інтелект переходить від експериментів у робочий механізм підприємства. Його впроваджують у підтримку клієнтів, розробку програмного забезпечення, фінансові операції, медичні робочі процеси, прийняття на роботу, обробку заяв, ланцюги постачання та внутрішню автоматизацію. Коли штучний інтелект стає більш пов’язаним з бізнесом, невдачі штучного інтелекту стають бізнес-інцидентами.

Монітор інцидентів штучного інтелекту OECD відслідковував 596 інцидентів штучного інтелекту лише у січні 2026 року, зростання на 200% у порівнянні з попереднім роком. Зусилля, такі як Монітор інцидентів штучного інтелекту OECD та База даних інцидентів штучного інтелекту, документують негативні або шкідливі наслідки, пов’язані зі штучним інтелектом, щоб галузь могла вивчити досвід у тому ж спосіб, як авіація та кібербезпека робили це протягом років.

Це порівняння важливе. Зрілі галузі запитують, як запобігти невдачам, а також як реагувати, коли невдачі стаються.

Інциденти штучного інтелекту не поводяться як традиційні помилки програмного забезпечення

Традиційна помилка програмного забезпечення зазвичай має відносно чіткі межі. Щось ламається, інженери розслідують, і команда відтворює проблему, виправляє код і відправляє виправлення.

Однак інциденти штучного інтелекту складніші. Вони можуть бути ймовірнісними, періодичними та виникати з взаємодії між моделлю, запитом, системою відновлення, плагіном, агентом, користувачем та бізнес-процесом. Іноді система штучного інтелекту працює саме так, як вона була спроектована, але дизайн є незавершеним для середовища, в якому він використовується. Це робить відповідь більш складною.

Галюцинація в споживчому чат-боті – це один тип проблеми. Галюцинація всередині юридичної, фінансової, клінічної або кадрової робочої процеси – це інша. Упереджена вивідка під час тестування серйозна. Упереджений процес прийняття рішень, який працює у виробництві в масштабі, – це зовсім інше. Помічник штучного інтелекту, який складає електронний лист, – це одна річ, але агент, який може змінити дозволи, видати повернення коштів, оновити записи, запустити робочі процеси або виконати код, – це зовсім інша категорія ризику.

Репозиторій ризиків штучного інтелекту MIT захоплює широкий спектр ризиків штучного інтелекту, включаючи хибну або вводючу в оману інформацію, порушення конфіденційності та безпеки, дискримінацію, зловживання та питання безпеки системи. OWASP’s Top 10 для застосунків великих мовних моделей подібним чином підкреслює ризики, такі як ін’єкція запиту, розголошення конфіденційної інформації, небезпечне оброблення вивідки та надмірна агентність. Це практичні режими невдач, а не абстрактні технічні проблеми.

Якщо агент штучного інтелекту має надто велику владу, він може виконувати дії, яких жодна людина не мала намір виконувати. Якщо ін’єкція запиту вдається, система може розголошувати інформацію або виконувати ворожі інструкції. Якщо конфіденційна інформація витікає через модель або систему відновлення, відповідь має юридичні, регуляторні, клієнтські та репутаційні наслідки. Це чому мова управління штучним інтелектом іноді може стати надто пасивною. Управління говорить нам, що повинно бути правдою. Відповідь на інциденти говорить нам, що робити, коли реальність рухається швидше, ніж політика.

Відповідь буде міжфункціональною

Одним із найбільших уроків кібербезпеки є те, що інциденти рідко залишаються всередині команди безпеки. На початку подія може виглядати технічною. Дуже швидко вона涉гає юридичні, комунікаційні, керівні, організаційні, клієнтські команди, зовнішніх радників, страхових спеціалістів та іноді керівництво.

Інциденти штучного інтелекту будуть слідувати тому ж самому шаблону.

Представіть собі модель, яка розкриває конфіденційну інформацію клієнта. Команди безпеки та конфіденційності повинні зрозуміти, що відбулося. Юридична команда повинна оцінити зобов’язання. Комунікаційна команда може потребувати підготовки для клієнтів, регуляторів або ЗМІ. Інженерна команда може потребувати деактивації або скасування системи. Керівники можуть потребувати зважування безперервності проти утримання.

Або уявіть собі агент штучного інтелекту, який починає виконувати ненавмисні дії в підприємствах. Технічна команда може зупинити його, але організація все одно потребує знати, що він зробив, хто був зачіплений, які рішення були прийняті, чи були викликані зобов’язання, і як таку саму невдачу можна попередити в майбутньому. Це не можна вирішити лише командою штучного інтелекту.

Організації повинні будувати міжфункціональну пам’ять до того, як їм це буде потрібно. Це означає чіткі спускові механізми, чіткі ролі, чіткі права на прийняття рішень, чіткі комунікаційні шляхи, чітку документацію та практику.

У кризі координація – це інфраструктура, а не лише м’який навик.

Штучний інтелект, який розслідується, не повинен контролювати відповідь

Є ще одна проблема, про яку організації повинні подумати набагато більше. Якщо система штучного інтелекту, яка розслідується, може отримувати доступ до тих самих комунікацій, документів, робочих процесів або автоматизації, які використовуються для координації відповіді, організація має проблему.

У кібербезпеці це знайомий принцип. Якщо програмне забезпечення для викупу захопило корпоративну мережу, ви не координуєте відповідь на системах, які атакувальник може прочитати, порушити або маніпулювати. Ви рухаєтеся за межі мережі. Ви відокремлюєте інцидент від відповіді.

Той самий логіка застосовується до штучного інтелекту.

Система штучного інтелекту може не бути зловісною у людському сенсі, але якщо вона може бачити план відповіді, резюмувати зустріч відповіді, впливати на робочий процес, рекомендувати наступний крок або діяти всередині того самого середовища, яке використовується для утримання її, то організація не ізолювала відповідь.

Це стає ще важливішим для агентного штучного інтелекту. Безпековий каркас штучного інтелекту Google підкреслює ризики, такі як ін’єкція запиту, отруєння даних та зловісні дії, і відображає їх у контролі протягом всього життєвого циклу штучного інтелекту. Це правильна основа. Коли системи штучного інтелекту стають більш здатними діяти через інструменти, дані та робочі процеси, організації повинні думати про безпеку моделі та про оперативну роздільність.

Подіумайте про це, як про розслідування пожежі. Ви не хотіли б, щоб системи пожежогасіння були пов’язані з тією ж самою несправною системою, яку ви намагаєтеся діагностувати.

Підготовка, практика, відповідь, звіт

Корисна основа для готовності до інцидентів штучного інтелекту – це та ж сама, яка зріла у кібербезпеці: підготовка, практика, відповідь, звіт.

Підготовка означає визначення типів інцидентів до того, як вони трапляться, наприклад, упередження, галюцинація, витік даних, дрейф моделі, ін’єкція запиту, агентна втеча, необмежене використання інструментів та невдача моделі третього рівня. Кожен з них вимагає різних зацікавлених сторін та різних рішень.

Хороший план гри не повинен бути 200-сторінковим документом, який лежить у папці. Ніхто не відкриває сторінку 137 під час кризи. Хороший план гри – це рольовий, доступний та дієвий. Юридична команда знає, що їй потрібно зробити. Інженерна команда знає, що їй потрібно зробити. Комунікаційна команда знає, коли потрібно залучитися. Керівництво знає, коли менеджмент буде ескалувати.

Практика означає проведення навчальних заходів. Не один раз на рік як галочка, а досить часто, щоб будувати м’язову пам’ять. Перший раз, коли керівництво обговорює інцидент штучного інтелекту, не повинен бути під час реального інциденту штучного інтелекту. Перший раз, коли юридична, інженерна, конфіденційна, безпечна та комунікаційна команди працюють над невдачею штучного інтелекту разом, не повинен бути тоді, коли клієнти вже запитують питання.

Відповідь означає координацію живої події з дисципліною. Хто в кімнаті? Які факти відомі? Які факти ще невідомі? Які рішення були прийняті? Хто їх схвалив? Що змінилося між 12-ю та 48-ю годиною?

Звіт означає визнання того, що регуляція штучного інтелекту стає більш конкретною. Акт ЄС про штучний інтелект включає серйозні зобов’язання щодо звітності про інциденти для постачальників певних високоризикових систем штучного інтелекту. Деталі будуть варіюватися залежно від юрисдикції, галузі та випадку використання, але напрямок зрозумілий. Інциденти штучного інтелекту все частіше будуть вимагати обґрунтованого запису того, що відбулося, чого було відомо, які дії були вироблені та коли.

Штучний інтелект може допомогти, але не може замінити судження

Є спокуса думати, що відповідь на інциденти штучного інтелекту повинна бути повністю автоматизованою. Я вважаю, що це неправильна основа.

Штучний інтелект може допомогти дуже багато. Він може підсумувати факти. Він може визначити відсутню інформацію. Він може порівняти інцидент з попередніми моделями. Він може складати післяінцидентні звіти. Він може допомогти відображати регуляторні зобов’язання. Він може зменшувати адміністративне навантаження, коли люди під тиском.

Але у серйозному інциденті люди залишаються незамінними.

Хтось повинен вирішити, чи достатні факти. Хтось повинен зважувати вплив на клієнтів. Хтось повинен вирішити, чи зупинити систему. Хтось повинен визначити, чи організація перетнула поріг звітності. Хтось повинен спілкуватися з відповідальністю та емпаті.

Правильна роль штучного інтелекту у відповіді на інциденти – це не заміна кризової команди. Це надання кризовій команді кращого контексту, швидше.

Каркас управління ризиками штучного інтелекту NIST є корисним, оскільки він будує управління ризиками штучного інтелекту навколо чотирьох функцій: управління, карти, вимірювання та управління. Для відповіді на інциденти я б додав одну практичну розширення: репетиція.

План, який ніколи не був протестований, не є планом. Це теорія.

Керівництво потребує плану гри, теж

Ризик штучного інтелекту стає темою рівня керівництва, але участь керівництва не повинна зупинятися на слайдах нагляду. Керівництво повинно зрозуміти свою роль до того, як криза трапиться.

Коли керівництво буде повідомлено? Які рішення потребують участі керівництва? Яка інформація буде надана керівництву? Як будуть оцінюватися матеріальність, вплив на клієнтів, юридична відповідальність, регуляторні зобов’язання та оперативне порушення?

Багато організацій мають плани гри безпеки, плани гри конфіденційності, плани гри комунікацій, плани гри юридичної команди. Набагато менше мають план гри керівництва для інцидентів штучного інтелекту. Ця прогалина стане більш видимою, оскільки системи штучного інтелекту рухаються у регульовані, прибуткові та клієнтські робочі процеси. Роль керівництва – допомагати організації приймати кращі рішення під тиском, а не ставати більш технічними.

Надійний штучний інтелект вимагає оперативної стійкості

Є багато розмов про надійний штучний інтелект. Це правильна аспірація, але довіра не створюється лише принципами. Довіра створюється, коли організації можуть показати, як вони підготовлені, як вони виявляють проблеми, як вони реагують, як вони спілкуються, як вони документують рішення та як вони покращують.

Кібербезпека пройшла через ту ж саму еволюцію. Організації витратили роки на інвестиції у запобігання, і вони повинні продовжувати це робити. Але зрілі організації в кінцевому підсумку дізналися, що запобігання недостатньо. Вам також потрібно стійкість. Штучний інтелект вступає в ту ж саму фазу.

Ми повинні абсолютно будувати безпечніші моделі, сильніші контролі, кращі оцінки, кращу червону команду та краще управління, але ми повинні також прийняти, що інциденти трапляться. Моделі будуть невдачами, агенти будуть поводитися непередбачувано, дані будуть витікати, люди будуть зловживати системами, постачальники будуть робити помилки, і регуляції будуть еволюціонувати.

Питання в тому, чи може організація реагувати з швидкістю, координацією, судженням та відповідальністю, коли інцидент трапляється. Це те, як штучний інтелект переходить від експериментів до надійного інфраструктуру, і це те, як стійкість стає культурою.