Искусственные инциденты становятся операционными кризисами. Нам нужно относиться к ним так же.

В течение последних нескольких лет большинство организаций говорили об искусственном интеллекте на языке управления.

Является ли модель точной? Является ли она справедливой? Одобрены ли данные? Соблюдаем ли мы возникающие правила? Это важные вопросы, но они не являются единственными вопросами. Более срочный вопрос – что происходит, когда что-то идет не так?

Что происходит, когда искусственный интеллект принимает действие, которое он никогда не должен был совершить? Что происходит, когда модель утечет конфиденциальные данные? Что происходит, когда заллусинированный ответ создает юридическую ответственность, или автоматизированное решение влияет на клиента, сотрудника, пациента или партнера таким образом, что его нельзя легко отменить?

И, возможно, наиболее практично: куда организация идет, чтобы координировать ответ? Это сдвиг, который сейчас происходит. Риск искусственного интеллекта становится вопросом операционной устойчивости, а не только вопросом управления.

Искусственный интеллект переходит из экспериментирования в рабочий механизм предприятия. Он встраивается в поддержку клиентов, разработку программного обеспечения, финансовые операции, рабочие процессы здравоохранения, прием, обработку претензий, цепочки поставок и внутреннюю автоматизацию. По мере того, как искусственный интеллект становится более связанным с бизнесом, неудачи искусственного интеллекта становятся бизнес-инцидентами.

Монитор инцидентов искусственного интеллекта OECD отслеживает 596 инцидентов искусственного интеллекта в январе 2026 года, рост на 200% по сравнению с предыдущим годом. Усилия, такие как Монитор инцидентов искусственного интеллекта OECD и База данных инцидентов искусственного интеллекта, документируют негативные или вредные последствия, связанные с системами искусственного интеллекта, чтобы отрасль могла учиться на опыте так же, как авиация и кибербезопасность делали это в течение многих лет.

Это сравнение важно. Зрелые отрасли спрашивают, как предотвратить неудачу, и как реагировать, когда неудача происходит.

Инциденты искусственного интеллекта не ведут себя как традиционные программные ошибки

Традиционная программная ошибка обычно имеет относительно четкие границы. Что-то ломается, инженеры расследуют, и команда воспроизводит проблему, исправляет код и отправляет исправление.

Однако инциденты искусственного интеллекта более сложны. Они могут быть вероятностными, периодическими и возникать из взаимодействия между моделью, подсказкой, системой извлечения, плагином, агентом, пользователем и бизнес-процессом. Иногда система искусственного интеллекта работает точно так, как она была разработана, но дизайн является неполным для среды, в которой он используется. Это делает ответ более сложным.

Заллусинация в потребительском чат-боте – это один вид проблемы. Заллусинация внутри юридического, финансового, клинического или кадрового рабочего процесса – это другая. Предвзятый вывод при тестировании – это серьезно. Предвзятый процесс принятия решений, работающий в масштабе в производстве, – это совсем другое. Помощник искусственного интеллекта, который создает электронное письмо, – это одно, но агент, который может изменить разрешения, выдать возмещения, обновить записи, запустить рабочие процессы или выполнить код, – это совсем другая категория риска.

Репозиторий рисков искусственного интеллекта MIT捕获 широкий спектр рисков искусственного интеллекта, включая ложную или вводящую в заблуждение информацию, нарушения конфиденциальности и безопасности, дискриминацию, злоупотребление и проблемы безопасности системы. OWASP’s Top 10 для приложений крупномасштабных языковых моделей также подчеркивает риски, такие как внедрение подсказки, раскрытие конфиденциальной информации, небезопасная обработка вывода и чрезмерная агентность. Это практические режимы неудач, а не абстрактные технические проблемы.

Если агент искусственного интеллекта имеет слишком большую власть, он может совершить действия, которые никто не намеревался. Если внедрение подсказки succeeds, система может раскрыть информацию или выполнить враждебные инструкции. Если конфиденциальные данные утечаются через модель или систему извлечения, ответ имеет юридические, нормативные, клиентские и репутационные последствия. Поэтому язык управления искусственным интеллектом может иногда стать слишком пассивным. Управление говорит нам, что должно быть верным. Реагирование на инциденты говорит нам, что делать, когда реальность движется быстрее, чем политика.

Ответ будет межфункциональным

Одним из самых больших уроков из кибербезопасности является то, что инциденты редко остаются внутри команды безопасности. В начале событие может выглядеть техническим. Очень быстро оно涉ивает юридические, коммуникационные, деловые лидеры, соблюдение, клиентские команды, внешних юристов, страховщиков, судебных экспертов и иногда совет.

Инциденты искусственного интеллекта будут следовать тому же шаблону.

Представьте себе модель, которая раскрывает конфиденциальную информацию о клиентах. Команды безопасности и конфиденциальности должны понять, что произошло. Юридический отдел должен оценить обязательства. Коммуникации могут потребоваться для подготовки клиентов, регулирующих органов или средств массовой информации. Инженерия может потребоваться для отключения или отмены системы. Бизнес-лидеры могут потребоваться для взвешивания непрерывности против сдерживания.

Или представьте себе агент искусственного интеллекта, который начинает совершать непредвиденные действия в системах предприятия. Техническая команда может отключить его, но организация все равно должна знать, что он сделал, кто был затронут, какие решения были приняты, были ли вызваны обязательства по контракту, и как предотвратить такую же неудачу в будущем. Это не может быть решено только командой искусственного интеллекта.

Организации должны построить межфункциональную мышечную память до того, как им это понадобится. Это означает четкие триггеры эскалации, четкие роли, четкие права на принятие решений, четкие пути коммуникации, четкую документацию и практику.

В кризисе координация – это инфраструктура, а не только мягкий навык.

Искусственный интеллект, который расследуется, не должен контролировать ответ

Есть еще одна проблема, о которой организации должны подумать намного более тщательно. Если система искусственного интеллекта, которая расследуется, может получить доступ к тем же коммуникациям, документам, рабочим процессам или автоматизации, которые используются для координации ответа, организация имеет проблему.

В кибербезопасности это знакомый принцип. Если вредоносное ПО скомпрометировало корпоративную сеть, вы не координируете ответ на системах, которые атакующий может прочитать, нарушить или манипулировать. Вы выходите из сети. Вы отделяете инцидент от ответа.

Та же логика применяется к искусственному интеллекту.

Система искусственного интеллекта может не быть злонамеренной в человеческом смысле, но если она может увидеть план ответа, суммировать встречу ответа, влиять на рабочий процесс, рекомендовать следующий шаг или работать внутри той же среды, которая используется для сдерживания ее, то организация не изолировала ответ.

Это становится еще более важным с агентским искусственным интеллектом. Безопасная рамка искусственного интеллекта Google подчеркивает риски, такие как внедрение подсказки, отравление данных и бродячие действия, и сопоставляет их с контролями на протяжении всей жизни цикла искусственного интеллекта. Это правильная формулировка. По мере того, как системы искусственного интеллекта становятся более способными действовать в инструментах, данных и рабочих процессах, организации должны думать о безопасности модели и об операционном разделении.

Представьте себе это как расследование пожара. Вы не хотели бы, чтобы системы пожаротушения были связаны с той же неисправной системой, которую вы пытаетесь диагностировать.

Подготовьтесь, потренируйтесь, отреагируйте, отчет

Полезная структура для готовности к инцидентам искусственного интеллекта – это та же, что и в кибербезопасности: подготовьтесь, потренируйтесь, отреагируйте, отчет.

Подготовьтесь означает определение типов инцидентов до того, как они произойдут, как предвзятость, заллусинация, утечка данных, дрейф модели, внедрение подсказки, агентский бег и неавторизованное использование инструмента. Каждый из них требует разных заинтересованных сторон и разных решений.

Хороший справочник не должен быть 200-страничным документом, лежащим в папке. Никто не открывает страницу 137 во время кризиса. Хороший справочник основан на ролях, доступен и действен. Юридический отдел знает, что ему нужно сделать. Инженерия знает, что ей нужно сделать. Коммуникации знают, когда нужно подключиться. Совет знает, когда менеджмент будет эскалировать.

Потренируйтесь означает проведение стол-топовых упражнений. Не раз в год как флажок, а достаточно часто, чтобы построить мышечную память. Первый раз совет обсуждает инцидент искусственного интеллекта не должен быть во время реального инцидента искусственного интеллекта. Первый раз юридический отдел, инженерия, конфиденциальность, безопасность и коммуникации работают над неудачей искусственного интеллекта вместе не должно быть, когда клиенты уже задают вопросы.

Отреагируйте означает координацию живого события с дисциплиной. Кто в комнате? Какие факты известны? Какие факты еще неопределенны? Какие решения были приняты? Кто их одобрил? Что изменилось между часом 12 и часом 48?

Отчет означает признание того, что регулирование искусственного интеллекта становится более конкретным. Закон ЕС об искусственном интеллекте включает серьезные обязательства по отчетности об инцидентах для поставщиков определенных высокорисковых систем искусственного интеллекта. Детали будут варьироваться в зависимости от юрисдикции, отрасли и случая использования, но направление ясно. Инциденты искусственного интеллекта все чаще будут требовать обоснованной записи того, что произошло, что было известно, какие действия были предприняты и когда.

Искусственный интеллект может помочь, но он не может заменить суждение

Есть соблазн думать, что ответ на инциденты искусственного интеллекта должен быть полностью автоматизирован. Я думаю, что это неправильная формулировка.

Искусственный интеллект может помочь очень сильно. Он может суммировать факты. Он может определить отсутствующую информацию. Он может сравнить инцидент с предыдущими моделями. Он может создать после-инцидентные отчеты. Он может помочь сопоставить нормативные обязательства. Он может уменьшить административную нагрузку, когда люди находятся под давлением.

Но в серьезном инциденте люди остаются незаменимыми.

Кто-то должен решить, достаточно ли фактов. Кто-то должен взвесить влияние на клиентов. Кто-то должен решить, следует ли приостановить систему. Кто-то должен определить, пересекла ли организация порог отчетности. Кто-то должен общаться с подотчетностью и сочувствием.

Правильная роль искусственного интеллекта в реагировании на инциденты – не заменить команду кризиса. Это дать команде кризиса лучший контекст, быстрее.

Фреймворк управления рисками искусственного интеллекта NIST полезен, потому что он формулирует управление рисками искусственного интеллекта вокруг четырех функций: управлять, сопоставлять, измерять и управлять. Для реагирования на инциденты я бы добавил одно практическое расширение: репетировать.

План, который никогда не был протестирован, не является真正щим планом. Это теория.

Советы директоров также нуждаются в справочнике

Риск искусственного интеллекта становится темой уровня совета директоров, но участие совета директоров не может ограничиваться слайдами надзора. Советы директоров должны понять свою роль до того, как произойдет кризис.

Когда совет будет проинформирован? Какие решения требуют участия совета? Какая информация будет предоставлена менеджменту? Как будут оцениваться материальность, влияние на клиентов, юридическая ответственность, нормативные обязательства и операционное нарушение?

Многие организации имеют справочники по безопасности, конфиденциальности, коммуникациям и юридическим вопросам. Гораздо меньше имеют справочник для совета директоров по инцидентам искусственного интеллекта. Этот пробел станет более заметным, поскольку системы искусственного интеллекта будут перемещаться в регулируемые, генерирующие доход и клиентские рабочие процессы. Роль совета директоров – помочь организации принимать лучшие решения под давлением, а не становиться более техническими.

Достоверный искусственный интеллект требует операционной устойчивости

Есть много разговоров о достоверном искусственном интеллекте. Это правильная аспирация, но доверие не создается только принципами. Доверие создается, когда организации могут показать, как они готовятся, как они обнаруживают проблемы, как они реагируют, как они общаются, как они документируют решения и как они улучшаются.

Кибербезопасность прошла через ту же эволюцию. Организации потратили годы на инвестиции в предотвращение, и они должны продолжать делать это. Но зрелые организации в конечном итоге научились, что предотвращение недостаточно. Вам также нужна устойчивость. Искусственный интеллект входит в ту же фазу.

Мы должны абсолютно строить более безопасные модели, более сильные контроли, лучшие оценки, лучшее красное командирование и лучшее управление, но мы также должны принять, что инциденты произойдут. Модели неудачи, агенты будут вести себя непредвиденным образом, данные будут утечь, люди будут злоупотреблять системами, поставщики совершат ошибки, и регулирование будет развиваться.

Вопрос в том, может ли организация реагировать с быстротой, координацией, суждением и подотчетностью, когда произойдет инцидент. Это то, как искусственный интеллект переходит из экспериментирования в надежную инфраструктуру, и это то, как устойчивость становится культурой.