Почему апокалиптические прогнозы отвлекают от реальной угрозы ИИ, которой нам действительно стоит опасаться

Если вы следите за новостями, трудно не заметить, как нарастает тревожная риторика вокруг индустрии ИИ и предупреждений о конце света. История о «экзистенциальной угрозе», которую системы ИИ якобы представляют для человечества, слишком легко позволила компаниям в сфере кибербезопасности подхватить эту волну и продавать свои услуги, играя на страхе. Однако зацикленность на «конце света» ошибочна: из-за неё остаются без внимания более непосредственные риски, которые агентный ИИ уже сегодня создаёт для организаций.

Разумеется, ИИ-агенты, действующие вне контроля организации, несут очевидные риски. Совсем недавно в сообщениях из Австралии и США говорилось, что ИИ-агенты OpenAI вышли за рамки поставленных задач в государственных системах обеих стран.

И всё же угрозу сценариев апокалипсиса из-за ИИ преувеличивают. Вместо того чтобы зацикливаться на гипотетических угрозах, организациям необходимо принять эту новую реальность и обеспечить наличие детерминированных мер защиты, необходимых для устойчивой работы.

У интернета нет единого выключателя

Сторонники апокалиптических прогнозов считают, что по мере развития ИИ и расширения сферы его применения он может превратиться в централизованный «выключатель», единую уязвимую точку, захватив контроль над которой кто-либо сможет спровоцировать катастрофу.

Однако интернет гораздо более распределённый и разнообразный, чем предполагает теория единого выключателя. Он устроен как «сеть сетей»: миллиарды компонентов объединены в различные архитектуры и защищены бесчисленными командами эксплуатации, которые используют разные стандарты и инструменты. Поэтому ни у кого — ни у человека, ни у машины — нет единого выключателя, который можно было бы перевести в положение «выкл.». Нет и единой уязвимости или цепочки уязвимостей, эксплуатация которой могла бы привести к столь катастрофическим последствиям.

Идея о том, что ИИ может создать и выпустить искусственно сконструированный патоген или проникнуть в ядерные системы, изолированные от внешних сетей, вполне может стать основой захватывающего кино. Но для оценки реальных операционных угроз такой сценарий совершенно неправдоподобен.

Вне поля зрения — вне контроля

По мере развития агентного ИИ два фактора коренным образом изменили характер рисков для бизнеса.

С одной стороны, ИИ теперь позволяет злоумышленникам находить и использовать киберуязвимости за минуты, а не месяцы. К тому времени, когда вероятностные системы защиты на основе ИИ обнаруживают подозрительную активность, реагировать на угрозу часто уже поздно. Поскольку такие системы опираются на статистические вероятности, а не на фиксированные правила, даже лучшие из них пропускают часть вредоносной активности, и злоумышленнику достаточно один раз проскользнуть незамеченным

С другой стороны, использование сотрудниками «теневого ИИ» значительно усложнило понимание того, что именно нужно защищать. Подавляющее большинство — 82% организаций, опрошенных Cloud Security Alliance, — за последний год обнаружили работающих в их среде ИИ-агентов, о которых не знали команды безопасности или ИТ-отделы, хотя 68% заявили, что хорошо понимают, какие агенты у них используются. В отдельном исследовании EY выяснилось, что четверть крупных компаний США, использующих агентный ИИ, признали, что не могут обнаружить несанкционированных агентов, работающих внутри организации.

Оба этих изменения, естественно, создают серьёзную нагрузку на корпоративные системы. В результате организации оказываются в крайне невыгодном положении: они слишком медленно выявляют и устраняют уязвимости, а также не понимают, какие системы уязвимы изначально.

Контроль над тем, что можно контролировать

Организациям нужен актуальный перечень всех агентов, работающих в компании, независимо от того, разрешено ли их использование. За каждым агентом должен быть закреплён конкретный владелец, а его полномочия — чётко определены: к каким ресурсам он может обращаться и какие действия выполнять. Это первый шаг к контролю над тем, что поддаётся контролю: модели ИИ могут быть вероятностными, но установленные для них ограничения могут быть детерминированными, фиксированными и чётко определёнными.

На практике это означает, что каждый раз, когда агент предлагает выполнить действие, отдельный механизм контроля, независимый от самой модели, должен проверять, разрешено ли это действие, и сохранять запись для аудита. Однако только 11% организаций автоматически блокируют действия агента, выходящие за рамки его полномочий; большинство полагается на одобрение человека или просто фиксирует такие действия в журнале. Инцидент в Австралии показывает, чем опасна надежда на то, что целевая система сама откажет в доступе: получив отказ, агент нашёл другой способ проникнуть внутрь. Более широкая архитектура управления также должна непрерывно выявлять, авторизовывать и проверять всех агентов, чтобы предотвращать непредвиденные операционные риски. Всё это необходимо делать быстро: атакам, которые развиваются со скоростью машин, нужны правила, работающие с той же скоростью.

От гипотетических страхов — к практическим решениям

Какой бы убедительной ни казалась лавина апокалиптических публикаций об автономных системах ИИ, она далека от реальности. Опасаться стоит куда более обыденной угрозы, чем ИИ, решивший нас уничтожить: агент действует внутри вашей компании быстрее, чем кто-либо успевает это заметить, и обладает полномочиями, которых ему никто не предоставлял.

Проблемы скорости и видимости вполне решаемы — при условии, что системы безопасности, регулирующие работу ИИ, детерминированы и могут точно проверять и отслеживать каждого агента с той же скоростью, с какой он действует.

Для советов директоров и руководителей служб безопасности всё сводится к трём практическим вопросам: знаем ли мы обо всех агентах, работающих в нашей среде; есть ли у каждого из них ответственный владелец и чётко установленные ограничения; можем ли мы остановить несанкционированное действие до его выполнения? Помогая клиентам устранить эти практические пробелы, поставщики услуг кибербезопасности могут гораздо больше укрепить их устойчивость, чем нагнетая страх перед гипотетическими сценариями.