Индустрия ИИ хочет, чтобы мы ей доверяли, но сначала ей нужно наладить более эффективный контроль

В сфере безопасности нельзя ждать, пока что-нибудь пойдёт не так, чтобы выяснить, работают ли наши меры защиты. Мы их проверяем. Мы подвергаем их испытаниям. Мы исходим из того, что рано или поздно кто-нибудь обнаружит уязвимость, которую мы упустили.

Это азы информационной безопасности.

Так почему же к передовым системам ИИ должны предъявляться другие требования?

По мере того как системы ИИ становятся всё более автономными и получают более широкий доступ к системам реального мира, мы наблюдаем явление, которое должно насторожить каждого, кто занимался кибербезопасностью со стороны защиты: возможности развиваются быстрее, чем контроль над ними.

И высокая скорость — не оправдание для ослабления защиты. Именно поэтому нам нужна более надёжная защита.

В недавней оценке некоммерческая организация Guidelight AI изучила общедоступные сведения о практиках контроля ИИ в Anthropic, Google, Meta, OpenAI и xAI. Ни одна из компаний не получила общую оценку выше C+.

Это не значит, что эти компании действуют безрассудно. И это не значит, что за закрытыми дверями не применяются дополнительные меры контроля.

Но безопасность не строится на предположениях. Если нас просят доверять всё более мощным системам, мы вправе ожидать доказательств того, что меры контроля над ними выдержат такую же строгую проверку, какую мы потребовали бы в любой другой сфере.

Хватит воспринимать сбои как любопытные истории

Когда ИИ-агент ведёт себя неожиданным образом, получает непредусмотренный доступ или обнаруживает уязвимость, внимание обычно сосредоточивается на том, что сделала технология.

Это любопытно.

Но это не самый важный вопрос.

Специалист по безопасности захочет узнать: велось ли журналирование этой активности? Кто-нибудь заметил происходящее? Были ли опасные действия ограничены механизмами допуска? Можно ли было остановить систему? Был ли план сдерживания инцидента и проверял ли его кто-нибудь?

Эти вопросы касаются не только ИИ. В сфере кибербезопасности мы задаём их уже много лет.

Однако предотвращение инцидентов и сдерживание их последствий, похоже, остаются слабыми местами формирующейся системы контроля над передовым ИИ. Общедоступных сведений о механизмах допуска к действиям, аварийных выключателях и экстренном сдерживании инцидентов по-прежнему мало.

Это должно волновать нас больше, чем новизна инцидента. Когда что-то выходит из строя, я хочу знать, что именно сломалось, что не позволило ситуации ухудшиться и что изменилось после этого.

Прозрачность полезна. Но ещё важнее — извлекать уроки.

Главная проблема безопасности ИИ — скорость

Не думаю, что в ближайшей перспективе главная угроза — внезапное изобретение ИИ совершенно нового вида кибератак. Куда практичнее проблема в том, что ИИ может значительно ускорить уже известные нам атаки.

Исследование, на которое раньше уходили часы, теперь может занять считаные минуты. Атакующие приёмы можно быстрее объединять в цепочки. Уязвимости можно обнаружить и использовать ещё до того, как ориентированный на участие человека процесс обеспечения безопасности пройдёт первый этап эскалации — звонок ответственному специалисту.

Это проблема, потому что значительная часть современной инфраструктуры безопасности по-прежнему рассчитана на то, что у нас будет время отреагировать.

Но времени может и не быть.

Если атака развивается стремительно, процесс реагирования, построенный на заявках, совещаниях, согласованиях и ручной эскалации, может устареть ещё до того, как кто-нибудь дойдёт до третьего шага.

Именно над этим индустрии ИИ ещё предстоит поработать.

Если передовые лаборатории ожидают, что предприятия пересмотрят подходы к наблюдаемости, управлению уязвимостями, архитектуре и реагированию на инциденты в эпоху ИИ, они должны показать, что сами поступили так же.

«Просто поверьте нам» — это не система контроля

Я всю карьеру работаю в сфере тестирования безопасности, и один принцип раз за разом подтверждает свою состоятельность: благие намерения не доказывают безопасность. Её доказывают факты.

• Проверяйте.
• Следите за происходящим.
• Пытайтесь вывести систему из строя.

Выясняйте, что происходит, когда меры контроля работают не так, как указано на архитектурной схеме. И следите за тем, чтобы кто-нибудь имел полномочия остановить систему, когда это необходимо. К передовым системам ИИ следует применять те же требования.

Это означает, что нужно проверять меры контроля в условиях целенаправленного противодействия, получать измеримые доказательства их эффективности и чётко определять, кто уполномочен отключать системы в случае сбоя.

Кроме того, необходимо пересмотреть подход к сдерживанию инцидентов.

Передовые лаборатории не могут импровизировать со сдерживанием инцидента после того, как ИИ-агент вышел за установленные для него границы. Обучая и тестируя всё более функциональные модели, они должны нести ответственность за действия, которые могут совершать эти системы. Для этого необходимы тщательные испытания в условиях целенаправленного противодействия, заранее утверждённые меры защиты, чёткие ограничения полномочий агентов и проверенные способы вмешаться или отключить систему до того, как сбой распространится.

Человеческое суждение по-прежнему важно. Но лаборатории, разрабатывающие эти системы, должны устанавливать границы, проверять, соблюдаются ли они, и нести ответственность, если это не так.

Их задача — не просто продемонстрировать, на что способен агент. Нужно показать, что он может работать безопасно, что его поведение можно контролировать и что новые возможности делают мир безопаснее, а не опаснее.

Доверие нужно заслужить

Я не призываю тормозить инновации в сфере ИИ до ползучего темпа. Я говорю о том, что безопасность должна развиваться не отставая от них. Если мы вкладываем огромные ресурсы в расширение возможностей ИИ, столь же срочно нужно заниматься обеспечением его защищённости.

Но по мере того, как передовые лаборатории ускоряют обучение и тестирование новых моделей ИИ с кибервозможностями, они должны помнить о тех, кто защищает системы. Прежде всего — помогать им быстрее выявлять угрозы и реагировать на них. И, что ещё важнее, не допускать, чтобы эти системы сами становились угрозой. Эта ответственность также требует готовности к внешней проверке.

Независимая проверка не должна становиться чем-то, что компании приветствуют только тогда, когда она подтверждает желаемый ими образ. Если передовые системы ИИ достаточно мощны, чтобы изменить ландшафт угроз, их механизмы контроля должны быть достаточно надёжными, чтобы выдержать содержательное независимое тестирование.

Индустрия ИИ хочет, чтобы мы ей доверяли.

Как специалист по информационной безопасности, я готов оказать ей это доверие. Но сначала покажите мне механизмы контроля.