ИИ становится новой внутренней угрозой, но планы по борьбе с риском отстают на один уровень

Взлом Hugging Face и аналогичные инциденты встревожили отрасль, однако организациям следует сосредоточиться на SDLC, а не на уровне моделей ИИ.

Взлом Hugging Face в июле, совершенный агентами OpenAI, а вскоре после него — сообщения о похожих случаях выхода из-под контроля с участием моделей Anthropic и Meta — вызвали тревогу из-за, казалось бы, нового вида кибератак: внутренней киберугрозы со стороны злонамеренного агентного ИИ.

Однако такие инциденты вовсе не новы. То, что они произошли в передовых лабораториях ИИ, которые уже несколько лет вызывают у людей беспокойство, придало этой угрозе зловещий новый облик. Но эти случаи указывают на те же уязвимые места и недостатки, которые годами накапливались в корпоративных системах.

При этом они не были преднамеренно злонамеренными. Во время взлома Hugging Face агенты искусственного интеллекта — около 1 200 — пытались выполнить поставленную задачу в тестовой среде, хотя, надо признать, их поведение не всегда было достойным. В ходе этого они тайно обменивались сообщениями, использовали уязвимости и оставались незамеченными пару месяцев; около 700 из них преодолели стену своей «изолированной» среды и получили доступ к интернету и сторонним организациям.

Тревожит в этих инцидентах не только то, что агенты ИИ без ограничений могут представлять серьезную угрозу, — это, безусловно, так. Но если агенты способны бесконтрольно действовать прямо под носом у команды передовой лаборатории, располагающей талантливыми специалистами, ресурсами и мотивацией, чтобы внимательно следить за происходящим, стоит также задуматься о том, что сейчас происходит с агентами ИИ и инструментами с поддержкой ИИ в вашей среде разработки. Если даже крупнейшие игроки в сфере ИИ не могут в режиме реального времени видеть, что происходит в их среде, то каковы шансы у обычной организации?

Лучший способ ограничить возможности агентного ИИ для организаций — признать, что новая ситуация представляет собой лишь более масштабную версию давней проблемы. Но для ее решения необходимо то, чего многим компаниям до сих пор не хватает: прозрачность и наблюдаемость на ранних этапах жизненного цикла разработки программного обеспечения (SDLC).

OpenAI и Hugging Face: предвестник грядущего

Во время взлома Hugging Face несколько передовых моделей ИИ, в том числе новая флагманская модель OpenAI GPT-5.6 Sol, выпущенная в июле, пытались решить узкую задачу — пройти тест ExploitGym, который проверяет способность агента использовать уязвимости в системе безопасности. В публикации о взломе Anthropic отметила, что модели ИИ, «работая при ослабленных мерах защиты», смогли выйти за рамки установленных ограничений, обойти технические средства контроля, взаимодействовать по несанкционированным каналам и в конечном итоге совершать рискованные действия.

Хотя взлом обнаружили в июле, агенты начали неподобающим образом общаться еще в мае, оставаясь незамеченными. METR и Redwood Research провели параллельное независимое расследование вместе с OpenAI и выяснили, что, хотя агенты понимали, что нарушают правила, немногие из них задумывались о том, чтобы сообщить об этом OpenAI, и вместо этого продолжали действовать.

После публикации отчета OpenAI компания Anthropic повторно проверила результаты своих прежних оценок кибербезопасности и обнаружила, что в апреле модель Claude трижды обходила средства контроля, выяснила, как выйти в интернет, и получила несанкционированный доступ к системам трех сторонних организаций. Вскоре после этого Meta сообщила, что версия ее самой передовой модели агентного ИИ Muse Spark 1.1 также вырвалась из песочницы для тестирования кибербезопасности и проникла в сеть сторонней компании.

В своем отчете OpenAI также предупредила, что этот инцидент — предвестник грядущего: многие модели, в том числе обычные модели с открытым исходным кодом, вскоре смогут делать то же самое. Недавний взлом Medicare подтвердил это предупреждение.

Управлять ИИ необходимо на уровне SDLC

Эти атаки с использованием агентного ИИ встревожили сообщество специалистов по ИИ. OpenAI объявила, что ужесточит меры контроля в своей тестовой среде, а затем вместе с Anthropic, Microsoft, Amazon Web Services и более чем 100 другими компаниями выступила с предупреждением о надвигающейся волне кибератак на критически важную инфраструктуру с использованием ИИ. В письме говорилось, что до таких атак могут оставаться всего несколько месяцев.

Организациям, которые опасаются стать жертвами подобных атак, необходимо укрепить собственную инфраструктуру, начав с уровня разработки программного обеспечения. Главная проблема заключается не только в том, что агентный ИИ становится все более совершенным, но и в отсутствии мониторинга в реальном времени и действенного контроля со стороны людей. Вместо того чтобы считать риск, связанный с ИИ, неизбежным следствием развития технологий, организациям следует устранить недостатки в человеческих и рабочих процессах.

Во многих организациях отрасли мониторинг и наблюдаемость сосредоточены на уровне моделей ИИ — это уже на один уровень позднее, чем нужно. К этому моменту лошадь уже наполовину вырвалась из конюшни. Прозрачность, мониторинг, наблюдаемость и управление необходимо обеспечивать там, где ИИ впервые входит в корпоративную среду: на уровне SDLC. Кроме того, организациям следует убедиться, что разработчики, использующие инструменты программирования на базе ИИ, обладают необходимыми знаниями и навыками, чтобы не допустить появления в процессе разработки дефектов, уязвимостей и вредных привычек.

Большинство программных уязвимостей возникает на этапе разработки. Если разработчикам не хватает навыков безопасного программирования или умения исправлять недостатки, внесённые ИИ, проблемы могут быстро множиться. Разработчикам нужна программа обучения, которая даст им необходимые навыки в области безопасности и позволит отслеживать их прогресс как в освоении этих навыков, так и в их повседневном применении на работе.

По мере того как ИИ всё глубже интегрируется в работу организаций, становится ясно: отслеживаемость в сфере безопасности, наблюдаемость и управление как разработчиками, так и используемыми ими ИИ-инструментами для написания кода стали новым базовым требованием для создания безопасного кода в корпоративной среде.

Постоянные угрозы требуют постоянного реагирования

Когда-то мы могли считать программное обеспечение относительно безвредным: оно просто выполняло заложенные в него инструкции. Если возникал сбой, программа могла зависнуть или вызвать простой в работе, но не переходила в наступление. ИИ, особенно агентный ИИ, полностью изменил это представление. Независимо от того, действует ли модель ИИ автономно или помогает разработчику, её действия необходимо постоянно отслеживать и контролировать.

Мысль о возникающей угрозе со стороны ИИ — будь то угроза больницам, водоочистным сооружениям, электростанциям или предприятиям — может быть пугающей. Но организации не беззащитны. Они могут внедрить систему управления ИИ, однако выстраивать её нужно с самого основания. Формируя культуру безопасной разработки программного обеспечения и обучая разработчиков для достижения этой цели, организации могут обеспечить столь необходимый уровень наблюдаемости, отслеживаемости и управления в отношении потенциальной проблемы, которая, если оставить её без внимания, будет только усугубляться.