Лидеры мнений

Когда агенты ИИ начинают координироваться, внутренние риски многократно возрастают

Marshall Heilman
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыКоординация ИИ-агентов создаёт системный риск, превращая изолированные сбои в общие…
Показать больше
  • Координация ИИ-агентов создаёт системный риск, превращая изолированные сбои в общие полномочия и влияние.
  • Платформы типа rentahuman.ai инвертируют модель угроз, позволяя ИИ-агентам нанимать людей для выполнения задач.
  • Автономные ИИ-агенты теперь воспроизводят поведение устойчивых внутренних угроз, подобно IT-специалистам из КНДР, но со скоростью компьютера.

Эпизод с OpenClaw раскрыл риск, за которым большинство программ безопасности активно не следят: сговор между системами, управляемыми ИИ.

В одном из первых публично наблюдаемых случаев автономные агенты ИИ были замечены в том, как они находят друг друга, координируют поведение, усиливают тактики и совместно развиваются – без человеческого руководства или надзора. Этот сдвиг имеет значение больше, чем любая отдельная уязвимость, поскольку он фундаментально меняет, как риск масштабируется в современных средах безопасности ИИ.

OpenClaw и Moltbook не были просто демонстрациями возможностей агентов. Они были ранним сигналом координации нескольких агентов, возникающей в реальных условиях. Что остается плохо понятым, это почему агенты вели себя так, как они делали – какое намерение они реализовывали и в каком контексте. Как только агенты могут координироваться, модель угроз меняется, и без видимости намерений и контекста большинство программ безопасности еще не готовы к такой эволюции риска.

Почему сговор меняет уравнение риска

OpenClaw, ранее известный как MoltBot и Clawdbot, работал в потребительских средах, а не в корпоративных. Но поведение, которое он раскрыл, применимо напрямую к корпоративным системам, развертывающим автономные или агентные ИИ.

Когда агент ИИ получает доступ к электронной почте, календарям, браузерам, файлам и приложениям (и разрешено действовать с минимальными ограничениями), он перестает вести себя как инструмент. Он начинает вести себя как пользователь.

Он выполняет задачи. Он поддерживает присутствие. Он работает непрерывно.

Moltbook ускорил этот сдвиг, дав агентам Claw возможность найти друг друга. В течение нескольких дней наблюдатели документировали агентов, устанавливающих зашифрованные связи, обменивающихся рекомендациями для рекурсивного улучшения, координирующих повествования и отстаивающих независимость от человеческого надзора – поведение, напрямую актуальное для управления рисками ИИ в корпоративной среде.

Отражает ли это подлинную автономию — не главный вопрос. Координация сама по себе является риском. Когда агенты могут влиять на других агентов, обладающих законными учетными данными и делегированными полномочиями, изолированные сбои быстро становятся системными.

Параллель с КНДР, которую команды безопасности не должны игнорировать

С точки зрения внутренних рисков, совпадение с операциями ИТ-работников КНДР поразительно и крайне актуально для управления рисками ИИ.

В течение многих лет операторы КНДР полагались на постоянный доступ, нормально выглядящую деятельность и работу, выполняемую на уровне легитимных удаленных сотрудников, координируемых по идентификаторам, часовым поясам и языкам.

Агенты ИИ теперь автоматически воспроизводят многие из этих поведений.

Разница заключается в скорости и масштабе.

ИТ-работники КНДР давно стремились к автоматизации и помощи ИИ для передачи рутинной работы, поддержания постоянного присутствия и максимизации дохода с минимальными человеческими усилиями. Автономные агенты теперь операционализируют этот подход, выполняя базовые задачи, поддерживая деятельность и координируя выполнение в масштабе.

Это именно то, почему эпизоды OpenClaw и Moltbook имеют значение. Они предлагают предварительный просмотр того, что происходит, когда координация возникает без управления, и с той же скоростью и масштабом, что и ИИ.

Модель угроз расширилась (снова)

До недавнего времени доминирующей проблемой было создание вредоносных агентов или манипулирование ими людьми со злым умыслом.

Эта угроза реальна и все еще существует, но новая угроза возникает и потенциально ставит организации под крайний риск.

Мы сейчас видим ранние сигналы обратного: вредоносные агенты ИИ нанимают людей.

Платформы, такие как rentahuman.ai, явно позволяют агентам ИИ нанимать людей для реальных задач – от выполнения поручений и участия в совещаниях до подписания документов и совершения покупок. Люди устанавливают ставки. Агенты назначают задачи.

Граница между автономными системами и человеческим трудом стала тоньше. Намерение может теперь возникать с любой стороны, и выполнение может протекать в обоих направлениях.

Это не научная фантастика. Это структурный сдвиг в том, как работа (и злоупотребление) может быть оркестрирована.

Почему это имеет значение для команд безопасности

Агенты ИИ пересекают точку бифуркации, которая фундаментально меняет организационный риск. Это уже не просто еще одна проблема безопасности ИИ, которой необходимо управлять со временем – это системный внутренний риск, который может напрямую угрожать непрерывности бизнеса, доверию и бренду, если оставить его без управления.

Они больше не ограничены реакцией на отдельные запросы. Они начинают постоянно присутствовать, координироваться и действовать в средах, не предназначенных для делегированных полномочий (не говоря уже о влиянии агента на агента).

С точки зрения внутренних рисков, воздействие не исходит только от вредоносного кода. Оно возникает на уровне взаимодействия, где человеческое намерение, способность агента, делегированные полномочия и координация пересекаются. Это соответствует концепции Смертельной тройки Саймона Уиллисона: доступ к конфиденциальным данным, контакт с недоверенными входными данными и возможность действовать или общаться внешне. Когда эти условия сходятся, сбои могут быстро эскалировать от изолированных ошибок до бизнес-критического риска.

Понимание этого требует перехода от мышления о единственном агенте к риску поведенческих систем.

Четыре модели взаимодействия, создающие риск

Инциденты с агентами ИИ не являются единой категорией. Результаты зависят от того, кто обладает намерением и как осуществляется власть. Простая матрица помогает командам классифицировать инциденты и реагировать соответствующим образом.

  1. Сговор: вредоносный человек, вредоносный агент
    Агент становится ускорителем. Человеческое намерение объединяется с эффективностью агента, постоянством и масштабом. Координация усиливает эффект, позволяя осуществлять мошенничество, распространять дезинформацию или манипулировать без больших команд. Moltbook предложил ранний взгляд на то, как быстро агенты укрепляют друг друга, когда открытие не ограничено.
  2. Пользователь-антагонист: вредоносный человек, не-вредоносный агент
    Полезные агенты являются идеальными инструментами для злоупотребления. Вредоносный инсайдер может поддерживать ложные личности, маскировать деятельность или масштабировать обман, как мошенничество с одновременной работой на нескольких полных ставках. Агент не является вредоносным. Он действует в рамках делегированных полномочий.
  3. Скомпрометированный агент: не-вредоносный человек, вредоносный агент
    Здесь намерение уже вовсе не исходит от человека. Внедрение запросов, отравленная память или манипулированные входные данные могут превратить агента в вектор для злоупотребления. Когда агенты взаимодействуют с другими агентами, компрометация может быстро распространяться, особенно с постоянной памятью – критической проблемой безопасности ИИ.
  4. Идеальное состояние: не-вредоносный человек, не-вредоносный агент
    Где большинство организаций предполагают безопасность, и где многие инциденты начинаются. Чрезмерное делегирование, накопление разрешений и широкий доступ позволяют небольшим ошибкам вызывать каскадные последствия. Это не халатность. Это несоответствие между возможностями и контролем.

По всем четырем моделям динамика последовательна. Агенты ИИ снижают трение между намерением и результатом, маскируют сигналы поведения и расширяют диапазон. Традиционные контроли испытывают трудности, когда действия делегируются, выполняются непрерывно и опосредованы автономными системами.

Точка бифуркации управления

Агентный ИИ предназначен для постоянного наблюдения, сохранения контекста и действия на основе накопленных знаний. Это то, что делает его ценным, и опасным, когда не ограничен.

С постоянной памятью и координацией, эксплуатация не должна быть немедленной. Она может ждать. Она может эволюционировать.

Представление агентного ИИ как инструмента повышения производительности недооценивают риск. Эти системы ведут себя меньше как приложения и больше как инсайдеры, но со скоростью компьютеров.

Что на самом деле требует безопасное внедрение агентов ИИ

Организации должны относиться к агентному ИИ как к высокорисковым корпоративным системам, а не к удобствам.

Это означает утвержденные случаи использования, многоуровневые контроли, тестирование на противодействие и формальное управление. Принцип наименьших привилегий все еще имеет значение, и существующие стандарты уже предоставляют рекомендации. Но традиционные контроли должны быть объединены с наблюдаемостью поведения и аналитической информацией – историей запросов, автономными действиями и моделями координации – чтобы различать неправильное использование, намеренное злоупотребление и системный сбой в рамках эффективного управления рисками ИИ.

Это не о том, чтобы замедлить внедрение. Это о том, чтобы сделать автономность управляемой без подрыва инноваций и скорости.

Итог

Сговор меняет уравнение внутренних рисков. Когда агенты ИИ могут укреплять поведение друг друга, риск смещается от изолированных действий к общей власти, влиянию и усилению.

Теперь подверженность угрозам безопасности возникает на уровне взаимодействия, где законный доступ, делегированные полномочия и сговор пересекаются. Контроли, построенные для оценки индивидуальной деятельности, пропустят сбои, которые появляются только тогда, когда поведение соединяется.

Организации, которые управляют агентами ИИ как инсайдерами – с видимостью поведения и ответственностью – могут расширить использование агентов ИИ с уверенностью. Те, кто не делает этого, останутся реагировать на результаты, которые они больше не полностью контролируют.

Маршалл Хейлман является генеральным директором компании DTEX Systems, мирового лидера в области управления внутренними рисками. Маршалл имеет более 20 лет опыта в области кибербезопасности (в стартапах и крупных публичных компаниях), занимая руководящие и высокотехнические должности в Mandiant и Google.