Ваш агент больше не просто чат-бот — так почему вы всё ещё относитесь к нему как к таковому?

В ранние дни генеративного ИИ худший сценарий для неисправного чат-бота часто заключался лишь в публичном унижении. Чат-бот мог галлюцинировать факты, выдавать предвзятый текст или даже оскорблять вас. Это было достаточно плохо. Но теперь мы передали им ключи.

Добро пожаловать в эру агентов.

От чат-бота к агенту: сдвиг автономии

Чат-боты были реактивными. Они оставались в своих границах. Задайте вопрос, получите ответ. Но агенты ИИ — особенно те, которые построены с использованием инструментов, выполнения кода и постоянной памяти — могут выполнять многоступенчатые задачи, вызывать API, выполнять команды и писать и развертывать код автономно.

Иными словами, они не просто реагируют на запросы — они принимают решения. И как любой специалист по безопасности скажет вам, когда система начинает совершать действия в мире, вы должны серьезно относиться к безопасности и контролю.

О чём мы предупреждали в 2023 году

В OWASP мы начали предупреждать об этом сдвиге более двух лет назад. В первом выпуске OWASP Top 10 для приложений LLM мы придумали термин: Чрезмерная автономия.

Идея была простой: когда вы даете модели слишком много автономии — слишком много инструментов, слишком много полномочий, слишком мало надзора — она начинает вести себя более как свободный агент, чем как ограниченный помощник. Может быть, она планирует ваши встречи. Может быть, она удаляет файл. Может быть, она создает чрезмерную, дорогую облачную инфраструктуру.

Если вы не будете осторожны, она начинает вести себя как сбитый с толку заместитель… или хуже, как вражеский агент, который просто ждет, когда его используют в инциденте кибербезопасности. В недавних реальных примерах агенты от крупных программных продуктов, таких как Microsoft Copilot, Salesforce’s Slack product были оба показаны как уязвимые для обмана и использования их повышенных полномочий для эксплуатации конфиденциальных данных.

И теперь это гипотетическое сценарий выглядит менее как научная фантастика и более как ваш предстоящий план на третий квартал.

Знакомьтесь с MCP: слоем управления агентами (или это так?)

Перемотаем время вперед до 2025 года, и мы видим новую волну стандартов и протоколов, предназначенных для обработки этого взрыва функциональности агентов. Наиболее заметным из них является протокол контекста модели Anthropic (MCP) — механизм для поддержания общей памяти, структур задач и доступа к инструментам на протяжении долгосрочных сессий агентов ИИ.

Представьте себе MCP как клей, который держит контекст агента вместе через инструменты и время. Это способ сказать вашему помощнику по кодированию: «Вот что вы сделали до сих пор. Вот что вам разрешено делать. Вот что вы должны запомнить».

Это необходимый шаг. Но он также вызывает новые вопросы.

MCP — это возможность. Где же ограничители?

До сих пор焦ус MCP был сосредоточен на расширении того, что могут делать агенты — а не на их сдерживании.

Хотя протокол помогает координировать использование инструментов и сохранять память на протяжении задач агентов, он пока не решает критические проблемы, такие как:

• Сопротивление внедрению запросов: Что происходит, если атакующий манипулирует общей памятью?
• Ограничение команд: Можно ли обмануть агента, чтобы он превысил свои полномочия?
• Злоупотребление токенами: Может ли утечка памяти раскрыть учетные данные API или пользовательские данные?

Это не теоретические проблемы. Недавний анализ последствий для безопасности показал, что архитектуры, подобные MCP, уязвимы для внедрения запросов, неправильного использования команд и даже отравления памяти, особенно когда общая память не достаточно ограничена или зашифрована.

Это классическая проблема «власть без надзора». Мы построили экзоскелет, но мы еще не придумали, где выключатель.

Почему CISO должны обращать внимание — сейчас

Мы не говорим о будущей технологии. Мы говорим о инструментах, которые ваши разработчики уже используют, и это только начало массового внедрения в корпоративной среде.

Кодирование агентов, такие как Claude Code и Cursor, набирают реальную популярность внутри корпоративных рабочих процессов. Внутренние исследования GitHub показали, что Copilot может ускорить задачи на 55%. Более недавно Anthropic сообщил, что 79% использования Claude Code было сосредоточено на автоматизированном выполнении задач, а не только на предложениях кода.

Это реальная производительность. Но это также реальная автоматизация. Эти агенты больше не просто помощники. Они все чаще работают в одиночку. А кабина? Она пуста.

Генеральный директор Microsoft Сатья Наделла недавно сказал, что ИИ теперь пишет до 30% кода Microsoft. Генеральный директор Anthropic, Дарио Амодей, пошел еще дальше, предсказав, что ИИ сгенерирует 90% нового кода в течение шести месяцев.

И это не только разработка программного обеспечения. Протокол контекста модели (MCP) теперь интегрируется в инструменты, которые выходят за рамки кодирования, охватывая сортировку электронной почты, подготовку к встречам, планирование продаж, суммирование документов и другие высокоэффективные задачи продуктивности для обычных пользователей. Хотя многие из этих случаев использования еще находятся на ранних этапах, они быстро созревают. Это меняет ставки. Это больше не просто обсуждение для вашего технического директора или вице-президента по инженерии. Это требует внимания бизнес-единиц, CIO, CISO и главных офицеров ИИ. Когда эти агенты начинают взаимодействовать с конфиденциальными данными и выполнять межфункциональные рабочие процессы, организации должны обеспечить, чтобы управление, управление рисками и стратегическое планирование были неотъемлемой частью разговора с самого начала.

Что нужно сделать дальше

Пора перестать думать об этих агентах как о чат-ботах и начать думать о них как об автономных системах с реальными требованиями безопасности. Это означает:

• Границы привилегий агентов: Как и вы не запускаете каждый процесс с правами root, агентам нужен ограниченный доступ к инструментам и командам.
• Управление общей памятью: Сохранение контекста должно быть аудитом, версионировано и зашифровано — особенно когда оно общее для сессий или команд.
• Симуляции атак и красные команды: Внедрение запросов, отравление памяти и неправильное использование команд должны быть рассмотрены как первоочередные угрозы безопасности.
• Обучение сотрудников: Безопасное и эффективное использование агентов ИИ — это новый навык, и людям требуется обучение. Это поможет им быть более продуктивными и сохранить вашу интеллектуальную собственность более безопасной.

Когда ваша организация погружается в интеллектуальных агентов, часто лучше идти, прежде чем бежать. Получите опыт с агентами, имеющими ограниченный объем, ограниченные данные и ограниченные полномочия. Учитесь, как строить организационные ограничители и получать опыт, а затем переходите к более сложным, автономным и амбициозным случаям использования.

Вы не можете сидеть в стороне

Независимо от того, являетесь ли вы главным офицером ИИ или главным информационным офицером, у вас могут быть разные первоначальные проблемы, но ваш путь вперед один и тот же. Прирост производительности от кодирования агентов и автономных систем ИИ слишком убедителен, чтобы его можно было игнорировать. Если вы все еще используете подход «жди и смотри», вы уже отстаете.

Эти инструменты больше не являются экспериментальными — они быстро становятся стандартными. Компании, такие как Microsoft, генерируют значительную часть кода с помощью ИИ и продвигают свои конкурентные позиции в результате. Инструменты, такие как Claude Code, сокращают время разработки и автоматизируют сложные рабочие процессы в numerous компаниях по всему миру. Компании, которые научатся использовать этих агентов безопасно, будут доставлять быстрее, адаптироваться быстрее и обгонять своих конкурентов.

Но скорость без безопасности — это ловушка. Интеграция автономных агентов в ваш бизнес без надлежащих контролей — это рецепт для сбоев, утечек данных и регулирующей отдачи.

Это момент, чтобы действовать — но действовать умно:

• Запустите пилотные программы агентов, но требуйте проверки кода, разрешений инструментов и sandboxing.
• Ограничьте автономию до необходимого — не каждый агент нуждается в правах root или долгосрочной памяти.
• Проверьте общую память и вызовы инструментов, особенно на протяжении долгосрочных сессий или совместных контекстов.
• Симулируйте атаки с помощью внедрения запросов и неправильного использования команд, чтобы раскрыть реальные риски до того, как их обнаружат атакующие.
• Обучите ваших разработчиков и команды продукта на безопасные модели использования, включая контроль объема, поведение по умолчанию и пути эскалации.

Безопасность и скорость не являются взаимоисключающими — если вы строите с намерением.

Бизнесы, которые относятся к агентам ИИ как к основной инфраструктуре, а не как к игрушкам или игрушкам, превратившимся в угрозы, будут теми, кто процветает. Остальные будут либо убирать беспорядки, либо смотреть со стороны.

Эра агентов здесь. Не просто реагируйте. Подготовьтесь. Интегрируйте. Защитите.