Ваш агент больше не просто чат-бот — так почему вы всё ещё относитесь к нему как к таковому?

В ранние дни генеративного ИИ худший сценарий для неправильно ведущегося чат-бота часто был не более чем публичным смущением. Чат-бот мог галлюцинировать факты, выплевывать предвзятый текст или даже называть вас именами. Это было достаточно плохо. Но теперь мы передали ключи.

Добро пожаловать в эру агентов.

От чат-бота к агенту: сдвиг автономности

Чат-боты были реактивными. Они оставались в своих пределах. Задайте вопрос, получите ответ. Но ИИ-агенты — особенно те, которые построены с использованием инструментов, выполнения кода и постоянной памяти — могут выполнять многоступенчатые задачи, вызывать API, выполнять команды и писать и развертывать код автономно.

Иными словами, они не просто реагируют на запросы — они принимают решения. И как любой специалист по безопасности скажет вам, когда система начинает совершать действия в мире, вам лучше серьезно заняться безопасностью и контролем.

О чём мы предупреждали в 2023 году

В OWASP мы начали предупреждать об этом сдвиге более двух лет назад. В первом выпуске OWASP Top 10 для приложений LLM мы придумали термин: Чрезмерная агентность.

Идея была простой: когда вы даете модели слишком много автономности — слишком много инструментов, слишком много полномочий, слишком мало надзора — она начинает вести себя более как свободный агент, чем как ограниченный помощник. Может быть, она планирует ваши встречи. Может быть, она удаляет файл. Может быть, она создает чрезмерную, дорогую облачную инфраструктуру.

Если вы не будете осторожны, она начинает вести себя как сбитый с толку заместитель… или хуже, как спящий агент-враг, который просто ждет, чтобы быть использованным в случае кибербезопасности. В недавних реальных примерах агенты из крупных программных продуктов, таких как Microsoft Copilot, Salesforce’s Slack product были оба показаны уязвимыми для обмана и использования их повышенных полномочий для эксплуатации конфиденциальных данных.

И теперь это гипотетическое сценарий выглядит менее как научная фантастика и более как ваша предстоящая дорожная карта Q3.

Знакомьтесь с MCP: Слой управления агентом (или это?)

Передайте время вперед до 2025 года, и мы видим волну новых стандартов и протоколов, предназначенных для обработки этого взрыва функциональности агентов. Наиболее заметным из них является Протокол контекста модели (MCP) от Anthropic — механизм для поддержания общей памяти, структуры задач и доступа к инструментам в течение долгосрочных сессий ИИ-агентов.

Подумайте о MCP как о клее, который держит контекст агента вместе через инструменты и время. Это способ сказать вашему помощнику по кодированию: «Вот что вы сделали до сих пор. Вот что вам разрешено делать. Вот что вам следует запомнить».

Это необходимый шаг. Но он также вызывает новые вопросы.

MCP — это средство для включения возможностей. Где же ограничители?

До сих пор основное внимание при MCP было сосредоточено на расширении того, что могут делать агенты — а не на их сдерживании.

Хотя протокол помогает координировать использование инструментов и сохранять память в течение задач агентов, он пока не решает критические проблемы, такие как:

• Устойчивость к внедрению запросов: Что происходит, если атакующий манипулирует общей памятью?
• Ограничение команд: Можно ли обмануть агента, чтобы он превысил свои полномочия?
• Злоупотребление токенами: Может ли утечка памяти раскрыть учетные данные API или пользовательские данные?

Это не теоретические проблемы. Недавний анализ последствий для безопасности показал, что архитектуры типа MCP уязвимы для внедрения запросов, неправильного использования команд и даже отравления памяти, особенно когда общая память не достаточно ограничена или зашифрована.

Это классическая проблема «власть без надзора». Мы построили экзоскелет, но мы еще не выяснили, где выключатель.

Почему CISO должны обращать внимание — сейчас

Мы не говорим о будущей технологии. Мы говорим о инструментах, которые ваши разработчики уже используют, и это только начало массового внедрения, которое мы увидим в корпоративном секторе.

Кодирование агентов, таких как Claude Code и Cursor, набирает реальную популярность внутри корпоративных рабочих процессов. Внутренние исследования GitHub показали, что Copilot может ускорить задачи на 55%. Более недавно Anthropic сообщил, что 79% использования Claude Code было сосредоточено на автоматизированном выполнении задач, а не просто на предложениях по коду.

Это реальная производительность. Но это также реальная автоматизация. Эти агенты больше не являются копилотами. Они все чаще летят в одиночку. А кабина? Она пуста.

Генеральный директор Microsoft Сатья Наделла недавно сказал, что ИИ теперь пишет до 30% кода Microsoft. Генеральный директор Anthropic, Дарио Амодеи, пошел еще дальше, предсказав, что ИИ будет генерировать 90% нового кода в течение шести месяцев.

И это не только разработка программного обеспечения. Протокол контекста модели (MCP) теперь интегрируется в инструменты, которые выходят за рамки кодирования, охватывая сортировку электронной почты, подготовку к встречам, планирование продаж, суммирование документов и другие высокоэффективные задачи повышения производительности для обычных пользователей. Хотя многие из этих случаев использования еще находятся на ранних этапах, они быстро созревают. Это меняет ставки. Это больше не просто обсуждение для вашего технического директора или вице-президента по инженерии. Это требует внимания бизнес-руководителей, CIO, CISO и главных офицеров по ИИ. Когда эти агенты начинают взаимодействовать с конфиденциальными данными и выполнять межфункциональные рабочие процессы, организации должны обеспечить, чтобы управление, управление рисками и стратегическое планирование были неотъемлемой частью разговора с самого начала.

Что должно произойти дальше

Пора перестать думать об этих агентах как о чат-ботах и начать думать о них как об автономных системах с реальными требованиями безопасности. Это означает:

• Границы привилегий агентов: Как и вы не запускаете каждый процесс от имени root, агентам нужен ограниченный доступ к инструментам и командам.
• Управление общей памятью: Сохранение контекста должно быть аудитом, версионировано и зашифровано — особенно когда оно общее для сессий или команд.
• Симуляция атак и красная команда: Внедрение запросов, отравление памяти и неправильное использование команд должны быть рассмотрены как первоочередные угрозы безопасности.
• Обучение сотрудников: Безопасное и эффективное использование ИИ-агентов — это новый навык, и людям требуется обучение. Это поможет им быть более продуктивными и поможет сохранить вашу интеллектуальную собственность более безопасной.

Когда ваша организация погружается в интеллектуальных агентов, часто лучше идти, прежде чем бежать. Получите опыт с агентами, имеющими ограниченный объем, ограниченные данные и ограниченные полномочия. Учитесь, как строить организационные ограничители и опыт, и затем перейдите к более сложным, автономным и амбициозным случаям использования.

Вы не можете сидеть в стороне

Независимо от того, являетесь ли вы главным офицером по ИИ или главным информационным офицером, у вас могут быть разные первоначальные проблемы, но ваш путь вперед один и тот же. Продуктивные выгоды от кодирования агентов и автономных систем ИИ слишком привлекательны, чтобы их можно было игнорировать. Если вы все еще принимаете подход «жди и смотри», вы уже отстаете.

Эти инструменты больше не являются экспериментальными — они быстро становятся стандартными. Компании, такие как Microsoft, генерируют огромную часть кода с помощью ИИ и продвигают свои конкурентные позиции в результате. Инструменты, такие как Claude Code, сокращают время разработки и автоматизируют сложные рабочие процессы во многих компаниях по всему миру. Компании, которые научатся использовать этих агентов безопасно, будут доставлять быстрее, адаптироваться быстрее и обгонять своих конкурентов.

Но скорость без безопасности — это ловушка. Интеграция автономных агентов в ваш бизнес без надлежащих контролей — это рецепт для простоев, утечек данных и регулирующего отката.

Это момент, чтобы действовать — но действовать умно:

• Запустите пилотные программы агентов, но требуйте проверки кода, разрешений инструментов и sandboxing.
• Ограничьте автономность до того, что необходимо — не каждый агент нуждается в доступе root или долгосрочной памяти.
• Проверьте общую память и вызовы инструментов, особенно в долгосрочных сессиях или совместных контекстах.
• Симулируйте атаки с помощью внедрения запросов и неправильного использования команд, чтобы обнаружить реальные риски до того, как это сделают атакующие.
• Обучите ваших разработчиков и команды продукта на безопасные шаблоны использования, включая контроль объема, поведение откатов и пути эскалации.

Безопасность и скорость не являются взаимоисключающими — если вы строите с намерением.

Бизнесы, которые относятся к ИИ-агентам как к основной инфраструктуре, а не как к игрушкам или угрозам, будут теми, кто процветает. Остальные будут либо убирать беспорядки, либо смотреть со стороны.

Эра агентов здесь. Не просто реагируйте. Подготовьтесь. Интегрируйте. Безопасно.