OpenAI признает, что браузеры ИИ могут никогда не быть полностью защищенными

OpenAI опубликовала блог-пост о безопасности 22 декабря, содержащий поразительное признание: атаки на внедрение промптов против браузеров ИИ “может никогда не быть полностью решено”. Это признание приходит всего через два месяца после запуска ChatGPT Atlas, своего браузера с автономными возможностями агента.

Компания сравнивает внедрение промптов с “мошенничеством и социальной инженерией в Интернете” – постоянными угрозами, которые защитники управляют, а не устраняют. Для пользователей, которые доверяют агентам ИИ для навигации в Интернете от их имени, эта формулировка вызывает фундаментальные вопросы о том, сколько автономии является уместным.

Что раскрыла OpenAI

Блог-пост описывает оборонительную архитектуру OpenAI для Atlas, включая систему обучения с помощью подкрепления “автоматического атакующего”, который охотится за уязвимостями до того, как злоумышленники найдут их. Компания утверждает, что эта внутренняя красная команда обнаружила “новые стратегии атак, которые не появлялись в нашей кампании человеческой красной команды или внешних отчетах”.

Одно демонстрационное показало, как злонамеренный электронный письмо могло захватить агент ИИ, проверяющий почтовый ящик пользователя. Вместо того, чтобы составить ответ на отсутствие в офисе, как было указано, скомпрометированный агент отправил сообщение об уходе. OpenAI говорит, что ее последнее обновление безопасности теперь обнаруживает эту атаку, но этот пример иллюстрирует ставки, когда агенты ИИ действуют автономно в чувствительных контекстах.

Автоматический атакующий “может направлять агента на выполнение сложных, долгосрочных вредоносных рабочих процессов, которые разворачиваются за десятки (или даже сотни) шагов”, – написала OpenAI. Эта возможность помогает OpenAI найти недостатки быстрее, чем внешние атакующие, но она также показывает, насколько сложными и вредоносными могут стать атаки на внедрение промптов.

Изображение: OpenAI

Фундаментальная проблема безопасности

Атаки на внедрение промптов используют базовое ограничение больших языковых моделей: они не могут надежно различать законные инструкции и вредоносный контент, встроенный в данные, которые они обрабатывают. Когда браузер ИИ читает веб-страницу, любой текст на этой странице потенциально может повлиять на его поведение.

Исследователи безопасности продемонстрировали это повторно. Браузеры ИИ сочетают умеренную автономию с очень высоким доступом – сложной позицией в пространстве безопасности.

Атаки не требуют сложных методов. Спрятанный текст на веб-страницах, тщательно созданные электронные письма или невидимые инструкции в документах могут манипулировать агентами ИИ для выполнения непредвиденных действий. Некоторые исследователи показали, что вредоносные промпты, спрятанные в скриншотах, могут выполняться, когда ИИ делает фотографию экрана пользователя.

Как реагирует OpenAI

Защитные меры OpenAI включают модели, обученные с помощью противников, классификаторы внедрения промптов и “препятствия”, которые требуют подтверждения пользователя перед чувствительными действиями. Компания рекомендует пользователям ограничить то, что может получить доступ Atlas – ограничивать вход, требовать подтверждения перед платежами или сообщениями и предоставлять узкие инструкции, а не широкие мандаты.

Эта рекомендация откровенна. OpenAI по сути советует относиться к своей собственной продукции с подозрением, ограничивая автономию, которая делает агентские браузеры привлекательными в первую очередь. Пользователи, которые хотят, чтобы браузеры ИИ обрабатывали всю их почту или управляли их финансами, принимают на себя риски, которые компания сама не одобряет.

Обновление безопасности снижает количество успешных атак на внедрение промптов. Это улучшение имеет значение, но оно также означает, что остающаяся поверхность атаки сохраняется – и атакующие адаптируются к любой защите, которую развертывает OpenAI.

Отраслевые последствия

OpenAI не одна сталкивается с этими проблемами. Безопасностная архитектура Google (GOOGL ) для агентских функций Chrome включает несколько слоев защиты, включая отдельную модель ИИ, которая проверяет каждое предложенное действие. Браузер Perplexity Comet столкнулся с аналогичным вниманием со стороны исследователей безопасности в Brave, которые обнаружили, что навигация по вредоносной веб-странице может вызвать вредоносные действия ИИ.

Отрасль, кажется, сходится на общем понимании: внедрение промптов – это фундаментальное ограничение, а не ошибка, которую можно исправить. Это имеет значительные последствия для видения агентов ИИ, которые обрабатывают сложные, чувствительные задачи автономно.

Что следует учитывать пользователям

Честная оценка неудобна: браузеры ИИ – это полезные инструменты с врожденными ограничениями безопасности, которые не могут быть устранены за счет лучшей инженерии. Пользователи сталкиваются с компромиссом между удобством и риском, который ни один поставщик не может полностью решить.

Рекомендация OpenAI – ограничить доступ, требовать подтверждения, избегать широких мандатов – сводится к совету использовать менее мощные версии продукта. Это не циничная позиция; это реалистичное признание текущих ограничений. Помощники ИИ, которые могут делать больше, также могут быть манипулированы для выполнения большего.

Аналогия с традиционной безопасностью веб-страниц инструктивна. Пользователи все еще попадают на фишинговые атаки десятилетиями после их появления. Браузеры все еще блокируют миллионы вредоносных сайтов ежедневно. Угроза адаптируется быстрее, чем защиты могут навсегда решить ее.

Браузеры ИИ добавляют новый измерение к этой знакомой динамике. Когда люди просматривают, они приносят суждение о том, что выглядит подозрительно. Агенты ИИ обрабатывают все с равным доверием, что делает их более восприимчивыми к манипуляциям, даже когда они становятся более способными.

Путь вперед

Прозрачность OpenAI заслуживает признания. Компания могла бы выпустить обновления безопасности тихо, не признавая постоянства основной проблемы. Вместо этого она опубликовала подробный анализ векторов атак и оборонительных архитектур – информацию, которая помогает пользователям принимать обоснованные решения и конкурентам улучшать свои собственные защиты.

Но прозрачность не решает фундаментального напряжения. Чем более мощными становятся агенты ИИ, тем более привлекательными они становятся в качестве целей. Те же возможности, которые позволяют Atlas обрабатывать сложные рабочие процессы, также создают возможности для сложных атак.

На данный момент пользователи браузеров ИИ должны подходить к ним как к мощным инструментам с осмысленными ограничениями – а не как к полностью автономным цифровым помощникам, готовым обрабатывать чувствительные задачи без надзора. OpenAI была необычно откровенна о этой реальности. Вопрос в том, будет ли маркетинг отрасли соответствовать тому, что команды безопасности уже знают.