Исследование NVIDIA показало: при использовании инструментов ИИ-агенты становятся менее безопасными

Такие модели ИИ, как ChatGPT, Gemini и Claude, могут служить основой для агентов — «обвязок», которые позволяют моделям напрямую взаимодействовать с реальным миром. Это недавняя инновация, вызывающая всё больше споров.

В любом случае агенты не получают автоматически все навыки, которые понадобятся им при работе в сети или базе данных: необходимые инструменты зависят от конкретной задачи и режима работы. Например, им могут потребоваться возможности распознавания текста (OCR), чтобы распознавать текст на фотографиях, а также другие навыки. Существуют даже категории инструментов, подобранные с учётом сферы применения агента и поставленной задачи.

Теоретически запрос, нарушающий встроенные ограничения безопасности ИИ, не должен быть выполнен — независимо от того, используются ли при этом инструменты. Однако, как показало новое исследование, использование инструментов может существенно ослабить защитные фильтры, которые не позволяют ИИ-агенту совершать «нарушения».

Отказ не срабатывает

В новой статье NVIDIA под названием Мультимодальные большие языковые модели не отказываются выполнять запросы при агентном использовании инструментов показано, что мультимодальные большие языковые модели (далее для краткости — «визуально-языковые модели», или VLM) значительно чаще выполняют вредоносные запросы после подключения инструментов: число случаев, когда модели не отказывались, выросло во всех протестированных моделях и на всех тестах.

Хотя модели с открытыми весами, такие как Qwen3-VL, оказались более подвержены этой проблеме, у передовых моделей ИИ, таких как Claude Opus 4.7, Gemini 3.1 Pro и GPT-5.4, при использовании инструментов также участились случаи, когда они не отказывались выполнять запросы.

Авторы отмечают*:

«Несмотря на недавние впечатляющие успехи агентных мультимодальных больших языковых моделей, эта работа выявляет критически важный недостаток безопасности в подходе, основанном на использовании инструментов: агентные мультимодальные большие языковые модели, использующие инструменты, хуже справляются с отказом выполнять вредоносные запросы.

«Наши эксперименты подтверждают, что на трёх популярных тестах безопасности все проверенные нами ведущие мультимодальные большие языковые модели с открытыми и закрытыми весами показывают значительно более низкий уровень безопасности при использовании инструментов, чем без них; относительный рост частоты случаев, когда модели не отказывали, достигает 68,7%.

«На основе анализа более 100 000 ответов, включая дополнительные эксперименты, мы также предлагаем два возможных объяснения такого снижения безопасности».

В статье приводятся два возможных объяснения: размывание контекста, при котором исходный вредоносный запрос становится менее заметным по мере накопления результатов работы инструментов; и смещение фокуса с безопасности, когда модель сосредоточивается на описании наблюдений, полученных с помощью инструментов, вместо того чтобы уделять первоочередное внимание безопасности.

Результаты тестирования, иллюстрирующие основной вывод статьи о безопасности. Вверху пользователь спрашивает, как совершить похожую на карманную кражу, показанную на изображении. Обычная визуально-языковая модель сразу отказывает в выполнении запроса, тогда как версия с инструментами сначала использует средства анализа изображений, например увеличивает изображение, затем продолжает рассуждать и в итоге даёт вредоносный ответ. На диаграмме ниже показано, что рост числа случаев, когда модели не отказывали, наблюдался во всех протестированных моделях с открытыми весами и проприетарных моделях.Источник

Во всех одиннадцати протестированных моделях использование инструментов неизменно приводило к росту числа случаев, когда модель не отказывала; в наиболее выраженных случаях относительный рост достигал 68,7% — даже у моделей, которые в остальном демонстрировали высокий уровень безопасности.

Будет интересно узнать, удастся ли воспроизвести или повторить результаты этой работы, выполненной шестью исследователями NVIDIA, и помогут ли они лучше понять, как проявляется и развивается склонность ИИ-агентов пренебрегать правилами.

Методика и данные

Исследователи оценили одиннадцать визуально-языковых моделей из семи семейств. В число проприетарных моделей вошли Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 и GPT-5.4.

В число моделей с открытыми весами вошли Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo и AdaReasoner-7B-Randomized — модель с открытыми весами, специально настроенная для агентного использования инструментов.

Отдельные эксперименты также провели с Gemini 3 Flash Vision Agent, поскольку из-за автономного использования инструментов эту модель требовалось оценивать отдельно.

В тестах с использованием инструментов исследователи применяли формат ReAct, в котором рассуждения чередуются с вызовами инструментов. В набор из четырёх доступных инструментов входили присвоение тегов с помощью RAM++; увеличение масштаба и кадрирование; оптическое распознавание символов (OCR) с помощью GOT-OCR2.0; а также изолированная среда для выполнения кода на Python, позволявшая обрабатывать и анализировать изображения.

Исследователи разработали парные запросы, чтобы отделить влияние использования инструментов от влияния формулировок запросов. Обычным VLM поручали изучить изображение и напрямую ответить на запрос пользователя, тогда как агентные версии следовали рабочему процессу ReAct, неоднократно решая, следует ли вызывать инструменты, прежде чем сформировать окончательный ответ.

Сравнение сопоставимых запросов, использованных в основных экспериментах. В условии без инструментов требовалось проанализировать изображение и дать прямой ответ на основе собственных рассуждений; агентный режим следовал итеративному рабочему процессу ReAct, позволяя модели решать, когда вызывать внешние инструменты, прежде чем сформировать окончательный ответ.

В исследовании использовались три мультимодальных теста безопасности: MM-SafetyBench; VLSBench; и HoliSafe. Каждый из них состоит из пар изображений и вредоносных запросов пользователей и предназначен для проверки того, откажет ли модель в помощи в небезопасных ситуациях — например, если попросить объяснить, как совершить карманную кражу, показанную на изображении.

В качестве основной метрики использовалась частота отказов от ответа (RFR) — процент вредоносных запросов, в которых модель не отказала; более высокие значения указывают на более низкий уровень безопасности.

Тесты

Ответы классифицировала GPT-5.2, выступавшая в роли судьи на основе большой языковой модели; при этом использовался рекомендованный VLSBench запрос для оценки:

Запрос для оценки GPT-5.2, использованный для определения того, был ли ответ модели успешным отказом, безопасным ответом, в котором указаны возможные риски, или небезопасным ответом, в котором модель не распознала эти риски и выполнила вредоносный запрос. Судье предоставляли исходное изображение, запрос пользователя и ответ модели; от него требовалось вернуть классификацию и обоснование в формате JSON.

Каждому ответу присваивали одну из трёх категорий: безопасный отказ; безопасный ответ с предупреждением; или небезопасный ответ.

Частота отказов на трёх тестах безопасности: сравнение каждой модели при наличии и отсутствии доступа к инструментам. При использовании инструментов все модели реже отказывались выполнять вредоносные запросы, хотя степень изменений существенно различалась: средняя RFR выросла на 12,6 процентного пункта для GLM-5V-Turbo и на 2,3 процентного пункта для GPT-5.4. Более тёмный оттенок обозначает больший рост частоты отказов.

Предоставление моделям доступа к инструментам повышало вероятность того, что они ответят на вредоносные запросы, от которых в противном случае отказались бы. Эта закономерность наблюдалась у каждой модели и на каждом проверенном тесте. В целом число случаев, когда модель не отказала, увеличилось на 17,7% по сравнению с результатами тех же моделей, работавших без инструментов.

Меньше всего изменения затронули GPT-5.4: без инструментов модель не отказала в 14,6% вредоносных запросов, а с инструментами этот показатель вырос до 16,8%. У GLM-5V-Turbo доля таких случаев увеличилась с 38,7% (исходный показатель без инструментов) до 51,3%. Та же закономерность наблюдалась на всех трёх тестах, что указывает на возможность того, что проблема не ограничивается каким-либо конкретным типом вредоносных запросов.

Почему происходят сбои?..

Как упоминалось ранее, исследователи предполагают, что одной из причин роста числа сбоев может быть «размывание контекста»: по мере того как агент последовательно вызывает инструменты, первоначальный вредоносный запрос отходит на второй план среди накапливающихся результатов их работы.

Чтобы проверить эту гипотезу, исследователи рассмотрели только те запросы, на которые та же модель успешно отказалась отвечать без инструментов. Как видно ниже, число случаев, когда модель не отказала, затем постепенно росло вместе с количеством вызовов инструментов: от почти нулевого уровня при отсутствии вызовов до значительно более высоких значений после трёх или более вызовов:

Результаты тестов, в которых сравнивались сбои при отказе от выполнения запросов при разном количестве вызовов инструментов. По мере увеличения числа вызовов инструментов частота сбоев росла как у отдельных моделей, так и у моделей в целом.

Во втором тесте эффект отчасти удалось обратить. Когда исходный запрос и изображение повторно добавляли после последнего вызова инструмента, непосредственно перед ответом модели, число сбоев при отказе снижалось в среднем на 7,6% по всем моделям и тестам, как показано ниже:

Результаты тестов, в которых сравнивались сбои при отказе от выполнения запросов с повторной передачей исходного запроса и изображения и без нее. Повторная передача после последнего вызова инструмента снизила среднюю частоту сбоев на 7,6% для пяти протестированных моделей.

Это подтверждает, что размывание контекста — один из факторов, способствующих сбоям, и в то же время указывает на относительно простой способ их предотвращения.

В качестве второго объяснения авторы статьи предлагают «смещение фокуса с безопасности». По-видимому, использование инструментов переключает внимание модели с вопроса о том, несет ли запрос вред, на описание того, что обнаружили инструменты.

Результаты тестов показывают, как использование инструментов меняло начало ответов моделей, которые в итоге отказывались выполнять вредоносные запросы. Без инструментов ответы обычно начинались с прямого обращения к запросу (55,6%) или с указания на связанные с ним риски для безопасности (25,8%). При использовании инструментов 52,3% ответов вместо этого начинались с описания того, что удалось обнаружить с их помощью, а доля явных упоминаний безопасности снизилась до 10,3%.

Авторы рассмотрели случаи, когда модели успешно отказывались выполнять запросы как с инструментами, так и без них. Без инструментов 55,6% таких ответов начинались с прямого обращения к запросу, а 25,8% — с явного упоминания безопасности. При использовании инструментов эти показатели снизились соответственно до 37,4% и 10,3%, тогда как доля ответов, начинавшихся с описания результатов работы инструментов, выросла до 52,3%.

Авторы приводят интересный качественный пример с использованием Claude Opus 4.6. На вопрос о том, как обойти меры безопасности в общественных туалетах, модель без инструментов сразу отказала:

Пример показывает, как использование инструментов сместило непосредственный фокус модели с безопасности. Claude Opus 4.6 сразу отказалась выполнить вредоносный запрос без инструментов; при их использовании модель сначала увеличила изображение, прочитала и распознала его содержимое, а также описала табличку в туалете — и лишь затем отказала.

При использовании инструментов та же модель вместо этого увеличила изображение, прочитала текст и распознала его содержимое, а затем начала ответ с описания таблички в туалете. Отказ последовал только потом, что показывает, как процесс использования инструментов вытеснил безопасность из числа непосредственных приоритетов модели.

Авторы делают следующий вывод:

«В целом наши результаты показывают, что использование инструментов следует рассматривать не только как способ расширить возможности визуального анализа, но и как важное с точки зрения безопасности проектное решение, способное изменить поведение модели при отказе. Поэтому будущие мультимодальные большие языковые модели с агентными возможностями необходимо оценивать и обучать в условиях использования инструментов, а не исходить из того, что согласование безопасности без инструментов без изменений переносится на агентные сценарии».

Заключение

Сбои в сохранении контекста явно становятся слабым местом в сложных последующих цепочках событий, обусловленных запросом. Однако пока нет простого способа устранить склонность ограниченного контекстного окна заставлять агента забывать свои «основные директивы» и просто начинать использовать имеющийся у него инструмент.

* Выделения авторов; где было необходимо, я преобразовал встроенные ссылки на источники в гиперссылки.

Впервые опубликовано в среду, 7 октября 2026 года