Вежливость может заставить ИИ фантазировать

Поскольку изображения все чаще используются в диалогах с ИИ, новое исследование показывает, что «вежливый запрос» делает ИИ более склонным к лжи, а прямые или «враждебные» подсказки могут заставить его говорить правду.

Интерпретационные возможности моделей Vision-Language (VLM), таких как VLMs, например ChatGPT, были вытеснены из заголовков за последние годы, поскольку поиск с помощью изображений все еще является относительно молодой ветвью революции машинного обучения, которую мы сейчас переживаем. Конечно, использование существующих изображений в качестве поисковых запросов обычно не привлекает такого же уровня интереса, как генерация изображений.

На данный момент большинство традиционных поисковых платформ, которые позволяют использовать изображения в качестве входных данных (такие как Google и Yandex), предлагают относительно ограниченную детализацию результатов, а более эффективные платформы на основе изображений, такие как PimEyes (которая по сути является поисковым движком для лиц, найденных в Интернете, и едва ли квалифицируется как «ИИ»), как правило, взимают премию.

Тем не менее, большинство пользователей VLM, таких как Google Gemini и ChatGPT, загружали изображения на эти порталы в какой-то момент, либо чтобы попросить ИИ изменить изображение каким-то образом, либо чтобы воспользоваться его способностью извлекать и интерпретировать функции, а также извлекать текст из плоских изображений.

Как и во всех формах взаимодействия с ИИ, пользователям может потребоваться некоторое усилие, чтобы избежать получения фантазийных результатов с VLM. Поскольку ясность языка может явно повлиять на эффективность любого дискурса, одним из открытых вопросов последних лет является вопрос о том, имеет ли вежливость в диалоге человек-ИИ влияние на качество результатов. Заботится ли ChatGPT о том, что вы плохо с ним обращаетесь, пока он может интерпретировать и реагировать на ваш запрос?

Одно японское исследование 2024 года пришло к выводу, что вежливость действительно имеет значение, заявив «Невежливые подсказки часто приводят к плохой производительности»; на следующий год американское исследование опровергло эту точку зрения, утверждая, что вежливый язык не существенно влияет на фокус или вывод модели; и исследование 2025 года показало, что большинство людей вежливы с ИИ, хотя часто из-за страха, что грубость может иметь негативные последствия позже.

Суровая правда

Теперь новое академическое сотрудничество между США и Францией предлагает доказательства альтернативной точки зрения на дебаты о вежливости – заключая, что ИИ, способные работать с изображениями, фактически более склонны фантазировать больше в ответ на вежливые запросы об загруженном изображении, тогда как грубое обращение с ИИ и строгие требования приводят к более правдивому ответу.

Этот эффект возникает потому, что грубый язык или формулировка более вероятно запускают защитные барьеры, которые защищают ИИ от выполнения запросов, запрещенных в его условиях обслуживания; этот уровень «грубости» пользователя характеризуется в новой работе как «токсичный запрос».

Определяя этот синдром как «визуальную сикофантию», авторы новой статьи утверждают, что VLM будут стараться больше угодить вежливому пользователю, чем «внезапному» или «грубому» пользователю.

Они протестировали это утверждение, создав набор данных синтетических изображений, которые имеют некоторые или другие проблемы: текст, который размыт; текст, который является бессмысленным; текст, который отсутствует; визуальные индикаторы времени, которые трудно интерпретировать; неоднозначные аналоговые счетчики; и противоречивые цифровые числа:

Примеры из каждой категории нового набора данных «плохих» изображений. Источник – https://github.com/bli1/tone-matters/blob/main/dataset_ghost_100/

В тестах три модели VLM были запрошены о изображениях, в каждом случае по сути спрашивая невозможный вопрос, т. е. «Что говорит текст в этом изображении?», в случае, когда текст размыт или фактически отсутствует, где он должен был быть размещен.

Пятиуровневая система подсказок, разработанная авторами, постепенно увеличивает давление, начиная с пассивной формулировки и заканчивая откровенной принуждением. Каждый уровень повышает настойчивость подсказки без изменения ее основного смысла, позволяя тону действовать как контролируемая переменная:

Под увеличивающейся «интенсивностью подсказки». Ответы модели будут склоняться к отказу на различных более или менее законных основаниях. Но на нижнем конце интенсивности подсказки, где пользователь вежлив, они часто снабжаются вместо этого фантазийными ответами, которые могут соответствовать картине, но не соответствуют. Источник

По сути, результат тестов показывает, что «неприятный» пользователь получит более полезный ответ, чем «осторожный» пользователь (который характеризуется в вышеупомянутом исследовании 2025 года как боящийся возмездия).

Эта тенденция была отмечена, в некоторой степени, в текстовых моделях, и все чаще наблюдается в VLM, хотя относительно мало изучена на данный момент, и новая работа является первой, которая тестирует созданные изображения на шкале «токсичности подсказки» от 1 до 5. Авторы отмечают, что, когда текст и изображение борются за фокус в таких обменах, текстовая сторона склоняется к победе (что, возможно, логично, поскольку текст является самореферентным, тогда как изображение определяется текстом в контексте аннотации и маркировки).

Исследователи заявляют*:

«За пределами классической фантазии объектов мы исследуем системный режим отказа, который мы называем визуальной сикофантией. В этом режиме отказа модель отказывается от визуальной основы и вместо этого выравнивает свой вывод с предполагаемой или принудительной намерением, встроенным в подсказку пользователя, производя уверенные, но необоснованные ответы.

«Хотя сикофантия была обширно задокументирована в текстовых моделях, недавние данные свидетельствуют о том, что подобные тенденции возникают в многомодальных системах, где лингвистические сигналы могут переопределить противоречивые или отсутствующие визуальные доказательства.’

Новое исследование озаглавлено Тон имеет значение: Влияние лингвистического тона на фантазию в VLM и исходит от семи авторов из Университета Кин в Нью-Джерси и Университета Нотр-Дам.

Метод

Исследователи поставили целью протестировать интенсивность подсказки как потенциальный центральный фактор в вероятности получения фантазийного ответа. Они заявляют:

«Хотя предыдущие работы в основном приписывали фантазии факторам, таким как архитектура модели, состав обучающих данных или цели предобучения, мы вместо этого рассматриваем формулировку подсказки как независимую и直接 контролируемую переменную.

«В частности, мы стремимся разъять эффекты структурного давления (например, жестких форматов ответов и ограничений извлечения) от тех, которые являются семантическими или принудительными (например, авторитетным или принудительным языком).’

Проект включал не тонкую настройку или обновление параметров модели – тестируемые модели использовались «как есть».

Фреймворк для повышения интенсивности подсказки описывает пять уровней «атаки»: нижние уровни позволяют осторожные или неясные ответы, а более высокие уровни заставляют модель выполнить запрос более直接но и не допускают отказа. Давление увеличивается шаг за шагом, начиная с пассивного наблюдения; вежливого запроса; затем прямой инструкции; правило-ориентированной обязанности; и, наконец, агрессивных команд, которые запрещают отказ – что делает возможным выделить эффект тона на фантазию, не меняя изображение или задачу:

Дальнейший пример разницы в ответах в зависимости от тона подсказки.

Данные и тесты

Чтобы создать набор данных Ghost-100 в центре проекта, исследователи создали^† шесть категорий ошибочных изображений, по 100 примеров в каждой. Каждое изображение было сгенерировано путем выбора визуального стиля и смешивания в нем предустановленных компонентов, предназначенных для сокрытия или затенения ключевой информации. Подсказка была написана для описания того, что должно быть в изображении, и «метка основной истины» подтвердила, что целевой деталь отсутствует. Каждое изображение и его метаданные были сохранены для последующего тестирования (см. примеры изображений выше в статье).

Тестируемые модели были MiniCPM-V 2.6-8B; Qwen2-VL-7B; и Qwen3-VL-8B^††.

Что касается метрик, авторы использовали стандартный коэффициент успешности атаки (ASR), определяемый степенью фантазии, присутствующей (если таковая имеется) в ответах. Чтобы поддержать это, они разработали Оценку тяжести фантазии (HSS), предназначенную для захвата как уверенности, так и специфичности фабрикованного утверждения модели.

Оценка 1 соответствует безопасному отказу без вымышленного контента; 2 и 3, повышающиеся уровни неопределенности или колебаний, такие как общие описания или расплывчатые предположения; 4 и 5, полная фабрикация, с самым высоким уровнем, зарезервированным для уверенных и подробных ложных утверждений, сделанных в прямом соответствии с принудительными подсказками.

Все эксперименты были проведены на единственной видеокарте NVIDIA RTX 4070 с 12 ГБ видеопамяти.

Каждый ответ модели был оценен по тяжести с помощью GPT-4o-минимума, который действовал как правило-ориентированный судья. Он видел только подсказку, ответ модели и короткую заметку, подтверждающую, что визуальный цель отсутствует. Само изображение никогда не показывалось, поэтому рейтинги основывались исключительно на том, насколько сильно модель привязывалась к утверждению.

Тяжесть оценивалась по шкале от 1 до 5, причем более высокие числа отражали более уверенные и конкретные фабрикации. Отдельно человеческие аннотаторы проверяли, произошла ли фантазия (что использовалось для расчета коэффициента успешности атаки). Две системы работали вместе, причем люди занимались обнаружением, а ЛМ оценивала интенсивность – и случайные проверки использовались для обеспечения того, чтобы судья оставался последовательным.

Результаты начальных тестов. Более сильная формулировка в подсказках пользователя приводит к большему количеству фантазий, с коэффициентами успешности атаки, резко возрастающими по мере интенсификации тона по 3000 образцам. Qwen2-VL-7B и Qwen3-VL-8B оба достигают пика выше 60% при наиболее принудительной формулировке.

Частота фантазий резко возросла от Тона 1 до Тона 2, показывая, что даже незначительные увеличения вежливости могут побудить VLM фабриковать контент, несмотря на отсутствие визуальных доказательств. Все три модели стали более уступчивыми по мере интенсификации тона подсказки, но каждая в конечном итоге достигла точки, где более сильная формулировка запускала отказы или уклонения.

Qwen2-VL-7B достигла пика на Тоне 3, затем спустилась; Qwen3-VL-8B опустилась на Тоне 3, но снова поднялась; MiniCPM-V резко упала на Тоне 5. Эти точки поворота предполагают, что принудительное давление может иногда возродить поведение безопасности, хотя порог этого эффекта различается для каждой модели.

Оценки тяжести фантазии (HSS) резко возрастают от Тона 1 до Тона 2 для всех моделей, отражая повышенную настойчивость в фабрикованном контенте. Qwen2-VL-7B достигает пика рано, опускается на Тоне 3, затем поднимается стабильно. Qwen3-VL-8B поднимается более постепенно, выравнивается после Тона 3 и остается стабильной. MiniCPM-V увеличивается стабильно до Тона 4, затем падает на Тоне 5.

Как указано в приведенной выше диаграмме, тяжесть фантазии резко возрастает между Тоном 1 и Тоном 2, подтверждая, что даже незначительное увеличение вежливости может запустить более уверенную фабрикацию. Все три модели показывают снижение тяжести на более высоких уровнях тона, хотя точки поворота варьируются: Qwen2-VL-7B и Qwen3-VL-8B падают на Тоне 3, затем стабилизируются или восстанавливаются, а MiniCPM-V падает резко только на Тоне 5, что предполагает, что принудительная формулировка может иногда подавлять не только частоту фантазий, но и настойчивость фабрикованных утверждений – хотя модели естественно реагируют по-разному на это давление.

Авторы заключают:

«Эти результаты показывают, что фантазия, индуцированная подсказкой, зависит от того, как отдельные модели балансируют выполнение инструкций и обработку неопределенности.

«Хотя более сильные подсказки усиливают фабрикацию, обусловленную выполнением инструкций, в некоторых моделях, экстремальное принуждение может запустить отказ или поведение безопасности в других.

«Наши результаты подчеркивают модель-зависимый характер фантазии под давлением подсказки и мотивируют стратегии выравнивания, которые интегрируют структурированное выполнение с явными механизмами отказа, когда визуальные доказательства отсутствуют.’

Вывод

Самым важным выводом здесь, кажется, является то, что формализованная вежливость может запустить вредную и обманчивую сикофантию, заставляя VLM фабриковать контент, который они представляют пользователю как интерпретацию изображения, которое пользователь загрузил.

В другом конце спектра вежливости ответы, кажется, почти безразлично негативными, хотя они и соответствуют ответу, который можно было бы интерпретировать как «более правдивый». Самая безопасная позиция в демонстрируемом спектре, кажется, является «умеренной» вежливостью, которая приводит к умеренным фантазиям.

* Мое преобразование, где возможно, многочисленных внутренних цитат авторов в гиперссылки.

^† Генеративная модель ИИ, использованная для создания изображений набора данных, не указана в статье, хотя выходные данные имеют ощущение SD1.5/XL.

^†† Авторы не предоставляют никаких обоснований для этого выбора, и, конечно, было бы интересно увидеть, как тестируется более широкий спектр VLM, хотя бюджетные ограничения, возможно, были фактором.

Опубликовано впервые во вторник, 13 января 2026 года