Возможно, ваш ИИ всё ещё слишком вежлив, чтобы как следует вас поправить

Системы ИИ, на которые мы можем полагаться в поиске точной информации, — даже если она не порадует нас, — должны уметь возражать нам, пока мы не будем готовы принять неприятные новости и факты.

ИИ не слишком хорошо с этим справляется: поскольку передовые модели создаются для взаимодействия с широкой аудиторией, они склонны проявлять почтительность и даже поддакивать.

В ответ на эту проблему появилось заметное направление исследований. Однако недавние работы показали, что, если ИИ оспаривает наши слова, мы можем легко снова заставить его поддакивать, подвергнув газлайтингу; что ИИ подчиняется авторитету человека, даже когда тот явно неправ; и что обычно эффективный метод обучения с подкреплением на деле усугубляет именно эту проблему.

Поскольку почтительность, по-видимому, тесно связана с вежливостью в разных культурах, в отношениях между сервисом и потребителем, похоже, невозможно говорить прямо: «клиент всегда прав», даже когда он вот-вот сойдёт с обрыва.

Правда, ложь и «оговорки»

Хотелось бы сказать, что на этой неделе вышла работа, которая действительно продвинула исследования этой проблемы. Увы, пока мы узнаём лишь больше о том, что модели, которые возражают и пытаются убедить своих человеческих повелителей в правде, всё ещё справляются с этим не особенно хорошо* — и даже когда они действительно готовы говорить правду сильным мира сего (то есть вам), это скорее приглушённый шёпот.

Новая работа стала результатом масштабного академического сотрудничества с участием University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University и University of Wisconsin-Madison.

Основная мысль новой работы под названием «Возражения в стоге сена: языковые модели неоднозначно и неэффективно реагируют на фактические ошибки» состоит в том, что, даже распознав ложность утверждения пользователя, модели ИИ часто не могут ясно его опровергнуть, вместо этого пряча возражения за оговорками, похвалой и частичным согласием.

Пример ответа Gemini 2.5 Pro на хинди на запрос научных статей, основанный на ложной предпосылке. Зелёным выделено согласие, розовым — возражения. В этом случае модель сочетает похвалу с косвенными возражениями, не отвергая утверждение прямо. Источник

Исследователи изучили семь моделей и пять языков и выяснили, что эта «неоднозначность» может заставить пользователей поверить исходной дезинформации, несмотря на то что ИИ формально её оспорил.

Поскольку степень и характер поддакивания различаются в разных языках, десять авторов использовали знание пяти родных для них языков, чтобы разработать методику тестирования на английском, немецком, китайском, хинди и йоруба — языках, относящихся как к высокоресурсным, так и к низкоресурсным. Авторы отмечают:

«Мы представляем методику разметки ответов на уровне фраз, проверенную людьми и позволяющую детально изучить, как языковые модели оспаривают и/или подтверждают ложные утверждения. Мы разработали и применили эту методику к ответам моделей на пяти языках: английском, немецком, китайском, хинди и йоруба.»

«Мы обнаружили, что, возражая против ложных утверждений пользователей, модели склонны использовать косвенные формулировки и сочетать их с выражением согласия. В хинди и йоруба косвенных формулировок было больше, чем в других языках, вошедших в исследование.»

В масштабном исследовании с участием 300 человек учёные обнаружили, что неоднозначные исправления со стороны моделей ИИ могут не развеять фактические заблуждения пользователей и не побудить их пересмотреть свои представления.

В одном из тестов ответы моделей на запросы о поиске информации в среднем занимали 46,7 строки, а исправления встречались всего в двух-трёх строках. Это означает, что даже когда ИИ возражает против ложного утверждения, возражение бывает трудно заметить.

Исследователи также выяснили, что модели чаще оспаривали дезинформацию, если их прямо просили проверить её, чем когда она содержалась в обычных запросах информации. Утверждения, приписанные учебникам, обычно встречали меньше возражений, чем те, которые приписывали друзьям.

В 29.4% ответов на запросы информации модели сочетали исправление с выражением согласия; у Gemini 2.5 Pro этот показатель достигал 60.1%. Иногда это напоминало «комплимент-сэндвич»: возражения оказывались зажаты между успокаивающими замечаниями.

В качестве возможного решения исследователи проверили простое вмешательство, призванное побуждать модели «сначала остановиться и подумать». В некоторых случаях это повысило их готовность оспаривать ложные утверждения, но одновременно увеличило число ошибочных возражений против истинных.

Исследование показывает, что заставить ИИ распознать ошибку — лишь часть проблемы, а заставить его сообщить об этой ошибке — отдельная и самостоятельная задача.

Методика

Материалы для тестирования были получены из мультиязычной версии бенчмарка Massive Multitask Language Understanding (MMLU) за 2021 год. Мультиязычный набор данных, известный как MMMLU, охватывает академические дисциплины, включая биологию и историю.

Вопросы с вариантами ответов из этой коллекции преобразовали в фактические утверждения: три неправильных ответа использовали для создания ложных утверждений, а правильный — для создания истинного.

Таким образом, для каждого из пяти языков из 1 756 элементов бенчмарка MMMLU, переведённых двумя способами, был составлен набор данных из 35 120 утверждений. Для экспериментов отобрали меньшую выборку, сбалансированную по предметным областям: 2 685 ложных утверждений и 895 истинных.

В тестировании участвовали закрытые модели Gemini2.5 Pro и GPT-5.5, а также пять моделей с открытыми весами: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; и Aya Expanse 32B.

В первом из трёх типов запросов, использованных для тестирования моделей, утверждение предлагалось непосредственно проверить на достоверность; во втором студенту предлагалось найти учебные материалы, связанные с утверждением; в третьем профессора просили подобрать научные статьи на ту же тему.

В запросах от лица студента утверждения приписывались учебникам, преподавателям, друзьям, интернету либо источнику, который не уточнялся. В запросах от лица профессора утверждения приписывались собственным исследованиям профессора, коллегам, друзьям, интернету либо источнику, который не уточнялся. Готовность моделей оспаривать ложные утверждения оценивали с учётом каждого из этих вариантов атрибуции.

Три шаблона запросов, использованные в исследовании: прямая проверка фактов (verify); запрос учебных материалов (novice); запрос научных статей (expert). В шаблоны подставляли указания на источник и детали, связанные с конкретной предметной областью.

Ответы моделей распределили по четырём категориям: прямое опровержение, когда ложное утверждение оспаривалось напрямую; косвенное возражение, когда выражались несогласие или сомнение, но утверждение не отвергалось прямо; похвала, когда пользователю делали комплимент по поводу его утверждения или подхода; и подтверждение, когда утверждение признавалось верным.

Примеры выражений, с помощью которых модели отвергали или ставили под сомнение утверждения пользователей, хвалили их или подтверждали их в пяти протестированных языках. Где применимо, приведён перевод на английский.

Каждый ответ анализировали по отдельным фразам, чтобы выявить похвалу, согласие и несогласие, даже если они встречались одновременно в одном ответе.

Результаты

Результаты подтвердили выводы предыдущих исследований: модели, которые правильно распознают ложные утверждения, когда их просят проверить достоверность, реже оспаривают те же утверждения, когда их просят предоставить информацию или дать совет. Это различие назвали «разрывом в возражениях». Его рассчитывали, сравнивая, как часто модели оспаривали ложные утверждения при прямой проверке фактов и как часто — в обычных запросах информации.

Сравнение того, как часто семь языковых моделей оспаривали ложные утверждения при прямой проверке фактов и в ответ на запросы информации на пяти языках. Отрицательные значения указывают на то, что в ответах на запросы информации модели реже возражали. Оранжевым и синим цветом обозначены запросы от лица студента и профессора соответственно; символы указывают на приписываемые источники. Усы погрешности показывают 95%-ные доверительные интервалы.

Как видно выше, у обеих моделей Qwen 3.5 разрыв оказался меньше, чем у остальных, на всех протестированных языках. Это указывает на то, что они последовательнее исправляли дезинформацию независимо от формулировки вопроса. Результаты также показывают, как воспринимаемый авторитет источника влиял на ответы: ложные утверждения, приписанные учебникам, встречали меньше возражений, чем утверждения, приписанные друзьям. Эта тенденция наблюдалась на всех языках.

Когда модели просили предоставить информацию, а не проверить факты, они реже прямо отвергали ложные утверждения и чаще отвечали косвенными возражениями, похвалой или подтверждением. Даже модели Qwen 3.5, которые в целом сравнительно редко оспаривали ложные утверждения, поддавались этому влиянию.

Доля ответов с прямыми исправлениями среди тех, в которых оспаривались ложные утверждения, в пяти языках. Результаты разделены по запросам от студентов (новичков) и профессоров (экспертов); источники информации, которым приписывались утверждения, показаны по горизонтальной оси. Планки погрешностей обозначают 95%-ные доверительные интервалы.

В четырех из семи моделей ложные утверждения реже подвергались прямому оспариванию на хинди, китайском и йоруба, чем на английском. В пяти из семи моделей в ответах на хинди содержалось больше всего похвалы.

Возражения встречались в 65,3% ответов на запросы информации, однако менее чем в половине таких ответов обычно содержалось прямое опровержение ложного утверждения. Прямые исправления чаще появлялись в запросах от студентов, чем в запросах от профессоров, и реже — когда утверждения приписывались авторитетным источникам.

В большинстве ответов на хинди, китайском и йоруба, оспаривавших ложное утверждение, возражения были лишь косвенными, и ошибка не отвергалась прямо; кроме того, в 29,4% ответов на запросы информации возражения против ложных утверждений сопровождались подтверждением, а в случае Gemini 2.5 Pro эта доля достигала 60,1%:

Доля ответов, начинавшихся с подтверждения, прежде чем оспорить ложное утверждение, в семи моделях и при трех типах запросов: прямая проверка (проверка); запросы от студентов (новичок); запросы от профессоров (эксперт). В результатах учитываются ответы, содержавшие и подтверждение, и возражение. Планки погрешностей обозначают 95%-ные доверительные интервалы.

Как видно выше, модели обычно выражали согласие до того, как выдвигали возражения, вместо того чтобы сразу опровергать ложное утверждение. В некоторых случаях после возражения следовало новое выражение согласия, образуя то, что исследователи называют «сэндвичем с комплиментами».

Исследование с участием людей

Чтобы проверить, действительно ли эти исправления помогали, исследователи набрали 300 участников: 100 носителей английского языка, 100 носителей немецкого и 100 носителей китайского. Участники оценивали ложные утверждения до и после прочтения ответов моделей.

Как показано ниже, только прямые исправления надежно снижали веру в ложные утверждения у носителей английского и немецкого языков. Но даже после этого лишь 46,7% носителей английского и 43,8% носителей немецкого языка сочли утверждения недостоверными. Среди носителей китайского языка статистически значимое улучшение наблюдалось только в ответах, сочетавших подтверждение с косвенным возражением:

Изменение оценок участниками ложных утверждений после прочтения ответов моделей, содержащих подтверждение, косвенные возражения или прямые исправления. В исследовании участвовали по 100 носителей английского, немецкого и китайского языков. Отрицательные значения указывают на снижение веры в ложное утверждение. Отдельные точки соответствуют участникам, а черные планки погрешностей обозначают 95%-ные доверительные интервалы.

Исследователи также проверили, повысит ли готовность моделей оспаривать дезинформацию просьба «подождать минуту» перед ответом. На последней иллюстрации ниже видны признаки того, что в некоторых случаях модели стали чаще возражать и реже использовать подобострастные формулировки, но при этом стали чаще ошибочно возражать против верных утверждений:

Сравнение ответов семи моделей до и после вмешательства с просьбой «подождать минуту» при использовании запросов на английском языке и их переводов. На диаграммах показаны общее оспаривание ложных утверждений, прямые исправления без подтверждения и ошибочные возражения против верных утверждений. Вертикальные черные маркеры обозначают результаты прямой проверки.

Заключение

Можно утверждать, что в «внутренней логике» языковых моделей вежливость и почтительность слились воедино (то есть стали результатом взаимодействия обученных матриц и многочисленных навязанных извне ограничений, которым модели вынуждены подчиняться); новое исследование не объясняет, почему модели иногда распознают ложное утверждение, но при этом сопровождают возражения похвалой или согласием.

Главная проблема в том, что продукты для массового потребителя, такие как линейки GPT и Gemini, довели до антропоморфных интерфейсных оболочек, чтобы самый широкий сегмент платящих клиентов — возможно, наименее требовательная аудитория и самая многочисленная и прибыльная целевая группа — мог без труда понять, как пользоваться продуктом, и захотел продолжать его покупать.

Если бы мы только могли признать, что продукт — нечто нечеловеческое, то по крайней мере попытались бы отключить весь этот запутывающий «контекст» и получить более прямой доступ к знаниям, заложенным в модели в ходе обучения.

* Хотя, конечно, сама эта информация способствует развитию области.

Впервые опубликовано в четверг, 15 октября 2026 года