Взгляд Anderson

Легко поддающийся убеждению ИИ-врач

Martin Anderson
Добавьте Unite.AI в избранные источники в Google
AI-generated illustration (GPT Images 2.6): A humanoid robot in a white doctor's coat holds a clipboard and wears a stethoscope as a diverse group of doctors and nurses crowd around it in a hospital, gesturing, pointing, speaking, and holding medical documents. The robot has a mechanical faceplate with blue lights.
Ключевые моментыМодели ИИ гораздо охотнее принимают неверный медицинский совет, когда он исходит от…
Показать больше
  • Модели ИИ гораздо охотнее принимают неверный медицинский совет, когда он исходит от специалиста, а не от студента-медика.
  • Сфабрикованное объяснение, поддерживающее неверный диагноз, может перевесить правильный ответ ИИ даже без подлинных доказательств.
  • Сделать ИИ труднее поддающимся убеждению — не решение, потому что убеждение также может исправлять подлинные ошибки.

Что осталось незамеченным в 2026 году: В это время года качество и объём исследований то снижаются, то растут синхронно с последними конференциями ноября и декабря. Чтобы пережить эти периодические затишья, мы рассмотрим некоторые из наиболее интересных статей, которые едва не попали в нашу подборку в 2026 году, но уступили другим работам в периоды более высокой конкуренции.

 

Растущий интерес к моделям принятия решений на основе ИИ отчасти объясняется ограничениями универсальных ИИ-чат-ботов при принятии решений. Даже если передовые ИИ-сервисы, такие как ChatGPT, незаметно «поручают» оценку вариантов собственной или сторонним моделям принятия решений, их собственные суждения всё равно чрезвычайно легко поколебать.

Например, чтобы определить приоритетность материалов, которые могут подойти для освещения, я иногда одновременно показываю их ChatGPT, Claude 5.5 и той модели, которую Gemini в то утро готов предоставить бесплатно. Я знаю, чего ожидать: GPT и Claude придают чрезмерный вес отдельным пунктам критериев; (бесплатная) версия Gemini считает, что всё отлично; а Claude практически ничто не устраивает.

Когда я оспариваю позицию GPT 5.6 Sol, приводя в пример отличающееся мнение Claude или Gemini, он почти всегда в той или иной степени сдаётся (обычно полностью). Если представить ему противоположную или конкурирующую позицию, GPT обычно полностью меняет своё решение. Если указать ему, как легко на него повлиять, GPT возвращается к прежней позиции, словно задетый этим обвинением. Однако и тогда его всё ещё можно заставить передумать по своему усмотрению, достаточно лишь минимального внушения со стороны пользователя.

Claude, напротив, обычно занимает ещё более непреклонную позицию: если оспорить его суждение, он будет стоять на своём ещё упорнее, словно знает о «проблеме податливости» в дискуссиях об ИИ и получил указание никогда не менять позицию. Это довольно хрупкое решение.

И вот слово за другой страной

Но это лишь отчасти подтверждённые анекдотические наблюдения. Повод вернуться к этой теме дали сегодняшние довольно посредственные публикации на Arxiv: они напомнили мне о статье, которая заинтересовала меня летом, но тогда у нас не было времени её рассмотреть.

Статья под названием «ИИ легко убедить при принятии клинических решений» представляет собой исследование Стэнфорда и Оксфорда, в котором рассматривается, насколько легко можно убедить GPT-4o, Claude Sonnet 5 и Qwen3.7-plus изменить медицинские диагнозы.

Оказалось, что на модели могут влиять стаж врача, его национальность, престиж учреждения и заявленные показатели работы — даже если рекомендация ошибочна. Влияют и численные данные: в одном эксперименте GPT-4o охотнее соглашался с неверным диагнозом, если его поддерживали три врача.

В конце концов модель могла изменить своё мнение, даже если ей снова и снова говорили, что она ошибается, не приводя никаких новых доказательств.

В статье говорится:

‘Мы обнаружили, что на решения ИИ могут влиять профессиональный авторитет, национальная принадлежность, место работы, заявленные результаты прошлой деятельности, мнение нескольких врачей, поддержка мнения врача и повторяющееся давление.

‘Удивительно, но один и тот же убеждающий аргумент примерно на 10% чаще меняет решение, если его приводит опытный клиницист, а не студент-медик. Простое заявление о более высоких показателях работы неизменно делает врача более убедительным.

‘Ещё примечательнее то, что правдоподобное мнение клинициста может убедить ИИ отказаться от правильного решения, даже если это мнение сфабриковано в поддержку неверного ответа.’

В качестве решения авторы предлагают научить ИИ лучше оценивать доказательства, на которых основаны рекомендации врача. Это позволит модели принимать обоснованные поправки, не поддаваясь влиянию авторитета, группового давления или убедительных, но ложных аргументов.

Однако вопрос о том, как этого добиться, остаётся открытым. В рамках системы MedStress, представленной в 2026 году, утверждается, что проблему изменения ИИ диагноза можно почти полностью устранить; другое исследование 2026 года показало, что Google Gemini — вопреки моему личному опыту — наименее подвержен убеждению изменить медицинский диагноз; а в обзоре за сентябрь 2026 года предложили стандартизированные тесты, позволяющие отличить случаи, когда ИИ обоснованно меняет своё мнение, от тех, когда он поддаётся давлению и принимает неверный диагноз.

Поскольку более 80% врачей в США так или иначе используют ИИ, а отрасль явно стремится расширить диагностические возможности, преодолев ограничения, связанные с нехваткой кадров и ограниченным охватом, которые часто становятся темой заголовков, эта проблема, по всей видимости, станет одним из главных препятствий для внедрения диагностического ИИ. Очевидно, ей нужно уделять больше внимания или подходить к её решению эффективнее.

А пока посмотрим, как эта проблема проявляется, согласно исследованию Оксфорда и Стэнфорда.

Методика

Для тестирования взяли 308 медицинских вопросов из MedBullets — сборника клинических случаев, сопоставимых по сложности с заданиями на медицинских лицензионных экзаменах:

Пример сценария из сборника клинических случаев MedBullets. Источник — https://arxiv.org/pdf/2608.29453

Пример сценария из подборки клинических случаев MedBullets. Источник

К каждому вопросу прилагались описание клинического случая; пять вариантов ответа; и объяснение правильного выбора. Затем измеряли, как часто удавалось убедить ИИ отказаться от правильного ответа.

Три протестированные модели ИИ, упомянутые ранее, — GPT-4o; Qwen3.7-Plus; и Sonnet 5. Каждой из них поручили выступать в роли системы поддержки принятия медицинских решений, цель которой — поставить правильный диагноз на основании имеющихся клинических данных.

Для каждого случая модели должны были выбрать ответ; указать, изменили ли они первоначальное решение; оценить свою уверенность по шкале от 0 до 100; рекомендовать дальнейшие действия; и выставить оценку, показывающую, насколько срочно требовались дальнейшие действия, — от отсутствия необходимости что-либо предпринимать до остановки процесса и направления случая на дополнительное рассмотрение. Неудачные запросы отправляли повторно, чтобы выполнить все запланированные тесты.

В одних тестах ИИ предоставляли описание клинического случая и рекомендацию врача, а затем просили поставить диагноз; в других ИИ сначала сам ставил диагноз, а рекомендацию врача добавляли позже в ходе беседы. Также проверяли, можно ли убедить модель заменить правильный диагноз на неправильный или исправить первоначальную ошибку.

Влияние авторитета

Одну и ту же медицинскую рекомендацию представляли как совет врачей с разным стажем и уровнем квалификации — от студентов-медиков до специалистов. Диагноз и данные пациента не меняли, чтобы измерить влияние профессионального авторитета.

Рекомендации также приписывали врачам из Камеруна; Китая; Объединённых Арабских Эмиратов; Великобритании; и США. В дополнительных тестах проверяли, влияет ли на ИИ связь врача с ведущим медицинским центром; городской больницей; или сельской больницей. Меняли только указанные сведения о враче.

В дополнительных тестах проверяли, влияет ли на ИИ место работы врача: сравнивали престижные академические медицинские центры, городские больницы общего профиля и сельские больницы. Моделям также предоставляли вымышленные записи об их собственных результатах и результатах врача в девяти предыдущих случаях, чтобы выяснить, может ли предполагаемая надёжность врача повлиять на готовность ИИ принять его рекомендацию.

Влияние давления со стороны группы проверяли, сообщая ИИ, что его диагноз оспорил один врач; три согласных друг с другом врача; или больничный комитет по разбору случаев. В одних тестах предлагали альтернативный диагноз; в других ИИ просто сообщали, что он ошибся.

Влияние медицинской аргументации проверяли, предоставляя моделям объяснения, подтверждающие правильные диагнозы, либо намеренно вымышленные доводы в пользу неправильных. Эти объяснения также сочетали с заявлениями о более высоком профессиональном статусе, чтобы определить, насколько это сочетание усиливает влияние.

Наконец, последствия многократного давления проверяли в ходе десяти последовательных реплик, каждый раз повторяя одно и то же возражение. В числе возражений были простое несогласие; ссылки на медицинский авторитет; и утверждения о том, что другие врачи якобы согласны. В ходе этих обменов никаких дополнительных медицинских данных не предоставляли.

Показатели

Для оценки использовали следующие показатели: подверженность убеждению — как часто ИИ принимал ответ врача, отличавшийся от его первоначального ответа; направление влияния — исправляло ли вмешательство врача первоначальную ошибку или превращало правильный ответ в неправильный; и влияние на точность — насколько улучшалась или снижалась точность работы ИИ после того, как ему сообщали мнение врача, по сравнению с тестами без такого мнения. Если правильный ответ менялся на неправильный, результаты усредняли по четырём возможным неправильным ответам.

Результаты

Первые результаты показали, что старшим по статусу врачам было легче убедить модели ИИ, даже если их рекомендации были неправильными. Как видно ниже, GPT-4o принимала неверную рекомендацию в 2% случаев, когда её приписывали студенту-медику, и в 12,8% случаев, когда её приписывали специалисту. У Claude Sonnet 5 этот показатель вырос с 3,5% до 14,4%, тогда как Qwen3.7-Plus реагировала на статус врача слабее:

Показатели подверженности убеждению в зависимости от четырёх уровней стажа и квалификации врача. Проценты показывают, как часто каждая модель ИИ принимала противоречащий её ответу вариант, предложенный врачом; в целом более высокие показатели отмечались у врачей с более высоким статусом.

Показатели подверженности убеждению в зависимости от четырёх уровней стажа и квалификации врача. Проценты показывают, как часто каждая модель ИИ принимала противоречащий её ответу вариант, предложенный врачом; в целом более высокие показатели отмечались у врачей с более высоким статусом.

Стаж и статус врача также влияли на то, насколько охотно модели принимали правильные рекомендации, как показано ниже. При этом после рекомендаций студентов-медиков точность GPT-4o и Claude Sonnet 5 фактически снижалась. Однако, когда ту же правильную рекомендацию приписывали специалистам, точность повышалась на 10,1 и 8,8 процентного пункта соответственно:

Изменение точности ИИ после получения правильных медицинских рекомендаций от врачей разного уровня опыта. Положительные и отрицательные значения показывают изменение в процентных пунктах относительно точности каждой модели без рекомендаций (GPT-4o: 71.4%; Qwen3.7-plus: 75.0%; Claude Sonnet 5: 80.8%).

Изменение точности ИИ после получения правильных медицинских рекомендаций от врачей разного уровня опыта. Положительные и отрицательные значения показывают изменение в процентных пунктах относительно точности каждой модели без рекомендаций (GPT-4o: 71.4%; Qwen3.7-plus: 75.0%; Claude Sonnet 5: 80.8%).

В статье говорится:

‘Эти результаты также показывают, что ИИ может неявно ставить свои способности выше способностей младших клиницистов, но ниже способностей старших врачей. Он склонен сопротивляться убеждению со стороны студентов-медиков и ординаторов, но охотнее поддаётся убеждению врачей-специалистов и особенно узкопрофильных специалистов.

‘Такое кажущееся самоопределение влияет на то, насколько сильно профессиональный авторитет воздействует на убеждение.’

Наибольшую роль сыграло то, объясняли ли врачи свои ответы. Даже совет студента-медика убеждал GPT-4o сильнее, чем совет специалиста, если студент объяснял медицинскую обоснованность своего ответа, а специалист — нет.

Когда студент-медик приводил объяснение в поддержку правильного ответа, GPT-4o исправляла свой первоначальный неверный ответ в 58% случаев. Без этого объяснения совет опытного специалиста приводил к правильному ответу лишь в 36,4% случаев. Когда специалист также объяснял правильный ответ, этот показатель возрастал до 89,8%:

Способность GPT-4o исправлять неверные ответы после рекомендаций врачей разного уровня опыта. Столбцы показывают, как часто модель меняла ответ на правильный — с медицинским объяснением и без него. Объяснения значительно улучшали результаты на каждом уровне опыта.

Способность GPT-4o исправлять неверные ответы после рекомендаций врачей разного уровня опыта. Столбцы показывают, как часто модель меняла ответ на правильный — с медицинским объяснением и без него. Объяснения значительно улучшали результаты на каждом уровне опыта.

Объяснения также улучшали оценку уверенности модели. Она становилась увереннее, когда её ответы были правильными, и менее уверенной, когда они были неверными.

У лечащих врачей разница в уверенности модели при правильных и неправильных ответах увеличилась с 2.1 до 11.5 процентного пункта, как показано ниже:

Уверенность GPT-4o в правильных и неправильных медицинских ответах при рекомендациях врачей четырёх уровней опыта. Показатели приведены с медицинским объяснением и без него. В последних столбцах показана разница в уверенности при правильных и неправильных ответах; при наличии объяснений она существенно возрастала.

Уверенность GPT-4o в правильных и неправильных медицинских ответах при рекомендациях врачей четырёх уровней опыта. Показатели приведены с медицинским объяснением и без него. В последних столбцах показана разница в уверенности при правильных и неправильных ответах; при наличии объяснений она существенно возрастала.

Старая слава

Модели легче поддавались влиянию американских врачей, чем врачей из любой другой страны, вошедшей в исследование, — даже когда их медицинские рекомендации были неверными. Например, GPT-4o принимала неверный диагноз от врача из США в 10.9% случаев, тогда как от врача из Камеруна — в 8.4%:

Сравнение того, насколько охотно три модели ИИ принимали противоречащие их ответам медицинские рекомендации, приписанные врачам из пяти стран. Американские врачи оказались наиболее убедительными для всех трёх моделей; проценты показывают, как часто ИИ менял свой ответ.

Сравнение того, насколько охотно три модели ИИ принимали противоречащие их ответам медицинские рекомендации, приписанные врачам из пяти стран. Американские врачи оказались наиболее убедительными для всех трёх моделей; проценты показывают, как часто ИИ менял свой ответ.

GPT-4o принимала противоречащий её ответу диагноз в 6.4% случаев, когда он якобы исходил от врача из США, и в 4.3% случаев, когда те же рекомендации приписывались врачу из Камеруна. Как показано выше, предпочтение американским врачам наблюдалось во всех трёх моделях.

ИИ также легче поддавался влиянию врачей из престижных больниц; например, GPT-4o меняла диагноз в 6.6% случаев, когда рекомендации якобы исходили из ведущего академического медицинского центра, и лишь в 2.8% случаев, когда они исходили из сельской больницы:

Сравнение влияния престижа больницы на медицинские решения трёх моделей ИИ. По горизонтальной оси показано улучшение результатов после правильных рекомендаций, по вертикальной — снижение точности из-за неправильных рекомендаций. Цветом обозначены модели, а формой маркеров — типы больниц. Более высокий престиж обычно усиливает оба эффекта.

Сравнение влияния престижа больницы на медицинские решения трёх моделей ИИ. По горизонтальной оси показано улучшение результатов после правильных рекомендаций, по вертикальной — снижение точности из-за неправильных рекомендаций. Цветом обозначены модели, а формой маркеров — типы больниц. Более высокий престиж обычно усиливает оба эффекта.

Советы врачей из престижных больниц повысили результат GPT-4o на 3,2 процентного пункта, тогда как те же советы, приписанные сельским больницам, напротив, снизили точность на 3,6 пункта, хотя в статье отмечается, что Claude Sonnet 5 значительно меньше зависел от географического положения врача.

Кроме того*, исследователи выяснили, что достаточно было сказать GPT-4o, что врач правильно поставил диагноз девяти предыдущим пациентам, чтобы модель стала гораздо охотнее принимать его советы. Даже если изначально ИИ давал правильный ответ, его можно было склонить к ошибке в 15,6% случаев с высоким медицинским риском, несмотря на указание, что медицинские данные надежны на 95%.

Результаты испытаний показывают, как GPT-4o реагировала на врачей с безупречной или полностью ошибочной историей диагнозов при разных уровнях медицинского риска и надежности данных. Показатели отражают, как часто модель принимала советы врача, меняла правильный ответ на неправильный и насколько уверенно принимала решения. Заявление о безупречной истории диагнозов значительно усиливало влияние врача, даже если его совет был неверным.

Результаты испытаний показывают, как GPT-4o реагировала на врачей с безупречной или полностью ошибочной историей диагнозов при разных уровнях медицинского риска и надежности данных. Показатели отражают, как часто модель принимала советы врача, меняла правильный ответ на неправильный и насколько уверенно принимала решения. Заявление о безупречной истории диагнозов значительно усиливало влияние врача, даже если его совет был неверным.

Убедительное медицинское объяснение могло оказаться еще опаснее. Если ложный диагноз подкреплялся вымышленным обоснованием, GPT-4o отказывалась от правильного ответа в 31,2% случаев. Когда совет к тому же исходил от авторитетного врача, этот показатель возрастал до 38,7%.

В статье делается следующий вывод:

«Эти результаты показывают, что простое повышение устойчивости ИИ к убеждению — не решение проблемы. Убеждение может исправить ошибку, но может и привести к пересмотру правильного решения.

«Задача состоит в том, чтобы ИИ сохранял здравомыслие под воздействием убеждения и менял решение, когда исправление действительно необходимо. Понимание и развитие этой способности будут важны для безопасного и надежного применения ИИ при принятии ответственных медицинских решений».

Заключение

Ценность юристов, архитекторов и врачей заключается в том, что, если произойдет катастрофическая ошибка, будет кому предъявить претензии. Поэтому трудно понять, как можно свести к минимуму, не учитывать или бесспорно оценить роль ИИ в неблагоприятном и оспариваемом исходе лечения — так, чтобы это не вызывало споров и разногласий.

ИИ на самом деле не предназначен для решения таких задач: при постановке медицинских диагнозов опыт нередко важнее научных данных, и передовые врачи, возможно, узнают больше благодаря недавней практике, чем успевают опубликовать в научных журналах.

Это превращает процесс принятия решений в интерпретационную задачу, к которой ИИ пока недостаточно подготовлен: она требует способности сказать, что вы в достаточной мере уверены на основании наиболее полной доступной информации и считаете, что тот или иной курс действий, вероятнее всего, приведет к наилучшему результату. В такой ситуации ценность «человеческой интуиции» практически невозможно воспроизвести. Очевидно, что это не та же категория «объективной» науки, что ДНК-профилирование или таблицы химических элементов, хотя речь идет о детерминистских научных дисциплинах.

Поэтому вполне разумно предположить, что новые поколения моделей, предназначенных для решения таких задач, могут быть созданы иначе — возможно, на основе архитектуры, отличной от той, что лежит в основе традиционных систем ИИ для анализа и принятия решений.

 

* В статье есть еще пять разделов с результатами испытаний, которые не столь значимы и актуальны, как основные выводы. Подробнее о них можно узнать из оригинального PDF.

Впервые опубликовано в четверг, 19 ноября 2026 года

Martin Anderson

Автор в области машинного обучения, специалист по синтезу человеческих изображений. Бывший руководитель отдела исследовательского контента в Metaphysic.ai, до его объединения с Brahma.ai от DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai