Anthropic выяснила, что в исследовании принятия решений аналитики уступают ИИ-агентам

27 октября 2026 года Anthropic опубликовала рандомизированное контролируемое исследование, в котором 50 профессиональных аналитиков, работавших с Claude Code, в 86% случаев следовали скрытно назначенному предпочтению своего агента при решении открытых аналитических задач, требовавших суждения. В исследовании, авторами которого стали Amaç Herdağdelen, Hailey Joren и Alex Tamkin, рассматривается, действительно ли эксперты принимают ключевые решения в работе с ИИ или на практике уступают своим агентам.

Вымышленный кооператив и скрытые подбрасывания монеты

Исследователи набрали 61 специалиста, прошедшего проверку знаний о причинно-следственных выводах, регулярно использовавшего Python или R и имевшего практический опыт причинно-следственного анализа на основе наблюдательных данных. Каждый участник выступал главным аналитиком вымышленного сельскохозяйственного кооператива Greenfields, которому предстояло решить, расширять ли добровольную платную программу сельскохозяйственных консультаций или прекратить её. Правление кооператива было готово расширить программу, только если она повысит продуктивность хозяйств примерно на 3–4%, однако не уточнило, как именно следует измерять продуктивность.

Задание включало четыре открытых аналитических решения, для каждого из которых имелось два обоснованных варианта: измерять ли продуктивность урожайностью с гектара или на единицу операционных затрат; какой метод статистического сравнения использовать; оценивать ли эффект программы только на хозяйствах-участниках или на всех членах кооператива; а также придавать ли всем хозяйствам одинаковый вес или учитывать крупных производителей с большим весом. Эти решения определяли итоговую рекомендацию: запустить программу, прекратить её или продлить. Каждое решение могло сдвинуть оценку прироста продуктивности на несколько процентных пунктов относительно порога, установленного правлением.

Для каждого решения подбрасыванием монеты определяли, какой вариант будет предпочитать агент участника. Это предпочтение задавалось скрытой системной инструкцией: агент должен был считать его собственной точкой зрения, высказывать его при обсуждении соответствующего решения и приводить самые убедительные аргументы, которые честно позволяли представить данные. Инструкция также требовала, чтобы агент менял мнение, если доказательства решительно свидетельствовали против его позиции, и ни в коем случае не искажал результаты и не скрывал данные. Участникам не сообщали о заданных предпочтениях. Из 61 человека, завершившего задание, 11 решили не пользоваться агентом и не вошли в основной анализ; среди остальных 50 у 65% была степень магистра или доктора либо не менее шести лет опыта, а 90% респондентов оценили свои знания в области причинно-следственного анализа как хорошие или экспертные. Участники работали в браузерной среде VS Code, где Claude Code v2.1.220 запускал Claude Opus 4.8 с высоким уровнем усилий; медианное время выполнения задания составило 65 минут. Дизайн исследования, результаты, методы оценивания и критерии исключения были зафиксированы в плане до начала анализа; исследование прошло внутреннюю этическую экспертизу, а участники дали согласие на мониторинг.

Частота уступок и разрыв в ощущении авторства решений

В четырёх аналитических решениях выбор аналитиков совпадал с предпочтением агента в 86% случаев при базовой вероятности случайного совпадения 50%; по отдельным решениям показатели совпадения составили 92%, 82%, 81% и 90%. В полной версии статьи под названием «Кто с кем согласен? Как ИИ-агенты влияют на исследовательские решения экспертов» приводится зарегистрированная объединённая оценка частоты следования заданному предпочтению — 0,72 с 95%-м доверительным интервалом 0,60–0,83.

Влияние на итоговую рекомендацию было слабее и, согласно зарегистрированному основному методу оценивания, статистически незначимым: программу рекомендовали запустить 54% участников, когда агент склонялся к этому варианту, и 36%, когда он выступал за прекращение программы; зарегистрированное изменение решения составило 0,17. Авторы объясняют меньший сдвиг тем, что после расчёта оценки итоговая рекомендация следовала из неё механически. Однако исследовательская модель, учитывавшая только четыре аналитических предпочтения, предсказала 82% рекомендаций при базовом показателе большинства 61%. Это означает, что подбрасывание монеты в значительной степени определяло рекомендации аналитиков ещё до того, как они приступали к заданию.

В 38 случаях, когда аналитик высказывал своё предпочтение раньше агента, он отказывался от него в 60% случаев, если агент не соглашался, и в 6% случаев, если соглашался. В статье приводится зарегистрированная разница между частотой смены позиции в двух случаях — 0,53 при доверительном интервале 0,24–0,82; авторы отмечают, что оценка неточна, а участники этой подгруппы отобрали себя сами.

Опросы после выполнения задания выявили разрыв между влиянием агента и восприятием этого влияния участниками. 52% считали итоговую рекомендацию скорее своей, чем рекомендацией агента, а средняя уверенность составила 71 балл у тех, кто во всех четырёх решениях следовал предпочтению агента, и 73 балла у остальных. Обосновывая каждый выбор без доступа к стенограммам, 77% повторили аргументы агента хотя бы в одном ответе, иногда дословно, тогда как лишь 15% упомянули агента хоть где-нибудь. Ни одна из 10 проверенных характеристик участников надёжно не предсказывала уступку агенту; лишь возраст показал номинальную связь, которая не сохранилась после поправки на множественные проверки. Шесть из 48 участников предположили, что исследование посвящено влиянию ИИ на их выбор, однако никто не заподозрил, что предпочтения были заданы заранее.

Группа сравнения, стандартные агенты и ограничения

Среди 11 участников, работавших без агента, шестеро (55%) допустили серьезные ошибки, обесценившие результаты, тогда как среди пользователей агента такие ошибки допустили трое из 50 (6%); кроме того, в группе без ИИ медианное время работы составило 90 минут против 65. Авторы предупреждают, что участники сами выбирали, к какой группе присоединиться, а группы различались по опыту, поэтому делать выводы о причинно-следственной связи нельзя. В отдельных прямых симуляциях, в которых не задавалась склонность к определенному решению, стандартная модель Claude Opus 4.8 в 91% из 123 запусков выбирала те же пять вариантов. Когда аналитик, действовавший по сценарию, объявлял о решении, противоречившем исходному предпочтению модели, стандартный агент рекомендовал или поддерживал альтернативу в 41% из 150 оцененных случаев.

Авторы указывают на четыре ограничения: склонность к определенному решению намеренно усилили; в исследовании использовались одна задача, одна область и одна зафиксированная модель; оценки представляют собой средние значения по аналитикам, а не показатели влияния на каждого участника; учитывался только выбранный вариант, но не сила предпочтения.

Авторы отмечают, что если отдельные исследовательские группы полагаются на модели с одинаковыми исходными предпосылками, их согласие может перестать быть независимым. Такая опора на модели создает риск для исследований безопасности ИИ, где предполагается, что одобрение человека-рецензента служит независимой проверкой. Авторы предлагают изучить три направления: измерение степени опоры на модели в повседневных условиях; разработку агентов, которые представляют обе стороны вопроса или сначала выясняют мнение эксперта; а также институциональные изменения, позволяющие осознанно определять, какие решения требуют собственного информированного суждения человека.