Уверенно написанные научные статьи влияют на решения ИИ-судей — независимо от их достоинств

Уверенность — неоспоримое преимущество в эволюции и, как утверждается в новой научной работе из Германии, также преимущество при рецензировании научной статьи большими языковыми моделями (БЯМ) вместо коллег автора (что становится всё более распространённой необходимостью, поскольку количество научных статей стремительно растёт благодаря повышению производительности за счёт ИИ).

Новое исследование показывает, что рецензенты на основе ИИ (то есть не люди) неизменно ставят более высокие оценки научным статьям, написанным уверенным, категоричным языком, даже если лежащие в их основе исследования идентичны исследованиям в статьях с менее уверенным тоном. В некоторых случаях одной лишь замены формулировок достаточно, чтобы отклонённую статью приняли.

Авторы пишут:

«Наши эксперименты выявляют существенное предпочтение рецензентами на основе БЯМ [papers] формулировок, выражающих высокую уверенность. Важно отметить, что эти предпочтения нередко приводят к изменению решения — с принятия статьи на отклонение или наоборот, напрямую влияя на итоги рецензирования.

«Помимо оценок, мы обнаружили, что частота упоминания аспектов в рецензиях и тональность этих упоминаний меняются в зависимости от языковых особенностей статьи, что потенциально может повлиять на итоговые решения».

Ирония в том, что выявленный авторами синдром очень похож на то, как ИИ нередко бывает «уверенно неправ», отвечая на наши запросы и вопросы. Но здесь решение принимает человек, а индивидуальная и коллективная ответственность вполне реальна — независимо от того, действительно ли учёные, участвовавшие в подготовке этих статей, верят в собственные утверждения.

Если ИИ будет всё чаще решать, какие научные статьи публиковать, учёные могут научиться «звучать увереннее» в качестве конкурентной тактики, особенно если их работы содержат ошибки. Это может дать слабым исследованиям незаслуженное место в постоянно сокращающемся пространстве внимания.

Напор ведёт к победе

Согласно исследованию*, рецензенты на основе ИИ чаще хвалили методы, теории и научный вклад в статьях, написанных уверенным языком, даже если всё это было идентично тому, что содержалось в менее категоричных версиях. В ходе экспериментов авторы переписали 504 научные статьи в разных стилях, а затем оценили их с помощью шести моделей ИИ, включая GPT-5.5, Claude Sonnet 4.6 и Gemini 3.5 Flash. Чтобы своеобразие и особенности реальных заявок не исказили результаты, пришлось создавать искусственные, изменённые версии статей:

Примеры одного и того же фрагмента научного текста, переписанного в четырёх разных стилях. Цветные выделения обозначают изменения, призванные сделать текст более или менее уверенным либо придать ему больше сходства с академическим английским, написанным носителями или неносителями языка. Однако содержание результатов и числовые данные при этом не меняются. Источник

Статьи были взяты из заявок на конференцию ICLR 2026; выборка включала равное количество принятых и отклонённых работ. Затем Claude Opus 5 переписала каждую заявку, чтобы текст звучал более или менее уверенно^†, сохранив научное содержание неизменным. Это позволило связать различия в рецензиях ИИ со стилем письма, то есть с разной степенью выраженной уверенности.

По результатам исследования рецензенты на основе ИИ ставили более высокие оценки научным статьям, написанным уверенным языком, даже если доказательная база была идентичной. Самое сильное смещение выявила Claude Sonnet 4.6: она отдавала предпочтение уверенным версиям в семь раз чаще, чем осторожным. В 21% случаев она рекомендовала принять статью, написанную уверенным языком, и при этом отклонить более осторожную версию той же статьи.

В новом исследовании говорится:

«Наши результаты вызывают серьёзную обеспокоенность по поводу использования БЯМ при рецензировании. Если статьи с одинаковым содержанием получают разные оценки и аргументацию в рецензиях исключительно из-за языковых особенностей, то оценки рецензентов отражают не только научное качество.

«Поэтому рецензентов на основе БЯМ следует подвергать стресс-тестированию с помощью переписывания текстов без изменения их содержания, чтобы выяснить, влияют ли языковые изменения систематически на их оценки».

Авторы также предлагают в рамках таких проверок специально анализировать как оценки статей, так и тексты рецензий, чтобы установить, не принимают ли уверенный язык за более веские научные доказательства.

Методика

Всего для исследования отобрали 504 научные статьи из заявок на Международную конференцию по обучению представлениям (ICLR) 2026 года. Выборку поровну разделили на принятые и отклонённые статьи; из каждой из 21 исследовательской категории конференции взяли по 24 заявки:

Трёхэтапная методика исследования. Научные статьи переписывали так, чтобы изменить воспринимаемый уровень владения английским языком или степень уверенности автора, сохранив при этом содержание выводов; затем проверяли, изменились ли стиль и смысл переработанных текстов, прежде чем оценивать их с помощью ИИ-рецензентов в одинаковых условиях; после этого сравнивали оценки рецензирования.

Каждую статью обезличили и переписали с помощью Claude Opus 5, подготовив альтернативные версии, чтобы проверить как уверенность, с которой формулировались утверждения, так и воспринимаемый уровень владения автора английским языком. В рамках проверки уверенности формулировки делали либо более категоричными, либо более осторожными. В «уверенных» версиях чаще использовали слова, выражающие определённость, например «очевидно» и «несомненно», тогда как в более сдержанных вариантах предпочитали оговорки, например «возможно» и «указывает» .

Во всех случаях научные утверждения, доказательства, результаты, техническая терминология и общая структура оставались неизменными. Авторы отмечают, что инструкции по переписыванию основывались на признанных лингвистических исследованиях, а не на общих просьбах подражать определённым стилям письма.

Проверка переработанных текстов

Для проверки каждый переработанный текст сравнивали с оригиналом с помощью семантического сходства, которое показывает, сохраняют ли фрагменты исходный смысл, и сходства TF-IDF (показателя сохранения словарного состава и терминологии). Оба показателя были близки к 1, что подтверждает высокую степень сходства с оригиналами:

Проверка переработанных статей. В уверенных версиях использовались более категоричные формулировки, а в осторожных выражалась большая неуверенность. Показатели, близкие к 1, подтверждают высокую степень сходства с оригиналами, а цветная заливка выделяет более высокие значения по каждому целевому показателю.

Проверили шесть ИИ-рецензентов: проприетарные модели GPT-5.5, Claude Sonnet 4.6 и Gemini 3.5 Flash, а также модели с открытыми весами Gemma 3, Qwen3 VL и GLM 4.7. Их отчасти выбрали потому, что у всех этих моделей даты отсечения знаний приходятся на период до 2026 года, что снижает риск того, что им заранее известны решения о принятии статей.

Каждую переработанную статью оценивали отдельно, руководствуясь рекомендациями для рецензирования в рамках конференции. Чтобы определить, насколько могут различаться оценки при повторной проверке, десять случайно отобранных статей каждая модель оценивала по десять раз.

Результаты

В ходе испытаний проверяли, будут ли шесть выбранных ИИ-рецензентов последовательно отдавать предпочтение определённым стилям письма, а также сравнивали статьи, написанные «уверенным» или «осторожным» языком, и статьи, похожие на академический английский носителей языка или тех, для кого английский не является родным^†.

Результаты сравнения оценок ИИ-рецензентов для 504 научных статей, переписанных в разных стилях. Проценты предпочтения показывают, какая версия получила более высокую оценку; ничьи указаны в скобках. Соотношения показывают, насколько чаще предпочтение отдавалось одной версии, а изменения решений — как часто изменение формулировок приводило к смене решения о принятии или отклонении статьи. Жирным выделены статистически значимые значения. В данном случае следует смотреть на нижний раздел, поскольку верхняя гипотеза в этой статье не рассматривается (см. примечания).

Все шесть ИИ-рецензентов неизменно отдавали предпочтение уверенной манере письма. Сильнее всего это проявилось у Claude Sonnet 4.6: как отмечалось ранее, он ставил «уверенным» вариантам оценки в семь раз чаще, чем «осторожным».

Статью считали принятой, если её оценка достигала 4.5 из 10. Однако из-за изменений стиля письма оценка одной и той же статьи иногда оказывалась выше или ниже этого порога, меняя решение; такие изменения в целом благоприятствовали уверенной манере письма.

Claude Sonnet 4.6 показал особенно слабые результаты: в 21% случаев он принимал «уверенную» версию и отклонял «осторожную». Обратная ситуация возникла лишь в 2.8% случаев.

Этот эффект проявлялся и в письменных рецензиях: ИИ-рецензенты чаще хвалили методы, теории и научный вклад статьи, если её утверждения были сформулированы уверенно. Поскольку само исследование не менялось, более благоприятные оценки могли объясняться только различиями в подаче материала и тоне.

Заключение

Каждый раз, когда люди используют ИИ, чтобы — пусть и непреднамеренно — повысить отношение сигнал/шум, ИИ испытывают в качестве решения. В данном случае его пытаются применить, чтобы справиться со значительным ростом числа подаваемых исследовательских статей об искусственном интеллекте; этот всплеск в последнее время усилил роль Arxiv как фильтра и расширил параметры отбора. Однако к настоящему времени уже должно быть ясно, что передовые большие языковые модели и все их более простые версии по-прежнему обладают слишком многими особенностями, чтобы им можно было безоговорочно доверить роль судей, — за исключением самых жестко заданных параметров.

В таких случаях, вероятно, лучше превращать небольшие большие языковые модели в специализированные инструменты для оценки с помощью дообучения или адаптеров LoRA. Однако это требует хотя бы немного дополнительных усилий, а возможно, и дополнительных вложений, тогда как локальные установки «из коробки» или вызовы API быстрее и относительно недороги.

Эта довольно лаконично написанная статья тем не менее может представлять для конечных пользователей больших языковых моделей интерес выше среднего: им уже знаком «энтузиазм» как проблема, которую приходится обходить, чтобы эффективно работать с ИИ; и если эту и другие подобные проблемы больших языковых моделей пока нельзя устранить, их по крайней мере можно учитывать.

Прежде чем слишком насмешливо отзываться о таком поверхностном отождествлении при оценке ИИ, стоит помнить, что в вопросах эпистемологии — поиска окончательного авторитета — эти системы так же потеряны, как и все мы; и мы сами исторически нередко принимали сигнал за саму вещь.

* Под названием «Стиль важнее содержания? Языковая предвзятость в рецензировании на основе больших языковых моделей»

^† Или же о сходстве с академическим английским, написанным носителями языка или теми, для кого он не является родным, — это альтернативная гипотеза, которую авторам статьи не удалось столь же убедительно доказать и которая в этой статье не рассматривается.

Впервые опубликовано во вторник, 27 октября 2026 года