«Опросная бумага DDos-атаки», которая перегружает научные исследования

Модели генеративного ИИ, такие как ChatGPT, теперь наводняют академические платформы публикаций опросными работами, сгенерированными ИИ, на уровне, который делает соотношение сигнал-шум критическим. Новое исследование утверждает, что этот поток перегружает исследователей, искажает цитаты и подрывает доверие к научной летописи, сравнивая поток опросных работ, сгенерированных ИИ, с “DDoS-атакой” на саму науку.

(Частично) мнение  На прошлой неделе, впервые за семь лет, когда я следил за научной литературой, связанной с ИИ, мне пришлось признать поражение и согласиться, что, по крайней мере, в пиковые часы, мне придется выбирать между тем, чтобы оставаться в курсе новых публикаций, или иметь время, чтобы написать о некоторых из них.

Общее количество записей в ограниченном количестве соответствующих категорий (Компьютерное зрение, Машинное обучение, Модели языка и несколько других менее популярных разделов) составило значительно более тысячи – только за один день.

При таком объеме даже просмотр всех новых названий и лишь изредка чтение некоторых резюме сделали бы день непродуктивным.

Это было вторник, 7 октября. Напротив, в категории машинного обучения этот вторник (14 октября) предложил объем публикаций немного ниже, чем 400 записей за вторник предыдущей недели; он имел всего 354 записи:

354 записи для категории машинного обучения за один день. Источник: https://arxiv.org/

Вам пришлось бы читать Arxiv каждый день в течение нескольких лет, чтобы понять, насколько эти цифры абсурдны.

Конечно, вторник – это “час пик” для Arxiv, возможно, потому, что это первый рабочий день, который происходит после длинных выходных, и категория машинного обучения – это “общая” секция с меньшим количеством уникальных работ (работ, которые не публикуются одновременно в более специализированных каналах) по сравнению с большинством других категорий.

Тем не менее, рост подачи работ уже является замеченным явлением в академии и СМИ.

Возможно, самым шокирующим аспектом этого роста является то, что все другие соседние категории более или менее не изменились в своей частоте за последние три года, тогда как категория компьютерных наук (посмотрите, сможете ли вы найти ее в официальных цифрах Arxiv ниже) находится на сильном восходящем тренде:

Рост работ по компьютерным наукам за последние три года. Источник: https://info.arxiv.org/about/reports/submission_category_by_year.html

Примерно три года назад объем подачи работ по ИИ на Arxiv, как оценивалось, удваивался каждые несколько лет; и будет интересно прочитать годовой обзор тенденций Arxiv в конце 2025 года.

Объем на 11

Две наиболее очевидные причины этого роста – а) беспрецедентные финансовые вложения в генеративный ИИ, которые привлекают огромные объемы исследовательских инвестиций в частном и академическом секторах, которые часто сотрудничают; и б) тот факт, что системы ИИ, такие как ChatGPT, теперь делают подачу исследовательских работ (включая работы об ИИ) почти промышленным процессом.

Однако качество исследовательских работ не увеличивается в соответствии с объемом (хотя ошибочное вывод ИИ склонен делать больше заголовков в юридическом секторе, чем в академическом, не в последнюю очередь потому, что последствия более очевидны там).

Политика нулевой терпимости трудна для реализации в этом случае, даже если распознавание контента, сгенерированного ИИ, было бы проще; кроме того, что ИИ сам по себе является явным благом для научных исследований в целом, его использование в подаче исследовательских работ в целом *улучшило ясность работы многих неанглоязычных авторов – людей и команд, которые до сих пор работали в невыгодных условиях.

Но проблема снижения языкового барьера таким образом заключается в том, что это также увеличивает чистое количество глобальных авторов, не повышая уровень человеческого надзора, который придает ценность такой работе.

Если уровень подачи продолжит расти экспоненциально, соотношение сигнал-шум станет настолько неконтролируемым, что только сам ИИ сможет ориентироваться в новых потоках и притоках работ по ИИ; задача, для которой он не более подходит, чем для проверки своего собственного вывода. Иронично, что научные исследования – это интенсивно человеческое занятие.

Атака на исследования

Причина этого размышления – интересное новое сотрудничество из Китая под названием Остановить DDoS-атаку на исследовательское сообщество с помощью опросных работ, сгенерированных ИИ.

Новая позиционная работа концентрируется конкретно на опросных подачах – высокоинтенсивных обзорах определенных направлений исследований, которые традиционно перечисляли и контекстуализировали, интерпретируя тенденции и делая обоснованные прогнозы:

Лишь малая часть огромного и постоянно растущего массива опросов, доступных в разделах, связанных с машинным обучением и ИИ, на arxiv.org

Поскольку опросы курируют, а не создаются, они необычно легко автоматизируются с помощью ИИ, и авторы новой работы характеризуют распространение низкоинтенсивных опросов в терминах угрозы безопасности для исследовательского сектора^†:

‘[Недавний] рост опросов, сгенерированных ИИ, особенно обусловленный большими языковыми моделями, превратил эту традиционно трудоемкую жанр в низкоинтенсивный, высокообъемный вывод. Хотя такая автоматизация снижает барьеры для входа, она также вводит критическую угрозу: явление, которое мы называем “DDoS-атакой опросных работ” на исследовательское сообщество.

‘Это относится к неконтролируемому распространению поверхностно полных, но часто низкокачественных или даже вымышленных опросных рукописей, которые наводняют платформы предпечати, перегружают исследователей и подрывают доверие к научной летописи.

‘[Мы] утверждаем, что мы должны прекратить загружать огромные объемы опросных работ, сгенерированных ИИ (т.е. DDoS-атаку опросных работ) в исследовательское сообщество, установив сильные нормы для написания обзоров с помощью ИИ.’

Авторы утверждают, что эта неконтролируемая акселерация производства опросов угрожает затопить исследовательскую экосистему отполированными отчетами, которые, тем не менее, лишены критической глубины, и которые, вероятно, будут распространять фактические ошибки и/или вымышленные цитаты.

Работа предупреждает, что без лучших правил или надзора опросы, сгенерированные ИИ, могут превратиться в поверхностные копии, которые неправильно представляют, какие темы важны, скрывают значимый анализ и делают обзоры литературы менее достоверными:

‘Последствия для качества исследований и доверия глубоки. Во-первых, подлинные достижения рискуют быть скрыты алгоритмически сгенерированными пересказами существующей работы.

‘Новички и междисциплинарные ученые могут испытывать трудности в поиске надежных обзоров среди шума. Кроме того, ошибки или предубеждения, введенные автоматическим созданием, могут распространяться неконтролируемо, засевая последующие исследования ошибочными посылками.

‘В итоге, поток непересмотренных опросных работ, сгенерированных ИИ, ставит под угрозу как строгость обзоров литературы, так и достоверность научной летописи.’

‘Аномальные’ авторы

Исследователи новой работы предоставляют некоторые интересные анализы эволюции опросных подач:

Слева: годовой подсчет компьютерных опросных работ с 2020 по 2024 год. В центре: средние баллы генерации ИИ для этих работ за тот же период. Справа: количество авторов, помеченных как аномальные (те, у кого необычно высокий выход опросов, ограниченное разнообразие соавторов и повторяющиеся институциональные закономерности), каждый год. Все три тенденции показывают резкий рост, начиная с 2023 года, совпадающий с выпуском ChatGPT и других крупномасштабных языковых моделей.

В первом столбце мы видим тенденции роста: кривая начинает круто подниматься около 2022 года, как раз когда ChatGPT появился и крупномасштабные языковые модели начали становиться мейнстримом, и последующие модели, такие как Claude, PaLM и Gemini, будут поддерживать этот импульс на протяжении всего 2023 года.

Средний график показывает резкий рост подач после 2022 года, совпадающий с запуском ChatGPT. Одна исследовательская группа обнаружила, что к 2024 году более 10% научных аннотаций были обработаны с помощью ИИ. Отдельный отчет от фирмы по обнаружению ИИ оценил пост-ChatGPT скачок на 72% для работ на arXiv, которые могут быть написаны с помощью ИИ. Количество работ с высокими баллами генерации ИИ также удвоилось за год, с 3,6% до 6,2%.

Третий, правый график показывает стабильный рост количества “аномальных” авторских закономерностей (исследователей, подающих три или более опросов в месяц, работая с менее чем двумя соавторами), с более резким ростом, начиная с 2022 года.

Авторы утверждают, что многие из этих опросных работ могут быть написаны ИИ, по разным причинам; некоторые написаны одиночными авторами или небольшими группами, которые подают несколько опросов за короткий период; многие охватывают несвязанные темы; и в некоторых случаях у авторов нет предыдущей истории в областях, которые они суммируют.

Кроме того, некоторые опубликованы под анонимными коллективами без ясных институциональных связей – закономерности, предполагающие скоординированное наводнение области быстрыми опросами, возможно, для получения цитат или улучшения академических профилей, а не для внесения реального вклада в литературу.

Проблемы

Хотя мы не можем охватить все споры новой работы, мы должны рассмотреть некоторые из наиболее заметных наблюдений, а также критически оценить предложенные авторами решения этих проблем.

Качество и оригинальность

Проблема не только в объеме: многие опросы, написанные ИИ, пропускают то, что делает хороший опрос полезным: ясную структуру, глубокий анализ, правильную и тщательную атрибуцию, и реальное прозрение. Вместо этого работа предполагает, что опросы, сгенерированные ИИ, часто читаются как склеенные резюме, без необходимого ухода или кураторства.

Авторы отмечают, далее, что опросы, написанные ИИ, часто лишены структуры, но просто перечисляют работы без ясного направления, пропуская ключевые разделы и не создавая контекст. Опросы, написанные людьми, напротив, склонны устанавливать правильные категории и рассказывать более связную историю.

Также многие потенциально сгенерированные ИИ опросы, кажется, просто копируют существующие тематические разбивки, иногда прямо из Википедии. Например, работа отмечает, что несколько опросов о Vision Transformers содержат общие названия разделов и структуру, что указывает на шаблонный вывод ИИ:

‘Напротив, хорошо составленный опрос, написанный человеком, может ввести новую таксономию, например, категоризируя ViT по стратегиям эффективности. Отсутствие такой оригинальной структуры во многих недавних опросных предпечатях вызывает обеспокоенность, что они могут быть сгенерированы ИИ с ограниченным человеческим прозрением.’

Не цитируйте меня на это

Возможно, наиболее публично неловко, опросы, написанные ИИ, часто получают цитаты неправильно, пропуская ключевые работы, включая нерелевантные работы, и иногда даже перечисляя несуществующие работы – ошибки, которые предполагают, что ссылки происходят из поверхностного сопоставления шаблонов, а не из真正й экспертизы.

Авторы также указывают, что некоторые недавние опросные работы, часто из совершенно разных команд, имеют до 70% совпадения в своих списках ссылок – уровень совпадения настолько высок, что, по их мнению, он указывает на общую зависимость от ИИ, который черпает из узкого пула исходного материала.

Действительно, случайные пользователи ChatGPT знают, что чем более неизвестна тема, тем меньше разнообразных источников есть у модели, на которые она могла бы обобщить; очень часто поиск собственных ограниченных источников модели в Интернете более полезен, чем попытка взаимодействовать с этой информацией через ИИ, который не имел достаточных данных в конкретной области.

‘Однородный стиль’ появляется

Авторы также отмечают, что многие опросы на одну и ту же тему выглядят и звучат почти идентично, поскольку ИИ повторяет фразировку и структуру, особенно для популярных предметов, что приводит к потоку почти идентичных работ, которые добавляют мало ценности и также добавляют значительный шум для исследователей, ищущих ответы в области*:

‘Когда несколько авторов просят ИИ “написать обзор литературы по X”, модель часто производит очень похожие ответы, особенно для общих определений или хорошо известных фактов. Недавние исследования показали резкий рост использования определенных шаблонов письма, связанных с ИИ, что предполагает, что многие работы теперь имеют один и тот же стиль.’

Ваш ChatGPT показывает

Работа отмечает, что быстрый способ обнаружить опросы, написанные ИИ, – это наличие фраз, таких как ‘как языковая модель ИИ‘ или ‘моя дата обрезки знаний‘, что предполагает минимальную или даже нулевую кураторию вывода языковой модели перед подачей работ (хотя целевый поиск на момент написания не раскрыл таких признаков, индексированных в поисковых системах).

Работа отмечает, что многие “подозрительные” опросы показывают более низкое разнообразие слов и повторяющуюся фразировку, например, начиная несколько абзацев с Кроме того. Этот тип шаблона, по мнению авторов, характерен для стиля письма GPT, и мог бы быть полезным флагом для обнаружения автоматически сгенерированного текста.

(Мой личный комментарий к этому заключается в том, что ограничения онлайн-журналистики часто требуют от писателя перечислить многие элементы в форме, основанной на прозе, без стилей. Следовательно, ChatGPT и его аналоги, вероятно, выучили эту плохую привычку у человеческих писателей, которые сталкивались с ограниченным количеством лексических альтернатив. Кроме того, предположение авторов показывает, что они занимаются принципами обнаружения контента ИИ, что является сложной и развивающейся областью, с немногими постоянными константами, которые авторы предлагают)

Хотя исследователи продолжают развивать увлекательный дискурс о негативном влиянии опросов ИИ на культуру исследований и доверие, мы должны направить читателя к исходной работе для большей глубины на эту тему.

Решения?

Решение работы fascinates, радикально и в то же время странно неоригинально: что полезность опросных работ должна быть заменена Динамическим живым опросом – по интерпретации, гибридом между Вики и страницей GitHub, постоянно пополняемым новыми данными из ИИ и других систем ИИ, но с коммитами, сделанными только людьми, чтобы ИИ не мог по сути “автоматически публиковать” обновления.

Предлагаемая система будет делиться версионностью и ветвлением GitHub, по сути превращая информационный ресурс в постоянно обновляемый список, аналогичный ‘awesome’ типу курируемых списков на GitHub:

‘В рамках этой структуры член сообщества сначала устанавливает опросную тему Вики, определяя объем, ключевые исследовательские вопросы и основные ссылки, что устанавливает ясную тематическую границу и начальную структуру.

‘Затем агент, основанный на ИИ, постоянно мониторит архивы предпечати, материалы конференций и доски лидеров. Он автоматически извлекает аннотации, фигуры и ключевые показатели производительности; синтезирует краткие резюме новых результатов; обновляет граф цитирования, чтобы отразить междокументные отношения; и флагирует возникающие исследовательские тенденции для дальнейшего обзора.

‘По конструкции эти автоматические обновления происходят в течение часов после публикации, гарантируя, что репозиторий остается на переднем крае.’

‘Человеческие вкладчики затем вмешиваются, чтобы предоставить интерпретативную глубину, которую машины не могут предложить. Они уточняют эволюционирующие таксономии, чтобы захватить тонкие методологические различия, координируют противоречивые интерпретации алгоритмических инноваций в разных субобластях и предоставляют более глубокие критические сравнения в документе.’

Книга перемен

Авторы развивают эту идею с энтузиазмом и в деталях, и по сути оправдывают ее тем, что высокоинтенсивные опросы, написанные людьми, на волатильные темы вокруг ИИ стареют так быстро, что они едва ли стоят того, чтобы их писать; и работа отмечает, что трехмесячный оборот на новом опросном документе, скорее всего, означает, что он будет устаревшим (или даже критически устаревшим) к моменту его запланированной даты публикации:

‘Год за годом сообщества наводняются повторяющимися или поверхностными обзорами, которые быстро теряют актуальность, оставляя практиков и новичков бороться за различение сигнала и шума. Традиционный цикл публикации (т.е. черновик, подача, обзор и публикация) может занять несколько месяцев, к моменту которого критические прорывы могут уже изменить ландшафт.

‘Кроме того, растущий объем статических опросов добавляет к информационной перегрузке, поскольку читатели должны просеивать многочисленные перекрывающиеся документы, чтобы найти существенные прозрения.’

К сожалению, решение работы делится многими из худших и наиболее презираемых качеств Discord: особенно тем, что это будет постоянно меняющийся и меняющийся ресурс.

Поскольку любая часть Динамического живого опроса может исчезнуть или быть изменена в любое время, его будет невозможно использовать в качестве цитированного, стабильного источника; за исключением, возможно, ссылки на “предыдущий коммит”, аналогично тому, как archive.is и Wayback Machine, среди других архивных сайтов, предоставляют ссылочные снимки содержания веб-страниц, замороженные в определенный момент. Но какие ресурсы понадобятся для такого коммита, и можно ли ему доверять, чтобы он оставался живым со временем?

Кроме того, платформа/Вики с постоянно меняющимися определениями и контентом будет сложной для индексации, либо традиционными поисковыми системами, либо ИИ.

Возможно, самой слабой частью предлагаемой системы является идея о том, что реальные люди должны контролировать коммиты от агентов ИИ; как всегда, реальные люди дороги. То, что предлагается, – это что-то между музеем и библиотекой – оба из которых будут нуждаться в мясных поставках, пропорциональных объему данных и количеству тем, охватываемых.

Если “используйте реальных людей” – это единственный ответ на проблему ИИ, то можно сказать, что проблема остается открытой и нерешенной.

Заключение

На данный момент короткий срок жизни опросных работ по ИИ раздражает; если текущий тренд к высокомасштабному автоматизированному написанию и подаче продолжится, как это предвидится в новой работе, соотношение сигнал-шум станет хроническим, и литература станет неконтролируемой.

В такой ситуации будет еще более сложно для незначительных, не-FAANG голосов быть услышанными в буре подач, и лидеры рынка, скорее всего, получат еще большую известность.

Помимо живых опросов, новая работа предлагает, что авторы не только должны быть ограничены самопровозглашением использования ИИ в любой части подачи, но и что разделы, сгенерированные ИИ, должны быть явно помечены внутри документа (возможно, с помощью файла JSON…?).

Поскольку это перспектива является сложной, работа альтернативно предлагает то, что я могу охарактеризовать только как “гетто ИИ” – отдельный раздел в подаче, отведенный для вкладов ИИ.

Вкратце, новая работа, по моему мнению, не имеет реалистичных ответов; но авторы выполнили полезную услугу, сформулировав проблемы, которые нас ждут.

Работа Остановить DDoS-атаку на исследовательское сообщество с помощью опросных работ, сгенерированных ИИ может быть найдена по адресу https://arxiv.org/abs/2510.09686, и написана шестью авторами из различных отделов Шанхайского университета Цзяо Тун.

___________________________________

* Не все считают, что это так.

^†Акцент авторов, а не мой. Также, где применимо, моя конверсия внутренних ссылок авторов в гиперссылки.

Опубликовано впервые в пятницу, 17 октября 2025 года