‘조사 논문 DDoS 공격’이 과학 연구를 압도하는 현상

ChatGPT와 같은 생성적 AI 모델은 학술 출판 플랫폼에 AI 생성 조사 논문을 대량으로 제출하고 있으며, 이는 신호 대 노이즈 비율을 임계점으로 만들고 있습니다. 새로운 연구에 따르면, 이洪은 연구자를 압도하고, 인용을 왜곡하며, 과학 기록에 대한 신뢰를 침식시키고 있다고 합니다. 이洪은 AI 지원 논문 제출의 홍수와 같습니다.

(부분적으로) 의견  지난주, 7년간 AI 관련 학술 문헌을 최신 상태로 유지하면서, 처음으로 패배를 인정하고, 최소한 피크 시간에는 새로운 출판물에 대한 최신 정보를 유지하거나 일부에 대해 작성할 시간을 가질 수밖에 없다는 것을 인정해야 했습니다.

컴퓨터 비전, 기계 학습, 언어 모델 등 몇 가지 관련 카테고리의 총 항목 수는 하루 동안만으로 1,000개를 넘었습니다.

이러한 볼륨에서는 모든 새로운 제목을 스킴하고 추상 요약을 간간이 즐기면 생산적인 하루가 될 것입니다.

이것은 10월 7일 화요일이었습니다. 반면, 기계 학습 카테고리에서는 지난 주 화요일(10월 14일)에 전주 화요일보다 조금 덜 집중된 출판 볼륨이 나타났으며, 400개 이상의 항목을 기록했습니다.

기계 학습 카테고리에서 하루에 354개의 제출

아르시브를 매일, 몇 년 동안 읽어야만 이러한 숫자가 얼마나 비정상적인지 알 수 있습니다.

물론, 화요일은 아르시브의 제출의 ‘러시 아워’일 수 있습니다. 왜냐하면それは 영향력 있는 사람들이 연구자를 만나기 위해 가장早い 근무일이기 때문입니다. 그리고 기계 학습 카테고리는 더 전문적인 채널에서 동시에 출판되지 않는 고유한 논문의 수가 가장 적은 ‘캐치 올’ 섹션입니다.

그러나 제출의 증가세는 이미 학계와 미디어에서 주목받고 있는 현상입니다.

이 확장의 가장 충격적인 측면은 인접 카테고리의 빈도는 지난 3년 동안 거의 변경되지 않은 반면, 컴퓨터 과학 카테고리는 급격한 상승세를 보이고 있다는 것입니다.

컴퓨터 과학 논문 제출의 3년간 상승

3년 전, 아르시브의 AI 논문 제출 출력은 몇 년마다 두 배로 증가하는 것으로 추정되었습니다. 2025년 말에 아르시브의 연간 트렌드 요약을 읽는 것이 интерес할 것입니다.

볼륨 11

이러한 일이 발생하는 두 가지 명백한 이유는 a) 생성적 AI에 대한 전례 없는 재정적 투자가 연구에 대한 대규모 투자를 привлек고 있으며, 이는 개인과 학계에서 협력할 수 있습니다. 그리고 b) AI 언어 모델 시스템인 ChatGPT가 연구 논문을 제출하는 것을 거의 산업적인 과정으로 만들었습니다.

그러나 연구의 품질은 볼륨과 함께 증가하지 않습니다. AI의 오류가 많은 출력은 학계보다 법률 분야에서 더 많은 헤드라인을 만들어냅니다. 왜냐하면 그 영향이 더 명확하기 때문입니다.

제로 톨러런스 정책을 시행하기는 어렵습니다. AI 생성 콘텐츠를 인식하는 것이 더 쉽지 않기 때문입니다. 또한 AI의 사용은 비영어권 제출자의 작업의 명확성을 일반적으로 개선했습니다. 이러한 개인과 팀은 지금까지 불리한 위치에 있었습니다.

그러나 언어 장벽을 낮추는 이 문제는 글로벌 제출자의 수가 증가하지만, 이러한 작업의 가치를 제공하는 인간의 감독 수준은 증가하지 않습니다.

연구에 대한 공격

이 반성의 원인은 중국의 새로운 협력입니다. Stop DDoS Attacking the Research Community with AI-Generated Survey Papers입니다.

새로운 위치 논문은 전통적으로 목록화하고 컨텍스트화하는 고 노력의 라운드업인 조사 제출에 집중합니다.

기계 학습 및 AI와 관련된 섹션에서 아르시브에 있는 조사 논문의 일부

조사는 원래하는 것이 아니라 큐레이팅하기 때문에, AI로 자동화하기 쉽습니다. 그리고 이 논문의 저자는 AI 생성 조사 논문의 확산을 연구 분야에 대한 보안 위협으로 특징화합니다.

‘[최근] AI 생성 조사, 특히 대규모 언어 모델(LLM)을 통해 가능해진 조사,는 전통적인 노동 집약적인 장르를 낮은 노력, 높은 볼륨 출력으로 변환했습니다. 이러한 자동화는 진입 장벽을 낮추지만, 또한 중요한 위협을 소개합니다. 우리는 이를 “조사 논문 DDoS 공격”으로 부릅니다.

‘이것은 연구 커뮤니티를 압도하고, 과학 기록에 대한 신뢰를 침식시키는, 표면적으로 포괄적이지만 종종 저품질 또는 환상적인 조사 원고의 무제한적인 확산을 의미합니다.

‘우리는 연구 커뮤니티에 대량의 AI 생성 조사 논문을 업로드하는 것을 중단해야 합니다. 즉, 조사 논문 DDoS 공격을 중단해야 합니다. 이를 위해 우리는 AI 지원 리뷰 작성에 대한 강한 규범을 정립해야 합니다.’

저자는 이 무제한적인 조사 생산이 비판적인 깊이를欠하는, 다만 정리된 보고서로 연구 생태계를洪하고, 사실적 오류와/또는 환상적인 인용을 전파할 가능성이 있으며, 문헌 검토를 더 신뢰할 수 없게 만들 수 있다고 주장합니다.

‘비정상적인’ 저자

연구자들은 조사 제출의 진화에 대한 몇 가지 интерес 있는 분석을 제공합니다.

2020년부터 2024년까지의 컴퓨터 과학 조사 논문의 연간 수. 가운데: 같은 기간 동안의 AI 생성 점수 평균. 오른쪽:一年 동안 ‘비정상적인’ 저자 수(단기간에 3개 이상의 조사 제출, 협력자 다양성이 낮음, 기관 패턴이 반복됨)

첫 번째 열에는 성장 트렌드가 나타납니다. 곡선은 2022년경에 급격히 상승하기 시작했으며, 이는 ChatGPT가 등장하고 대규모 언어 모델이 주류가 된 시점입니다. Claude, PaLM, Gemini와 같은 후속 모델이 2023년을 통해 그 모멘텀을 유지했습니다.

중간 그래프는 2022년 이후에 제출이 급격히 증가한 것을 보여줍니다. 하나의 연구 팀은 2024년까지 과학적 추상이 10% 이상이 LLM을 통해 실행되었다는 것을 발견했습니다. AI 탐지 회사에서 발행한 별도의 보고서는 ChatGPT 이후 아르시브의 논문에서 AI 도움을 받은 논문의 72% 증가를 보고했습니다. AI 생성 점수가 높은 논문의 수는 1년 만에 두 배로 증가했습니다.

오른쪽 그래프는 ‘비정상적인’ 저자 패턴(단기간에 3개 이상의 조사 제출, 협력자 다양성이 낮음, 기관 패턴이 반복됨)의 수가 점점 증가하고 있음을 보여줍니다.

저자는 이러한 조사 논문 중 일부가 AI에 의해 작성되었을 수 있으며, 일부는 단독 저자 또는 소규모 그룹에 의해 제출되며, 일부는 관련이 없는 주제를 다루며, 일부는 이전에 해당 분야에서 활동한 기록이 없는 저자에 의해 출판됩니다.

추가로, 일부는 명확한 기관 연결이 없는 익명 집단에 의해 출판됩니다. 이러한 패턴은 실제 기여를 하기보다는 인용을 얻거나 학술 프로필을 개선하기 위해 조사 홍수를 조직적으로 유도하는 것을 시사합니다.

문제

우리는 새로운 논문의 주장 중 일부를 살펴보고, 저자의 제안된 해결책에 대한 비판적 시각을 던져야 합니다.

품질과 독창성

문제는 볼륨이 아니며, 많은 AI 작성 조사에서는 좋은 조사에서 유용한 것을 생략합니다. 구조, 분석, 신뢰할 수 있는 출처, 실제 통찰력입니다. 대신, 논문은 AI 생성/보조 조사들이 종종 연결된 요약으로 읽히며, 필요한 주의나 큐레이션이 없다고 제안합니다.

저자는 추가로, AI 작성 조사에서는 구조가 부족하며, 종종 논문을 목록화하지 않고, 주요 섹션을 생략하며, 컨텍스트를 만들지 못한다고 관찰합니다. 반면, 인간 작성 조사에서는 적절한 카테고리를 설정하고, 더 일관된 이야기를 전달하는 경향이 있습니다.

또한, 많은 잠재적으로 AI 보조 조사에서는 기존 주제 분할을 단순히 복사합니다. 예를 들어, 논문은 여러 Vision Transformers에 대한 조사에서 공통의 섹션 제목과 구조를 포함한다는 것을 지적합니다. 이는 템플릿 기반 AI 출력을 나타냅니다.

‘반면, 잘 작성된 인간 작성 조사에서는 새로운 분류학을 도입할 수 있습니다. 예를 들어, 효율성 전략에 따라 ViT를 분류할 수 있습니다. 많은 최근 조사 전고에서 이러한 원본 구조가 부족한 것은 그것들이 AI에 의해 생성되었을 수 있음을 시사합니다.’

인용하지 마세요

아마도 가장 공개적으로 부끄러운 것은, AI 작성 조사에서는 종종 인용을 잘못합니다. 주요 논문을 놓치거나, 관련이 없는 논문을 포함하거나, 때로는 실제로 존재하지 않는 논문을 나열합니다. 이러한 오류는 참된 전문 지식보다는 표면적인 패턴 매칭에서 비롯된 것으로 보입니다.

저자는 또한 최근의 일부 조사 논문은, 종종 완전히 다른 팀에서, 참조 목록을 70%까지 공유한다는 것을 지적합니다. 이러한 중복 수준은 LLM에 대한 공유 의존성을 암시합니다.

사실, ChatGPT의 캐주얼 사용자는, 주제가 더 이상할수록, 모델이 일반화할 수 있는 다양한 출처가 더 적다는 것을 알 것입니다. 이러한 정보를 모델과 상호 작용하는 것보다 웹에서 모델의 출처를 찾는 것이 더 유용할 수 있습니다.

동일한 스타일의 등장

저자는 또한 많은 AI 작성 조사들이 동일한 주제에 대해 거의 동일한 스타일로 작성되어, 가치가 거의 없으며, 연구자가 도메인에 대한 답변을 찾을 때 노イズ를 추가한다고 주장합니다.

‘다양한 저자가 LLM에 “X에 대한 문헌 검토를 작성하도록” 요청하면, 모델은 매우 유사한 응답을 생성합니다. 특히 정의나 잘 알려진 사실에 대해 그렇습니다. 최근 연구는 LLM과 관련된 특정 작성 패턴의 사용이 급격히 증가하고 있음을 보여주었습니다. 이는 많은 논문이 동일한 스타일을 공유한다는 것을 시사합니다.’

당신의 ChatGPT가 나타납니다

논문은 AI 작성 조사들을 빠르게 식별하는 방법은 ‘AI 언어 모델로서‘ 또는 ‘나의 지식 컷오프‘와 같은 구절의 존재를 통해 가능하다고 주장합니다. 이는 언어 모델의 출력을 제출하기 전에 거의 또는 전혀 큐레이션되지 않았음을 시사합니다.

논문은 또한 많은 ‘의심스러운’ 조사에서는 단어의 다양성이 낮고 반복되는 문구가 나타날 수 있으며, 예를 들어, 여러 단락을 ‘또한‘로 시작하는 것이 일반적이라고 제안합니다. 이러한 패턴은 GPT 스타일의 작성 방식에典型적입니다.

(私の 개인적인 의견은, 온라인 저널리즘의 엄격한 규칙이 작가에게 많은 항목을 스타일이 없는 형식으로 나열하도록 요구하기 때문에, ChatGPT와 그 동료들은 인간 작가들로부터 이러한 나쁨習慣을 배웠을 것입니다. 또한, 저자의 추측은 AI 콘텐츠 감지의 원칙에 대한 실험을 나타냅니다. 이는 복잡하고 발전하는 분야이며, 저자가 제안하는 것과 같은 지속적인 상수는 거의 없습니다)

저자는 연구 문화와 신뢰에 대한 AI 조사들의 부정적인 영향에 대한 관심 깊은 논의를 계속합니다. 그러나 우리는 더 깊은 내용을 위해서는 원본 논문을 참조해야 합니다.

해결책?

논문의 해결책은 관심 깊고, 급진적이며,同時에奇妙하게独創的이지 않습니다. 조사 논문의 유용성이 다이내믹 라이브 조사로 대체되어야 한다는 것입니다. 이는 위키와 깃허브 페이지의 하이브리드이며, LLM과 다른 AI 시스템에서 새로운 데이터를 계속해서 공급받지만, 커밋은 인간에 의해만 수행됩니다. 따라서 AI는 본질적으로 ‘자동 게시’ 업데이트를 할 수 없습니다.

제안된 시스템은 깃허브의 버전 관리와 분기를 공유할 것입니다. 본질적으로, 정보 자원을不断으로 업데이트되는 목록으로 변환하여, 깃허브의 ‘어썸’ 스트레인과 같은 커레이티드 목록과 유사합니다.

‘이 프레임워크에서, 커뮤니티 구성원은 먼저 조사 주제 위키를 설정하여 범위, 주요 연구 질문 및 핵심 참조를 지정하여, 명확한 테마 경계와 초기 구조를 설정합니다.

‘그 후, LLM 기반의 摂取 에이전트는不断으로 전고 아카이브, 컨퍼런스 논문 및 벤치마크 리더보드를 모니터링합니다. 추상, 그림 및 주요 성능 지표를 자동으로 추출합니다. 새로운 결과의 요약을 합성합니다. 인용 그래프를 업데이트하여 논문 간의 관계를 반영합니다. 그리고 새로운 연구 트렌드를 더 자세한 검토를 위해 플래그합니다.

‘디자인에 따라, 이러한 자동 업데이트는 출판 후 몇 시간 내에 발생하여, 저장소가 최신 상태를 유지하도록 합니다.’

‘그런 다음 인간 기여자가 깊이 있는 해석을 제공하기 위해 참여합니다. 발전하는 분류학을 정교화하여 미묘한 방법론적 차이를 캡처합니다. 다양한 하위 분야에서 알고리즘적 혁신에 대한 충돌하는 해석을 조정합니다. 그리고 문서에 대한 더 깊은 비판적 비교를 제공합니다.’

변화의 책

저자는 이 제안에 대해熱心하게 그리고 길게 설명하며, 본질적으로 정당화합니다. 높은 노력의 인간 작성 조사들은 AI 주변의 변동하는 주제에서 거의 쓸모가 없을 정도로 빠르게 구식이 됩니다. 그리고 논문은 3개월의ターナラ운드가 새로운 조사 논문을 의미할 것이라고 주장합니다. 이는 출판 예정일 때 이미 구식이거나 심각하게 구식일 수 있습니다.

‘년년이 가면, 커뮤니티는 반복적이거나 표면적인 개요로洪されて, 실질적인 통찰력을 찾는 것이 어려워집니다. 전통적인 출판 주기(즉, 초안, 제출, 검토, 출판)는 몇 개월을 걸릴 수 있으며, 그 때에는 중요한 돌파구가 이미 상황을 변경했을 수 있습니다.

‘또한, 조사 논문의 증가하는 볼륨은 인지 과부하를 추가합니다. 독자들은 실질적인 통찰력을 찾기 위해 많은 중복된 문서를 거쳐야 합니다.’

불행히도, 논문의 해결책은 디스코드의 가장 나쁨이고 가장 비난받는 특징을 공유합니다. 특히, 그것은不断으로 변경되고 있는 자원입니다.

다이내믹 라이브 조사의 어떤 부분이든 언제든지 사라질 수 있거나 수정될 수 있으므로, 그것을引用할 수 있는 안정적인 출처로 사용하는 것이 불가능합니다. 아카이브 사이트인 archive.is와 웨이백 머신과 같은 아카이브 사이트가 제공하는 링크 가능한 스냅샷과 유사한 방식으로, ‘이전 커밋’을引用하는 것을 제외하고는 말입니다.

또한, 정의와 콘텐츠가不断으로 변경되는 플랫폼/위키는 전통적인 검색 엔진이나 LLM에 의해 색인이 어려울 것입니다.

제안된 시스템의 가장 약한 부분은 실제 사람이 LLM 에이전트의 커밋을 감독해야 한다는 것입니다. 실제 사람은 비용이 많이 듭니다. 무엇이 제안되고 있는지에 대한 리소스가 필요할 것입니다. 그것은 데이터의 볼륨과 커버되는 주제의 수에 비례할 것입니다.

만약 ‘실제 사람을 사용하십시오’가 AI 개발 문제에 대한 유일한答案이라면, 문제는 여전히 열려 있고, 해결되지 않은 채로 남아 있습니다.

결론

현재, AI에 대한 조사 논문의 짧은 수명은 짜증나지만, 새로운 논문에서 제시한대로 자동화된 작성과 제출이 계속된다면, 신호 대 노이즈 비율은慢性으로 될 것이며, 문헌은 관리할 수 없게 될 것입니다.

이러한 상황에서는, FAANG 이외의 소규모 목소리가 폭풍의 제출에서 들릴 가능성이 더 낮을 것입니다. 그리고 주요 시장 리더는 더 큰 두드러짐을 얻을 것입니다.

라이브 조사 외에도, 새로운 논문은 저자가 AI를 사용할 때 자신을 제한해야 하며, AI 보조 섹션이 논문 내에서 명시적으로 레이블되어야 한다고 제안합니다.

이것은 어려운 전망입니다. 논문은 대안으로 AI 기여를 위한 별도의 섹션을 제안합니다.

간단히 말하면, 새로운 연구는 실제적인 해결책을 제공하지는 못합니다. 그러나 저자는 앞으로의 도전을 프레임하는 유용한 서비스를 수행했습니다.

논문 Stop DDoS Attacking the Research Community with AI-Generated Survey Papers는 https://arxiv.org/abs/2510.09686에서 찾을 수 있으며, 上海交通大学의 여러 부서에서 6명의 저자가 작성했습니다.

___________________________________

* 모두가 이러한 경우에 동의하는 것은 아닙니다.

^† 저자의 강조, 내 것이 아닙니다. 또한, 적용 가능한 경우, 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

最初에 게시된 날은 2025년 10월 17일입니다.