„Průzkumový papír DDoS útok“ který přehlcuje vědecký výzkum

Modely generativního AI, jako je ChatGPT, nyní zaplavují akademické publikační platformy AI-generovanými průzkumovými papíry v takovém množství, že poměr signálu k šumu se stává kritickým. Nová studie tvrdí, že tento příliv přehlcuje výzkumníky, zkresluje citace a podkopává důvěru ve vědecké záznamy, přičemž příliv AI-pomocných papírů srovnává s „DDoS útokem“ na samotnou vědu.

(Částečně) názor  Minulý týden, poprvé za sedm let sledování vědecké literatury související s AI, jsem musel uznat porážku a přiznat, že alespoň v období špičky musím nyní zvolit mezi tím, zda zůstanu v obraze nových publikací, nebo zda budu mít čas psát o některých z nich.

Celkový počet položek v omezeném počtu relevantních kategorií (Počítačové vidění, Strojové učení, Jazykové modely a několik dalších méně častých sekcí) činil výrazně více než tisíc – pouze za jeden den.

Při takovéhle objemu by bylo dokonce i prohlížení všech nových názvů a pouze občasné čtení některých abstraktů neefektivní.

To bylo úterý 7. října. Naopak, v kategorii Strojového učení tento minulý úterý (14. října) nabídl publikovaný objem mírně nižší než 400 položek z úterý minulého týdne; měl 354 položek:

354 položek pro kategorii Strojového učení za jeden den. Zdroj: https://arxiv.org/

Musíte mít zkušenosti s každodenním čtením Arxiv, abyste si uvědomili, jak jsou tato čísla šílená.

Úterý je „špičkou“ Arxiv pro odesílání prací, možná proto, že je to první pracovní den po víkendu, kdy vlivní lidé, které výzkumníci doufají, že osloví, nejsou na dovolené; a kategorie Strojového učení je „záchytná“ sekce s menším počtem unikátních papírů (papíry, které nejsou současně publikovány v specializovanějších kanálech) než většina ostatních kategorií.

Přesto je nárůst počtu odeslaných prací již zaznamenaným jevem v akademické sféře a v médiích.

Možná nejšokujícím aspektem tohoto nárůstu je, že všechny ostatní přilehlé kategorie jsou více či méně nezměněny ve své frekvenci za posledních tři roky, zatímco kategorie Počítačových věd (hledejte ji v oficiálních číslech Arxiv níže) je na strmé vzestupné trajektorii:

Nárůst počítačových vědních prací za posledních tři roky. Zdroj: https://info.arxiv.org/about/reports/submission_category_by_year.html

Před více než třemi lety se odhadovalo, že výstup AI prací na Arxiv se zdvojnásobí kažých několik let; a bude zajímavé si přečíst roční souhrn trendů Arxiv na konci roku 2025.

Objem na 11

Dvě nejzřetelnější příčiny tohoto jevu jsou a) bezprecedentní finanční závazek k generativnímu AI, který přitahuje masivní úroveň výzkumných investic v soukromém a akademickém sektoru, které často spolupracují; a b) fakt, že AI jazykové modely, jako je ChatGPT, nyní umožňují odesílat výzkumné papíry (včetně papírů o AI) téměř industrializovaným procesem.

Jedna věc je objem; kvalita výzkumných prací neroste spolu s ním (ačkoli chybný výstup AI tenduje činit více titulků v právní sféře než v akademické, nejméně proto, že důsledky jsou tam více zřejmé).

Nulová tolerance je obtížná na implementaci, i kdyby rozpoznávání AI-generovaného obsahu bylo jednodušší; kromě faktu, že AI samo o sobě je zjevným požehnáním pro vědecký výzkum obecně, jeho použití v odesílání prací obecně* zlepšilo jasnost práce mnoha neanglických odesílatelů – jednotlivců a týmů, kteří dosud pracovali v znevýhodnění.

Ale problém snižování jazykové bariéry tímto způsobem je, že to také zvyšuje počet globálních odesílatelů, aniž by zvyšovalo úroveň lidského dohledu, která dodává takové práci hodnotu.

Pokud se úroveň odesílání bude dále zvyšovat exponenciálně, poměr signálu k šumu se stane tak nekontrolovatelným, že pouze samotný AI by mohl possibly procházet nové povodně a přítoky AI prací; úkol, pro který není o nic více vhodný než pro kontrolu svého vlastního výstupu. Ironicky, vědecký výzkum je intenzivně lidskou činností.

Útok na výzkum

Příčinou této úvahy je zajímavá nová spolupráce z Číny s názvem Přestaňte DDoS útokem na výzkumnou komunitu s AI-generovanými průzkumovými papíry.

Nová pozice se soustředí specificky na průzkumové odesílání – náročné souhrny konkrétních směrů ve výzkumu, které tradičně jak uváděly, tak kontextualizovaly, interpretují trendy a činily informovaná předpovědi:

Pouze zlomek obrovského a stále rostoucího množství průzkumů dostupných v sekcích souvisejících se strojovým učením a AI, na arxiv.org

Jelikož průzkumy kurátorují spíše než původně, jsou neobvykle snadno automatizovatelné pomocí AI, a autoři nové práce charakterizují proliferaci nízkoúsilkových průzkumů v termínech bezpečnostní hrozby pro výzkumnou sféru^†:

‘[Nedávný nárůst] AI-generovaných průzkumů, zejména umožněný velkými jazykovými modely (LLM), transformoval tuto tradičně náročnou žánr do nízkoúsilkového, vysokovýstupního procesu. Zatímco tato automatizace snižuje vstupní bariéry, také představuje kritickou hrozbu: jev, který nazýváme „průzkumový papír DDoS útok“ na výzkumnou komunitu.

‘To odkazuje na nekontrolovanou proliferaci povrchně komplexních, ale často redundantních, nízkoúrovňových nebo dokonce halucinovaných průzkumových rukopisů, které zaplavují předtiskové platformy, přehlcují výzkumníky a podkopávají důvěru ve vědecké záznamy.

‘[My] argumentujeme, že musíme přestat odesílat velké množství AI-generovaných průzkumových papírů (tj. průzkumový papír DDoS útok) do výzkumné komunity, institucionalizací silných norem pro AI-asistované psaní recenzí.’

Autoři tvrdí, že tento neomezený zrychlení produkce průzkumů ohrožuje, že výzkumnou ekosystém zaplave vysoce lesklými zprávami, které postrádají kritickou hloubku, a které jsou pravděpodobně propagovat faktické chyby a/nebo halucinované citace.

Práce varuje, že bez lepších pravidel nebo dohledu by AI-generované průzkumy mohly se stát povrchními kopiemi, které špatně reprezentují, které téma je důležité, skrývají významnou analýzu a činí literární recenze méně důvěryhodnými:

‘Dopady na kvalitu výzkumu a důvěru jsou hluboké. Nejprve skutečné pokroky riskují být zastíněny algoritmicky generovanými přepsanými verzemi stávající práce.

‘Nováčci a interdisciplinární vědci mohou mít potíže s nalezením spolehlivých přehledů uprostřed hluku. Kromě toho chyby nebo předpojatosti zavedené automatizovaným návrhem mohou být nekontrolovatelně propagovány, osívají následný výzkum chybnými předpoklady.

‘Stručně řečeno, povodeň nepeer-reviewed AI-generovaných průzkumů ohrožuje jak přísnost literárních recenzí, tak důvěryhodnost vědeckého záznamu.’

‘Abnormální’ autoři

Výzkumníci z nové práce poskytují některé zajímavé analýzy o evoluci průzkumových odesílání:

Vlevo: roční počet počítačových vědních průzkumových papírů z roku 2020 na 2024. Uprostřed: průměrné AI-generační skóre pro tyto papíry za stejnou dobu. Vpravo: počet autorů označených jako abnormální (ti s neobvykle vysokou průzkumovou produkcí, omezenou diverzitou spoluuautorství a opakujícími se institucionálními vzorci) každý rok. Všichni tři trendy ukazují prudký nárůst od roku 2023, který se shoduje s vydáním ChatGPT a dalších velkých jazykových modelů.

V první sloupci vidíme růstové trendy: křivka začíná prudce stoupat kolem roku 2022, právě když ChatGPT vyšel a velké jazykové modely začaly být mainstreamové, a následné modely, jako je Claude, PaLM a Gemini by podržely tento trend po celý rok 2023.

Střední graf ukazuje prudký nárůst odesílání po roce 2022, který se shoduje se spuštěním ChatGPT. Jedna výzkumná skupina našla, že do roku 2024 více než 10 % vědeckých abstraktů prošlo prostřednictvím LLM. Oddělená zpráva od firmy pro detekci AI uvedla, že skok po ChatGPT byl 72 % pro papíry na arXiv, které mohly být napsány s pomocí AI. Počet papírů s vysokými AI-generačními skóre se také za rok zdvojnásobil, z 3,6 % na 6,2 %.

Pravý, třetí graf ukazuje stálý nárůst „abnormálních“ autorů (výzkumníků, kteří odesílají tři nebo více průzkumů do měsíce, zatímco pracují s méně než dvěma spolupracovníky), s prudším nárůstem od roku 2022.

Autoři tvrdí, že mnohé z těchto průzkumových papírů mohly být napsány AI, z různých důvodů; některé byly napsány samostatnými autory nebo malými skupinami, které odesílají několik průzkumů v krátké době; mnohé se zabývají nesouvisejícími tématy; a v některých případech autoři nemají žádný předchozí záznam ve svých oborech.

Kromě toho některé jsou publikovány pod anonymními kolektivy bez zřejmých institucionálních vazeb – vzorce, které naznačují koordinované zaplavení oboru rychlými průzkumy, možná za účelem získání citací nebo vylepšení akademických profilů, spíše než aby přispěly k literatuře.

Problémy

Ačkoli nemůžeme pokrýt všechny spory nové práce, měli bychom se podívat na některé z nejzajímavějších pozorování, stejně jako kriticky zhodnotit navrhovaná řešení autorů pro tyto problémy.

Kvalita a originalita

Problém není jen objem: mnohé AI-napsané průzkumy přeskočí, co dělá dobrý průzkum užitečným: jasnou strukturu, hlubokou analýzu, správnou a pečlivou kreditaci a skutečné vhledy. Místo toho práce navrhuje, že AI-generované/aided průzkumy často vypadají jako složitě sestavené souhrny, bez požadované péče nebo kurátorství.

Autoři dále poznamenávají, že AI-napsané průzkumy často postrádají strukturu, ale spíše jednoduše seznamují papíry bez jasného směru, přeskočené klíčové sekce a nevytvářejí kontext. Lidmi napsané průzkumy, na rozdíl od toho, tendují k vytvoření správných kategorií a vyprávění více koherentního příběhu.

Kromě toho mnohé potenciálně AI-pomocné průzkumy zdají se jednoduše kopírovat stávající téma, někdy přímo z Wikipedie. Například práce poznamenává, že mnohé průzkumy o Vision Transformerech obsahují společné názvy sekcí a strukturu, naznačující šablonovitý AI výstup:

‘Naopak, dobře zpracovaný lidsky napsaný průzkum by mohl zavést novou taxonomii, například kategorizaci ViT podle strategií efektivnosti. Nedostatek takové originální struktury v mnohých nedávných průzkumových předtiscích vyvolává obavy, že mohly být generovány AI s omezeným lidským vhledem.’

Necitujte mě na to

Možná nejvíce veřejně trapné, AI-napsané průzkumy často citace špatně, chybí klíčové papíry, včetně irelevantních papírů, a někdy dokonce i neexistující papíry – chyby, které naznačují, že odkazy pocházejí z povrchového pattern matching, spíše než z skutečné odbornosti.

Autoři také poukazují na to, že některé nedávné průzkumové papíry, často od zcela různých týmů, sdílejí až 70 % svých seznamů referencí – úroveň překryvu tak vysokou, že argumentují, že to naznačuje sdílenou závislost na LLM, které čerpají z stejné úzké základny zdrojového materiálu.

Skutečně, příležitostní uživatelé ChatGPT budou vědět, že čím je téma méně známé, tím méně různých zdrojů je k dispozici pro model, aby se z nich generalizoval; velmi často je lokalizace vlastních zdrojů modelu na webu užitečnější než interakce s touto informací prostřednictvím AI, která neměla dostatečná data v konkrétní doméně.

‘Homogenní styl’ se objevuje

Autoři také poznamenávají, že mnohé AI-napsané průzkumy na stejné téma vypadají a zní téměř identicky, protože LLM opakují fráze a strukturu, zejména pro populární předměty, což vede k povodni téměř identických papírů, které přidávají málo hodnoty a také přidávají významný hluk pro výzkumníky, kteří hledají odpovědi na domény*:

‘Když mnozí autoři požádají LLM, aby „napsal literární přehled o X“, model často produkuje velmi podobné odpovědi, zejména pro běžné definice nebo dobře známé skutečnosti. Nedávný výzkum ukázal prudký nárůst použití určitých psacích vzorců spojených s LLM, naznačující, že mnohé papíry nyní sdílejí stejný styl.’

Vaše ChatGPT je vidět

Práce poznamenává, že rychlý způsob, jak identifikovat AI-napsané průzkumy, je prostřednictvím přítomnosti frází, jako je ‘jako AI jazykový model‘ nebo ‘moje znalostní limit‘, naznačující minimální nebo dokonce žádnou kuraci výstupu z jazykových modelů před odesláním papírů (ačkoli cílený vyhledávání v době psaní neodhalilo žádné takové indicie indexované v Google Search).

Práce poznamenává, že mnohé „podezřelé“ průzkumy ukazují nižší slovní rozmanitost a opakované fráze, například tím, že začínají více odstavců Dále. Tento typ vzoru, autoři navrhuje, je typický pro psaní stylu GPT, a mohl by být užitečným příznakem pro detekci automaticky generovaného textu.

(Můj osobní komentář k tomu je, že omezení online žurnalistiky často vyžadují, aby spisovatelé uváděli mnoho položek v prózové, nestylizované formě. Proto ChatGPT a jeho peer jsou pravděpodobně naučili tento špatný zvyk od lidských spisovatelů, kteří čelili omezenému počtu lexikálních alternativ. Kromě toho spekulace autorů ukazuje, že se zabývají zásadami detekce AI obsahu, což je složitý a rozvíjející se obor s několika trvalými konstantami, jaké autoři naznačují)

Ačkoli výzkumníci pokračují v fascinujícím diskurzu o negativním dopadu AI průzkumů na výzkumnou kulturu a důvěru, musíme odkázat čtenáře na zdrojový papír pro větší hloubku na toto téma.

Řešení?

Řešení papíru je fascinující, radikální a zároveň podivně neoriginální: že užitnost průzkumových papírů by měla být nahrazena Dynamickým živým průzkumem – interpretací, hybridem mezi Wiki a GitHub stránkou, neustále krmeným novými daty z LLM a dalších AI systémů, ale s commity, které jsou provedeny pouze lidmi, aby AI nemohlo „auto-publikovat“ aktualizace.

Navrhovaný systém by sdílel verzi a větvení GitHubu,基本ně proměňující informační zdroj na neustále aktualizovaný seznam podobný ‘awesome’ kmenovému seznamu na GitHubu:

‘V rámci tohoto rámce komunitní člen nejprve založí průzkumový téma wiki specifikací rozsahu, klíčových výzkumných otázek a zásadních referencí, které stanoví jasnou tematickou hranici a počáteční strukturu.

‘Poté LLM-založený ingestní agent neustále monitoruje předtiskové archivy, konferenční příspěvky a benchmarkové leaderboard. Automaticky extrahuje abstrakty, obrázky a klíčová výkonnostní metriky; syntetizuje stručné souhrny nových výsledků; aktualizuje citační graf, aby odrážel mezipapírové vztahy; a označuje vznikající výzkumné trendy pro další přezkum.

‘Navržené automatické aktualizace se vyskytují do hodin od publikace, zajišťují, že repozitář zůstává na špičce.’

‘Lidští přispěvatelé pak vstupují, aby poskytli interpretační hloubku, kterou stroje samotné nemohou nabídnout. Upravují se vyvíjející taxonomie, aby zachytili jemné metodologické rozdíly, koordinují protichůdné interpretace algoritmických inovací napříč různými subobory a poskytují hlubší kritické srovnání dokumentu.’

Kniha změn

Autoři rozvíjejí své návrhy s nadšením a v délce, a v podstatě je ospravedlňují něčím, co je velmi pravdivé: vysoké úsilí lidsky napsané průzkumy na nestálých tématech kolem AI stárnou tak rychle, že nejsou téměř worth psát; a práce poznamenává, že tříměsíční čekání na nový průzkumový papír bude pravděpodobně znamenat, že bude zastaralý (nebo dokonce silně zastaralý) do data jeho plánované publikace:

‘Rok co rok jsou komunity zaplaveny opakujícími se nebo povrchními přehledy, které rychle ztrácejí relevanci, nechávají praktiky a nováčky stejně bojovat, aby rozlišili signál od hluku. Tradiční publikační cyklus (tj. návrh, odeslání, přezkum a publikace) může trvat několik měsíců, během nichž kritické průlomy mohou již změnit krajinu.

‘Kromě toho se zvyšující se objem statických průzkumů přidává ke kognitivnímu přetížení, protože čtenáři musí procházet mnoho překrývajících se dokumentů, aby našli podstatné vhledy.’

Bohužel, řešení papíru sdílí mnoho z nejhorších a nejvíce zneužívaných kvalit Discordu: zejména to, že by to bylo neustále se měnící a měnící se zdroj.

Pokud by jakákoli část Dynamického živého průzkumu mohla zmizet nebo být změněna kdykoli, bylo by nemožné ji použít jako citovatelný, stabilní zdroj; kromě případu, kdy by se odkazovalo na „předchozí commit“, podobně jako archive.is a Wayback Machine, mezi jinými archivačními stránkami, poskytují odkazovatelné snímky webové stránky, zmrazené v určitém čase. Ale jaké zdroje by takový commit potřeboval, a mohl by se na něj spolehnout, aby zůstal aktivní po dlouhou dobu?

Kromě toho by platforma/Wiki s neustále se měnícími definicemi a obsahem byla obtížná na indexování, buď tradičními vyhledávači nebo LLM.

Možná nejslabší část navrhovaného systému je myšlenka, že skutečné lidi by měli dohlížet na commity od LLM agentů; jako vždy, skutečné lidi jsou drazí. Co se navrhuje, je něco mezi muzeem a knihovnou – obě budou potřebovat masivní zásobování lidmi úměrné objemu dat a počtu témat.

Pokud ‘použít skutečné lidi‘ je jedinou odpovědí na problém AI, je fér říci, že problém zůstává otevřený a nevyřešený.

Závěr

V současné době je krátká životnost průzkumových papírů o AI znepokojivá; pokud se současný trend směrem k vysokoměřítkové automatické tvorbě a odesílání bude dále pokračovat, jak je uvedeno v nové práci, poměr signálu k šumu se stane chronickým, a literatura bude nekontrolovatelná.

V takové situaci by bylo ještě obtížnější než nyní pro menší, sub-FAANG hlasy, aby byly slyšet v bouři odesílání, a hlavní market leaders by pravděpodobně získali ještě větší prominenci.

Kromě živých průzkumů nová práce navrhuje, že autoři by neměli být pouze omezeni na prohlášení, zda AI byla použita v jakékoli části odesílání, ale také, že AI-pomocné sekce by měly být explicitně označeny v rámci papíru (možná s doprovodným JSON souborem…?).

Pokud je toto perspektiva náročná, práce alternativně navrhuje, co bych mohl pouze charakterizovat jako „AI ghetto“ – oddělenou sekci v odesílání, která je vyhrazena pro AI příspěvky.

Stručně řečeno, nová práce nemá, alespoň podle mého názoru, žádné realistické odpovědi na nabídnutí; ale autoři poskytli užitečnou službu tím, že formulovali výzvy, které nás čekají.

Práce Přestaňte DDoS útokem na výzkumnou komunitu s AI-generovanými průzkumovými papíry lze nalézt na https://arxiv.org/abs/2510.09686, a je napsána šesti autory z různých oddělení na Šanghajské jiao-tungské univerzitě.

___________________________________

* Není všichni cítí, že je to případ.

^† Autoři zdůrazňují, ne můj. Kromě toho, kde je to relevantní, můj převod autorů inline citací do hypertextových odkazů.

První publikováno v pátek, 17. října 2025