Den ‘Survey Paper DDoS Angreb’, der Overvælder Videnskabelig Forskning

Generative AI-modeller som ChatGPT oversvømmer nu akademiske publiceringsplatforme med AI-genererede survey-papirer i et omfang, der gør signal-til-støj-forholdet kritisk. En ny studie hævder, at denne oversvømmelse overvælder forskere, forvrænger citeringer og undergraver tilliden til den videnskabelige optegnelse, og sammenligner oversvømmelsen af AI-baserede papirer med et ‘DDoS-angreb’ på videnskaben selv.

(Delvist) mening Sidste uge måtte jeg for første gang i syv år, hvor jeg har holdt mig opdateret med den videnskabelige litteraturstrøm relateret til AI, erkende nederlag og indrømme, at jeg i hvert fald på højdepunkterne nu må vælge mellem at holde mig ajour med nye publikationer eller have nogen tid tilbage til at skrive om nogle af dem.

Det totale antal indlinger i et meget begrænset antal relevante kategorier (Computer Vision, Machine Learning, Language Models, og nogle få andre mindre abonnerede sektioner) lå på betragteligt over tusind – blot for en dags indsendelser.

Ved sådant et volumen ville selv en overfladisk gennemlæsning af alle nye titler og kun lejlighedsvis nyde nogle af abstract-sammenfattelserne have resulteret i en uproduktiv dag.

Dette var tirsdag den 7. oktober. I modsætning hertil tilbød Machine Learning-kategorien denne tirsdag (14. oktober) en publikationsvolumen lidt mindre intens end de 400-odd indlinger for tirsdag i den foregående uge; den havde en mere 354 indlinger:

354 indsendelser for Machine Learning-kategorien på en dag. Kilde: https://arxiv.org/

Man skulle have læst Arxiv hver dag i nogle år for at forstå, hvor vanvittigt disse tal bliver.

Det er indrømmet, at tirsdag er Arxivs ‘rush hour’ for indsendelser, måske fordi det er den første arbejdsdag, der finder sted væk fra lange weekender, som de indflydelsesrige personer, som forskerne håber at nå, nyder; og Machine Learning-kategorien er en ‘catch-all’-sektion med et lavere antal unikke papirer (papirer, der ikke samtidig offentliggøres i mere specialiserede kanaler) end de fleste andre kategorier.

Alligevel er stigningen i papirindsendelser allerede et noteret fænomen i akademiske kredse og i medierne.

Måske det mest chokerende aspekt af denne eskalering er, hvordan alle andre tilstødende kategorier er mere eller mindre uændrede i deres hyppighed over de sidste tre år, hvorimod Computer Science-kategorien (se, om du kan spotte den i Arxivs officielle tal nedenfor) er på en alvorlig opadgående kurve:

Stigningen i computer science-papirer (CS) over de sidste tre år. Kilde: https://info.arxiv.org/about/reports/submission_category_by_year.html

Kun lidt over tre år siden var Arxivs AI-papirindsendelser estimeret til at fordobles hvert få år; og det vil være interessant at læse Arxivs egen årlige oversigt over tendenser ved udgangen af 2025.

Volume på 11

De to mest åbenlyse årsager til, at dette sker, er a) usædvanlig økonomisk engagement i generative AI, der tiltrækker massive niveauer af forskningsinvesteringer i private og akademiske sektorer, der ofte samarbejder; og b) det faktum, at AI-sprogmodeller som ChatGPT nu gør det næsten til en industrialiseret proces at indsende forskningspapirer (herunder papirer om AI).

Men kvaliteten af forskningsindsendelser stiger ikke i takt med volumen (selvom AI’s fejlprægede output tenderer til at gøre flere overskrifter i den juridiske sektor end i den akademiske, ikke mindst fordi konsekvenserne er mere åbenlyse her).

En nultolerancpolitik er svær at implementere i dette tilfælde, selv hvis genkendelse af AI-genereret indhold var lettere; ud over det faktum, at AI i sig selv er en manifest fordel for videnskabelig forskning generelt, har dens brug i forskningspapirindsendelser generelt* forbedret klaren af arbejde fra mange ikke-engelske indsendere – personer og hold, der indtil nu har opereret med en ulempe.

Men problemet med at mindske sprogbarrieren på denne måde er, at det også øger det rene antal globale indsendere, uden at øge niveauet af menneskelig oversigt, der giver værdi til sådant arbejde.

Hvis indsendelsesniveauerne fortsætter med at stige eksponentielt, vil signal-til-støj-forholdet blive så ukontrollerbart, at kun AI selv muligvis kan navigere i de nye oversvømmelser og bifloder af AI-papirer; en opgave, som det ikke er bedre egnet til end at korrekturlæse sin egen output. Ironisk nok er videnskabelig forskning en intensivt menneskelig aktivitet.

Et Angreb på Forskning

Årsagen til denne refleksion er en interessant ny samarbejde fra Kina med titlen Stop DDoS Angrebet på Forskningsfællesskabet med AI-Genererede Survey-Papirer.

Den nye positionspapir koncentrerer sig specifikt om survey-indsendelser – højindsats rundinger af bestemte tråde i forskning, der traditionelt både har listet og kontekstualiseret, fortolket tendenser og gjort informerede forudsigelser:

En lille brøkdel af den enorme og stadig voksende mængde af surveys tilgængelige i sektioner relateret til machine learning og AI på arxiv.org

Da surveys kuraterer snarere end oprinder, er de usædvanligt lette at automatisere med AI, og forfatterne af det nye arbejde karakteriserer proliferationen af lav-indsats surveys i termer af en sikkerhedstrussel til forskningssektoren^†:

‘[Den] seneste stigning i AI-genererede surveys, især muliggjort af store sprogmodeller (LLM’er), har transformeret denne traditionelt arbejdskrævende genre til en lav-indsats, høj-volumen output. Mens sådan automatisering sænker adgangsbarriererne, introducerer det også en kritisk trussel: fænomenet, vi kalder “survey-papir DDoS-angrebet” på forskningsfællesskabet.

‘Dette refererer til den ukontrollerede proliferation af overfladiske, men ofte redundante, lavkvalitets- eller endda hallucinerede survey-manuskripter, der oversvømmer preprint-platforme, overvælder forskere og undergraver tilliden til den videnskabelige optegnelse.

‘[Vi] argumenterer for, at vi må stoppe med at uploade massive mængder af AI-genererede survey-papirer (dvs. survey-papir DDoS-angreb) til forskningsfællesskabet, ved at etablere stærke normer for AI-assisteret anmeldelsesskrivning.’

Forfatterne hævder, at denne uindhegnede acceleration af survey-produktion truer med at oversvømme forskningsekosystemet med polerede rapporter, der mangler kritisk dybde, og som sandsynligvis vil propagere faktuelle fejl og/eller hallucinerede citeringer.

Papiret advarer om, at uden bedre regler eller tilsyn, kunne AI-genererede surveys forvandle sig til overfladiske kopier, der misrepræsenterer, hvilke emner der er vigtige, skjuler meningsfuld analyse og gør litteraturgennemgange mindre troværdige:

‘Konsekvenserne for forskningskvalitet og tillid er dybtgående. Først risikerer ægte fremskridt at blive skjult af algorithmisk genererede genoptryk af eksisterende arbejde.

‘Nybegyndere og interdisciplinære forskere kan have svært ved at finde pålidelige overblik midt i støjen. Desuden kan fejl eller bias, introduceret af automatiseret udarbejdning, forblive ukontrolleret, og sæde efterfølgende forskning med fejlbehæftede præmisser.

‘Samlet set, oversvømmelsen af ikke-peer-reviewsede AI-genererede surveys truer både rigor af litteraturgennemgange og troværdigheden af den videnskabelige optegnelse.’

‘Abnormale’ Forfattere

Forskerne bag det nye papir giver nogle interessante analyser af udviklingen af survey-indsendelser:

Venstre: det årlige antal computer science-survey-papirer fra 2020 til 2024. Midten: gennemsnitlige AI-genereringskarakterer for disse papirer over samme periode. Højre: antallet af forfattere, der er markeret som abnorme (de med usædvanligt højt survey-udbytte, begrænset samarbejdsdiversitet og gentagne institutionelle mønstre) hvert år. Alle tre tendenser viser en skarp stigning fra 2023, samtidig med udgivelsen af ChatGPT og andre store sprogmodeller.

I den første kolonne ser vi væksttendenser: kurven begynder at stige skarpt omkring 2022, lige da ChatGPT opstod og store sprogmodeller begyndte at blive mainstream, og efterfølgende modeller som Claude, PaLM og Gemini ville opretholde denne fremdrift hele 2023.

Den midterste graf viser en skarp stigning i indsendelser efter 2022, samtidig med lanceringen af ChatGPT. Et forskninghold fandt ud af, at i 2024 var mere end 10% af videnskabelige abstracts blevet kørt gennem en LLM. En separat rapport fra en AI-detectionsfirma satte springet efter ChatGPT til 72% for papirer på arXiv, der muligvis var skrevet med AI-hjælp. Antallet af papirer med høje AI-genereringskarakterer blev også fordoblet på et år, fra 3,6% til 6,2%.

Den tredje, højre graf viser en støt stigning i antallet af ‘abnorme’ forfattermønstre (forskere, der indsender tre eller flere surveys inden for en måned, mens de arbejder med færre end to samarbejdspartnere), med en skarpere stigning fra 2022.

Forfatterne hævder, at mange af disse survey-papirer muligvis er blevet udarbejdet af AI af forskellige årsager; nogle er skrevet af solo-forfattere eller små grupper, der indsender multiple surveys på kort tid; mange dækker ikke-relaterede emner; og i nogle tilfælde har forfatterne ingen tidligere rekord i de fag, de summerer.

Derudover er nogle offentliggjort under anonyme kollektiver med ingen klare institutionelle bånd – mønstre, der antyder en koordineret oversvømmelse af feltet med hurtige surveys, muligvis for at opnå citeringer eller forbedre akademiske profiler, snarere end at bidrage med noget virkeligt til litteraturen.

Problemer

Selv om vi ikke kan dække alle kontentionerne i det nye papir, bør vi kaste et kritisk blik på nogle af de mest bemærkelsesværdige observationer, samt kaste et kritisk øje over forfatternes foreslåede løsninger på disse problemer.

Kvalitet og Originalitet

Problemet er ikke kun volumen: mange AI-skrevne surveys springer over, hvad der gør en god survey nyttig: klar struktur, dyb analyse, korrekt og omhyggelig kredit, og rigtig indsigt. I stedet foreslår papiret, at AI-genererede/assisterede surveys ofte ligner sammenføjede sammenfattelser, uden den fornødne omsorg eller kuratering.

Forfatterne observerer yderligere, at AI-skrevne surveys ofte mangler struktur, men i stedet blot lister papirer uden klar retning, springer vigtige afsnit over og undlader at skabe kontekst. Menneske-skrevne surveys tenderer til at etablere ordentlige kategorier og fortælle en mere koherent historie.

Også mange potentielt AI-assisterede surveys synes at blot kopiere eksisterende emneafgrænsninger, nogle gange direkte fra Wikipedia. For eksempel bemærker papiret, at multiple surveys om Vision Transformers indeholder fælles sektionstitler og struktur, der afslører AI-drevet output:

‘I modsætning hertil kan en veludført menneske-skrevet survey måske introducere en ny taksonomi, f.eks. kategorisere ViT efter effektivitetsstrategier. Mangel på sådan original struktur i mange nyere survey-preprints vækker bekymring om, at de muligvis er blevet genereret af AI med begrænset menneskelig indsigt.’

Citater

Måske det mest offentligt pinlige er, at AI-skrevne surveys ofte får citeringer forkert, mangler vigtige papirer, herunder ikke-relevante papirer, og nogle gange endda ikke-eksisterende papirer – fejl, der antyder, at referencerne stammer fra overfladisk mønstergenkendelse snarere end sand ekspertise.

Forfatterne påpeger også, at nogle nyere survey-papirer, ofte fra helt forskellige hold, deler op til 70% af deres referencelister – et niveau af overlap, der er så højt, at det antyder en fælles afhængighed af LLM’er, der trækker fra samme snævre pool af kildegrundlag.

Sandt enough, vil casual brugere af ChatGPT vide, at jo mere obskurt emnet er, desto færre diverse kilder er der for modellen at have generaliseret; meget ofte er det at finde modellens egne begrænsede kilder på internettet mere nyttigt end at interagere med den information via en AI, der ikke havde tilstrækkelig data i en bestemt domæne.

En ‘Homogen’ Stil

Forfatterne påpeger også, at mange AI-skrevne surveys om samme emne ligner og lyder næsten identiske, da LLM’er genbruger fraseologi og struktur, især for populære emner, hvilket resulterer i en strøm af næsten identiske papirer, der tilføjer lidt værdi, og også tilføjer betydelig støj til forskere, der søger efter domænesvar*:

‘Når multiple forfattere beder en LLM om at “skrive en litteraturgennemgang om X,” producerer modellen ofte meget lignende svar, især for fælles definitioner eller velkendte fakta. Nyt forskning har vist en skarp stigning i brugen af bestemte skrivepatroner forbundet med LLM’er, hvilket antyder, at mange papirer nu deler samme stil.’

Din ChatGPT Viser

Papiret observerer, at en hurtig måde at spotte AI-skrevne surveys er gennem tilstedeværelsen af fraser som ‘som en AI-sprogmodel’ eller ‘min videnafskæring’, hvilket antyder minimal eller endda ingen kuratering af outputtet fra sprogmodellerne før indsendelse af papirerne (selv om en målrettet søgning på skrivningstidspunktet ikke afslørede nogen sådanne tegn, der er indekseret i Google Søg).

Papiret påpeger, at mange ‘mistænkelige’ surveys viser lavere orddiversitet og gentagne fraseologi, f.eks. ved at begynde multiple afsnit med Desuden. Dette mønster, foreslår forfatterne, er typisk for GPT-stil, og kunne være et nyttigt flag for at afsløre auto-genereret tekst.

(Min personlige kommentar til dette er, at strukturerne i online-journalistik ofte kræver, at en forfatter skal liste mange punkter i en prosa-baseret, ikke-stillet form. Derfor er ChatGPT og dens ligemænd sandsynligvis lært denne dårlige vane fra menneskelige forfattere, der stod over for en begrænset mængde leksikalske alternativer. Desuden viser forfatternes gæt, at de leger med grundprincipperne i AI-indholdsdetektion, som er et komplekst og udviklende felt med få varige konstanter af den type, som forfatterne foreslår)

Selv om forskerne går videre med at udvikle en fascinerende diskurs om den negative indvirkning af AI-surveys på forskningskultur og tillid, må vi henvise læseren til kildeskriftet for større dybde på dette.

Løsninger?

Papirets løsning er fascinerende, radikal og på samme tid underligt uoriginal: at nyttigheden af survey-papirer skal erstattes af en Dynamic Live Survey – ved fortolkning, en slags hybrid mellem en Wiki og en GitHub-side, konstant fødet med nye data fra LLM og andre AI-systemer, men med commits, der kun kan udføres af mennesker, så AI ikke kan “auto-offentliggøre” opdateringer.

Den foreslåede system ville dele versionering og branching fra GitHub, essentielt omdanne en informationsressource til en konstant opdateret liste lignende den ‘awesome’-strøm af kuraterede lister på GitHub:

‘Under denne ramme etablerer en fællesskabsmedlem først en survey-emne-wiki ved at specificere omfanget, nøgleforskningspørgsmål og seminale referencer, hvilket dermed sætter en klar tematisk grænse og initial struktur.

‘Derefter overvåger en LLM-baseret indtagelsesagent kontinuerligt preprint-arkiver, konference-proceedings og benchmark-lederbræt. Det automatisk extracts abstracts, figurer og nøglepræstationsmetrik; syntetiserer korte sammenfattelser af nye resultater; opdaterer citeringsgrafen for at afspejle inter-papir-relationer; og markerer fremvoksende forskningstendenser for yderligere gennemgang.

‘Ved design er disse automatiserede opdateringer inden for få timer efter offentliggørelse, hvilket sikrer, at repository forbliver i spidsen for feltet.

‘Menneskelige bidragydere træder derefter ind for at give den fortolkende dybde, som maskiner alene ikke kan tilbyde. De forfiner udviklende taksonomier for at fange subtile metodiske forskelle, koordinerer modsætningsfulde fortolkninger af algorithmiske innovationer på tværs af forskellige underfag, og giver dybere kritiske sammenligninger til dokumentet.’

Bogen om Forandringer

Forfatterne udvikler denne forslag med begejstring og i detaljer, og retfærdiggør det med noget, der er meget sandt: høj-indsats menneske-skrevne surveys om flygtige emner omkring AI aldrer så hurtigt, at de knap er værd at skrive; og papiret påpeger, at en tre-måneders omgang på et nyt survey-papir sandsynligvis vil betyde, at det vil være forældet (eller endda alvorligt forældet) ved tidspunktet for den planlagte offentliggørelse:

‘År efter år oversvømmes fællesskaberne med gentagne eller overfladiske overblik, der hurtigt mister relevans, hvilket efterlader praktikere og nybegyndere med svært ved at skelne mellem signal og støj. Den traditionelle publiceringscyklus (dvs. udarbejdelse, indsendelse, gennemgang og offentliggørelse) kan strække sig over flere måneder, hvorefter kritiske gennembrud måske allerede har ændret landskabet.

‘Desuden tilføjer den stigende mængde af statiske surveys til den kognitive overbelastning, da læsere må gennemsøge mange overlappende dokumenter for at finde substansielle indsighter.’

Uheldigvis deler papirets løsning mange af de værste og mest forkastede kvaliteter af Discord: især, at det ville være en konstant skiftende og ændrende ressource.

Da enhver del af en Dynamic Live Survey muligvis kan forsvinde eller ændres på ethvert tidspunkt, ville det være umuligt at bruge som en citerbar, stabil kilde; undtagen måske ved at linke til en ‘tidligere commit’, på samme måde som archive.is og Wayback Machine, blandt andre arkiv-sites, tilbyder linkbare snapshots af webindhold, frosset på et bestemt tidspunkt. Men hvilke ressourcer ville en sådan commit kræve, og kunne den stole på at forblive online over tid?

Derudover ville en platform/Wiki med konstant ændrende definitioner og indhold være udfordrende at indekser, enten af traditionelle søgemaskiner eller LLM’er.

Måske det svageste punkt i den foreslåede system er idéen om, at rigtige mennesker skal overvåge commits fra LLM-agenter; som altid er rigtige mennesker dyre. Hvad der foreslås, er noget mellem et museum og en bibliotek – begge vil kræve kød-udstyr proportionalt med datamængden og antallet af emner dækket.

Hvis ‘brug rigtige mennesker‘ er det eneste svar på et AI-udviklingsproblem, er det rimeligt at sige, at problemet forbliver åbent og uløst.

Konklusion

I øjeblikket er den korte levetid af survey-papirer om AI irriterende; hvis den nuværende trend mod høj-skala automatiseret skrivning og indsendelse fortsætter, som foreslået i det nye papir, vil signal-til-støj-forholdet blive kronisk, og litteraturen blive ukontrollerbar.

I en sådan situation ville det være endnu sværere end nu for mindre, ikke-FAANG-stemmer at blive hørt i stormen af indsendelser, og store markedsløbere ville sandsynligvis opnå endnu større fremtræden.

Ud over live-surveys foreslår det nye papir, at forfattere ikke kun skal begrænses til at selv-erklære, når AI bruges i nogen del af en indsendelse, men også, at AI-assisterede afsnit skal være eksplisit mærket inden for et papir (muligvis med en sidecar JSON-fil…?).

Da dette er et betungende perspektiv, foreslår papiret i stedet, hvad jeg kun kan karakterisere som en ‘AI-getto’ – en distinkt sektion i indsendelsen, der er sat til side for AI-bidrag.

I kort, det nye arbejde har, i mit mening, ingen realistiske løsninger at tilbyde; men forfatterne har udført en nyttig tjeneste ved at ramme udfordringerne fremme.
 

Papiret Stop DDoS Angrebet på Forskningsfællesskabet med AI-Genererede Survey-Papirer kan findes på https://arxiv.org/abs/2510.09686, og er skrevet af seks forfattere på afdelinger på Shanghai Jiao Tong University.

___________________________________

* Ikke alle mener, at dette er tilfældet.

^†Forfatternes fremhævelse, ikke min. Også, hvor anvendeligt, min konvertering af forfatternes inline-citationer til hyperlinks.

Først offentliggjort fredag, 17. oktober 2025