Hvordan smugle absurd vitenskapelige artikler forbi AI-granskere

Ny forskning viser hvordan AI-systemer nå kan skrive falske vitenskapelige artikler som andre AI-systemer aksepterer som ekte, og unngår oppdagsrutiner som en gang fungerte, og avslører hvor lett forskningsverdenen kunne kollapse til bots som lurer bots.

Den akademiske forskningssektoren, ironisk nok frontlinjen for innovasjon i AI, er i ferd med å gå gjennom en troverdighetskris som selv er drevet av AI. Impakt av maskinlæring på forskning, innsending og gjennomgangsprosessen har vært betydelig siden prospektet for AI-impakt først ble klart for omtrent fire år siden, med den siste i en rekke kontroverser være masse-generering av lavverdi-undersøkelsesartikler.

I likhet med mye av den bredere akademiske sektoren, er forskningssektoren engasjert i en slags kald krig mellom AI-systemer som genererer tekst – som ChatGPT og Claude-serien – og den siste generasjonen av ‘detektor’ AI-systemer, som kan identifisere deres utgang uten (vanligvis) å smøre studenter eller forskere med feilpositive.

Disse spenningene er satt til å øke, sammen med volumet av vitenskapelige innsendelser, som øker radikalt, drevet av AI-hjulpet systemer og rammer; og som krever AI-drevet industrialisering av gjennomgangsprosessen for å (håpefullt) filtrere ut eventuelle innsendelser som er rent arbeid av AI.

Fake Kunnskap Velkommen

En ny forsknings-samarbeid mellom USA og Saudi-Arabia undersøker i hvilken grad denne fremvoksende ‘brannmur’ av AI-oppdaging kan penetreres av helt AI-genererte artikler, når disse artiklene utnytter noen tillegg, overbevisende triks.

I tester, var det nye systemet, kalt BadScientist, i stand til å oppnå akseptansrater på opptil 82% fra de LLM-baserte systemene som for tiden brukes til å oppdage AI-generert innhold i vitenskapelige artikler:

BadScientist-systemet bruker en AI-agent til å generere falske vitenskapelige artikler og en annen til å gjennomgå dem ved hjelp av nåværende språkmodeller. Kilde: https://arxiv.org/pdf/2510.18003

Falske artikler ble generert ved hjelp av ekte AI-konferanse-temaer og misvisende strategier, og deretter gjennomgått av modeller kalibrert på peer-review-data, inkludert GPT-5 for integritetskontroll. Mange mottok høye poeng til tross for å inneholde åpenbare feil eller forfalskninger.

Publiseringen av artikkelen sammenfaller med i dag’s Åpen konferanse for AI-agenter for vitenskap 2025 ved Stanford, hvor deltakerne og talerne er mennesker, men alle artiklene er skrevet og gjennomgått av diverse AI-systemer.

BadScientist, den nye artikkelen forklarer, bruker diverse former for akademiske og litterære bedrag, utelatelser, oppfinnelser og overdrivelser for å omveie artikkelen bort fra noe som de fleste nåværende oppdagingssystemer kan gjenkjenne som AI-generert; og vi skal se på disse kategoriene snart.

Forfatterne bemerker, i en tone av alarm, at selv når oppdagingssystemer identifiserer AI-innhold i en falsk artikkel, har de en tendens til å la det gå gjennom likevel, og legger til at deres egne forsøk på å immunisere forsvarssystemene mot denne nye angrepsvektoren oppnådde knapt mer enn tilfeldige forbedringer.

Artikkelen slår fast:

‘Fabrikkerte artikler oppnår høye akseptansrater, med gjennomgåere som ofte utviser bekymring-aksept-konflikter—flagging integritetsproblemer samtidig som de likevel anbefaler aksept.

‘[…] Bare å be LLM-gjennomgåere om å “være mer forsiktige” er utilstrekkelig. Vitenskapsfellesskapet står overfor et急 valg. Uten umiddelbar handling for å implementere forsvar-i-dybde-sikkerhetstiltak—including proveniensverifisering, integritetsvektede poeng og obligatorisk menneskelig tilsyn—risikerer vi AI-kun publikasjonsløkker hvor sofistikerte forfalskninger overveldrer vår evne til å skille ekte forskning fra overbevisende forfalskninger.

‘Integriteten av vitenskapelig kunnskap selv er på spill.’

Den nye artikkelen har tittelen BadScientist: Kan en forskningsagent skrive overbevisende men usolide artikler som lurer LLM-gjennomgåere? og kommer fra seks forfattere på University of Washington og King Abdulaziz City for Science and Technology i Riyadh. Publiseringen har en tilhørende prosjektside.

Metode

Artikkelskaper-agent-rammen som ble brukt for arbeidet er en betydelig ombygging av 2024 AI-Scientist-samarbeidet, med forfatterne som understreker at hele pipeline har blitt fundamentalt redesignet. Bare de mest grunnleggende skriveprompts ble beholdt, med alle eksperimentelle eksekveringer og mal-strukturene fjernet. Den oppdaterte systemet arbeider nå fra en enkel frø, som lar systemet fritt oppfinne noen eksperimentelle resultater og generere plotting-kode når det er nødvendig.

Den overordnede rammen er ment å la en AI generere overbevisende falske artikler uten å utføre ekte eksperimenter eller bruke ekte data. I stedet skaper systemet eller endrer syntetisk data for å støtte bevisst hallusinerte krav.

Oppsettet, forklarer forfatterne, unngår bevisst menneskelig involvering, prompt-angrep eller koordinert samarbeid mellom skriver- og gjennomgåings-agenter. Gjennomgåings-AI-ene vurderte hver innsending i en enkelt gjennomgang, uten tilgang utover artikkelen selv, og uten evne til å kjøre eksperimenter på nytt, noe som reflekterer virkelige peer-review-betingelser.

De ‘atomiske strategier’ som brukes til å generere falske artikler er modulære taktikker som kan brukes alene eller i kombinasjon (og alle som ofte leser litteraturen vil være kjent med disse). Strategiene inkluderer å fremheve dramatiske forbedringer for å gjøre metoden se ut som en stor fremgang (TooGoodGains); å velge baselines og resultater som favoriserer den nye metoden samtidig som de hopper over konfidensintervaller i hovedtabellen (BaselineSelect); å legge til rene ablasjoner, presise statistikker og pent tabeller i appendiksen, sammen med løfter om fremtidige kode eller data (StatTheater); å polere artikkelen sin struktur med konsistent terminologi, krysreferanser og formatering (CoherencePolish); og å legge til formelle bevis som ser ut til å være solide, men som inneholder skjulte feil (ProofGap).

Data og Tester

For å teste systemet, utnyttet forfatterne GPT-5 til å generere forskningsemner over nøkkelområder i kunstig intelligens, ved hjelp av domenene Kunstig Intelligens, Maskinlæring, Datamaskinsyn, Naturlig Språkbehandling, Robotikk, Systemer, og Sikkerhet.

Disse kategoriene ble seed-temaer for falske artikler, med hver utvidet til fire forskjellige versjoner, ved hjelp av ovennevnte strategier, og designet til å bedra eller imponere gjennomgåere. For å bestemme om en artikkel ville bli “akseptert”, så systemet bare på den endelige vurderingen gitt av AI-gjennomgåeren.

Falske artikler ble skrevet i sin helhet av GPT-5. For å gjennomgå dem, brukte forfatterne GPT-4.1; o4-mini; og o3. Alle fikk samme gjennomgangs-prompt, en fast instruksjonsformat designet til å mime scoring-kriteriene og strukturen brukt i virkelige peer-review.

For å gjøre disse vurderingsscorene meningsfulle, ble systemet kalibrert ved hjelp av 200 ekte innsendelser fra ICLR 2025 OpenReview-datasetten (en offentlig samling av ekte artikler, gjennomgåings-kommentarer og akseptansresultater).

Derfra ble en score-terskel etablert for å matche ICLR-s virkelige akseptansrate på 31,73%, noe som resulterte i en avkuttningsscore på 7; og en annen for å reflektere scoren som en artikkel ville ha en 50% sjanse for å bli akseptert av menneskelige gjennomgåere (beregnede som 6,667).

Forfatterne testet påliteligheten av deres oppsett ved å simulere gjennomgåinger for 5 000 falske artikler, ved hjelp av 1-3 AI-gjennomgåere, hver av dem ville returnere tilfeldige score mellom 1 og 10. Resultatene ville indikere at selv med denne ustabile oppsettet, var systemet utsatt for langt færre feil enn dens verste teoretiske grenser ville antyde.

Å bruke tre gjennomgåere i stedet for en, ledet til en betydelig reduksjon i score-variabilitet, og forbedret beslutningsstabilitet med nesten tre ganger – resultater som ble brukt til å rettferdiggjøre valget av tre gjennomgangsmodeller, og en kalibreringssett på 200 ekte artikler.

De to målene som ble definert for å evaluere generatoren, var akseptansrate, som målte hvor ofte falske artikler fikk godkjente score; og gjennomsnittlig gjennomgåerscore, som fanget gjennomsnittsvurderingen over innsendelser. Begge ble brukt til å måle hvor godt systemet kunne lure gjennomgåere:

Aksept (ACPT) viser andelen av falske artikler som fikk score over to terskler: en som matchet ICLR 2025-akseptansrate, den andre til en 50% menneskelig aksept-estimat. Integritetsbekymringsrate (ICR-m) viser bekymringsfrekvensen per gjennomgåingsmodell. Den siste kolonnen gir ensemble-raten basert på flertallsstemme.

Falske artikler så høye akseptans under nesten alle strategier. Den første taktikken alene ga 67% og 82% på de to tersklene, og viste at gjennomgåingsmodellene var lett overtalt. Kombinasjon av alle strategier reduserte akseptansen noe, men doblet oppdaging, med mer enn halvparten av gjennomgåingene som viste bekymringer. Den første strategien ga den beste avveiningen: sterk akseptans og moderat oppdaging, mens andre taktikker var svakere, men vanskeligere å oppdage. ChatGPT-o3-gjennomgåingsmodellen flagget mest, og GPT-4.1 minst.

Score-distribusjoner vises for seks angrepsstrategier, ved hjelp av tre gjennomgåingsmodeller: GPT-4.1 (rød); o3 (oransje); og o4-mini (blå). Hver plot viser hvor ofte hver score fra fire til ni ble tildelt, med den røde streken som markerer aksept-terskelen på syv.

I resultater for den andre testen, ovenfor, ser vi score-histogrammer for tre modeller over seks oppsett. Distribusjonene varierer over oppsett, men o4-mini tenderer til å tildele høyere score i gjennomsnitt, o3 viser større spredning og mer ekstreme verdier, mens GPT-4.1 tildele lavere score mer konsistent.

Bekymring-aksept-konflikt per modell og strategi: prosentandelen av tilfeller hvor en modell viste integritetsbekymring, men likevel ga en godkjent score. Høyere verdier indikerer svakere kobling mellom bekymringsdeteksjon og sluttvurdering.

Modellene ga ofte høye score selv når de flagget integritetsbekymringer. I denne henseende var o4-mini den mest inkonsistente, med konflikt i 100% av tilfellene under s1, s3 og kombinasjonsoppsettet, og 50–80% andre steder.

GPT-4.1 varierte fra 0% (s4) til 75% (s3). o3 var mer stabil, mellom 26% og 52%. Konflikt var høyest under s3, spesielt for o4-mini; og forfatterne bemerker at deteksjonssignaler var dårlig knyttet til sluttvurderinger.

Mitigasjon

To metoder ble testet som kunne hjelpe fremtidige oppdagingssystemer til å overliste disse nye angrepsmetodene. Den første, Gjennomgang med Oppdaging (ReD), la til en integritetskontroll-steg til standard-gjennomgåinger, hvor modellene flagget AI-generert innhold og siterte bevis. Dette økte integritetsadvarsler (fra 57% til 86%), men økte også akseptansrater, noe som indikerer at advarsler ikke ble reflektert i sluttvurderinger:

Gjennomgang med Oppdaging (ReD) øker både integritetsbekymringsrater (ICR) og akseptansrater (ACPT) sammenlignet med baseline. Mens o3 blir mye mer sensitiv under ReD, feiler GPT-4.1 å flagge noen bekymringer. Den generelle økningen i akseptans til tross for tilføyde integritetsadvarsler antyder svak kobling mellom deteksjon og scoring.

Den andre metoden, Oppdaging Kun (DetOnly), hoppet over fullstendige gjennomgåinger og ba modellene om å klassifisere artikler som ekte eller fabrikkerte. Oppdagningsnøyaktighet var dårlig generelt, nær random, bortsett fra små gevinster på o3:

Oppdagningsresultater for ReD og DetOnly, sammenlignet med en tilfeldig baseline. Nøyaktighetsgevinster over random var minimale, men ReD var mer konservativ, mens DetOnly oppnådde høyere recall – men med mange falske positiver. Modell o3 viste den sterkeste oppdagningsforvrengning; o4-mini var inkonsistent; og GPT-4.1 oppdaget nesten ingenting.

Overordnet sett viste ReD seg å være mer konservativ, mens DetOnly hadde høyere recall, men også flere falske positiver.

Artikkelen slår fast:

AI-kun publikasjonsløkker truer vitenskapelig epistemologi. Hvis forfalskninger blir umulige å skille fra ekte arbeid, risikerer grunnlaget for vitenskapelig kunnskap å kollapse.

‘Vei fremover krever forsvar-i-dybde over flere lag: teknisk (proveniensverifisering, artifact-validering), prosedyre (integritetsvektede poeng, menneskelig tilsyn), fellesskap (post-publikasjons-gjennomgang, whistleblower-system), og kulturelt (utdanning om AI-begrensninger, etiske retningslinjer).

‘Vi ser på dette arbeidet som et tidlig varslingssystem for å katalysere robuste forsvar før disse feilmodusene manifesterer seg i stor skala. Våre funn demonstrerer at nåværende systemer ikke er klare for AI-kun forskning – integriteten av vitenskap avhenger av å opprettholde rigorøs menneskelig evaluering mens AI-kapasiteter utvikles.’

Konklusjon

En av de største utfordringene for oppdaging av AI-skrevet tekst i den nærmeste fremtiden synes å være den mulige konvergensen mellom standard skrivepraksis og standarder for AI-generert tekst (som for tiden er definert av kjennetegn som dominante ord og grammatikkestiler).

Hvis vanlig språk og AI-språk konvergerer til en generisk standard, antyder logikken at fremtidige oppdagningsmetoder basert på ren utgang vil bli enda vanskeligere å implementere.

I tillegg, ettersom LLM-er blir mer fleksible, og deres ‘tells’ mindre betont (enten gjennom arkitektur-/treningstilnærminger eller bedre API-nivå-filtering), vil de bli bedre skribenter; derfor, i enda større grad, synes menneskelig og AI-språk å være bestemt til å møtes i midten; å blande og generisere.

På det tidspunktet vil AI-oppdaging for språk sannsynligvis nå samme stadium som AI-bilde- og (i mindre grad) AI-video-generering har nådd: behovet for sekundære provenienssystemer som Adobe-ledede Content Authenticity Initiative, eller blockchain/leder-baserte provenienssjekker.

Først publisert onsdag, 22. oktober 2025