Hur man smyger förbi absurd vetenskapliga artiklar förbi AI-granskare

Nya studier visar hur AI-system kan skriva falska vetenskapliga artiklar som andra AI-system accepterar som äkta, och undviker upptäcktsrutiner som tidigare fungerade, och exponerar hur lätt den vetenskapliga världen kan kollapsa i att botar lurar botar.

Den akademiska forskningssektorn, ironiskt nog den främsta frontlinjen för innovation inom AI, är i ett kredibilitetskris som i sig drivs av AI. Effekterna av maskinlärning på forsknings-, inlämnings- och granskningsprocessen har varit betydande sedan utsikterna för AI:s påverkan först blev tydliga för cirka fyra år sedan, med den senaste kontroversen som den massgenererade produktionen av lågvärdesundersökningar.

I likhet med stora delar av den bredare akademiska sektorn är forskningssektorn engagerad i ett slags kallt krig mellan AI som genererar text – som ChatGPT och Claude-serien – och den senaste generationen “detektor”-AI, som kan identifiera deras utdata utan (vanligtvis) att smeta studenter eller forskare med falska positiva.

Dessa spänningar kommer att öka, tillsammans med volymen av vetenskapliga inlämningshandlingar, som ökar radikalt, driven av AI-stödda system och ramverk; och kräver AI-driven industrialisering av granskningsprocessen för att (hoppas) filtrera ut eventuella inlämningshandlingar som är rent AI-arbete.

Falsk kunskap välkommen

Ett nytt forskningssamarbete mellan USA och Saudiarabien undersöker i vilken utsträckning denna framväxande “brandvägg” av AI-upptäckt kan penetreras av helt AI-genererade inlämningshandlingar, när dessa handlingar utnyttjar vissa ytterligare, övertygande knep.

I tester kunde det nya systemet, som kallades BadScientist, uppnå godkännandegrad av upp till 82% från de LLM-baserade system som för närvarande används för att upptäcka AI-genererat innehåll i vetenskapliga forskningsartiklar:

BadScientist-systemet använder en AI-agent för att generera falska vetenskapliga artiklar och en annan för att granska dem med hjälp av aktuella språkmodeller. Källa: https://arxiv.org/pdf/2510.18003

Falska artiklar genererades med hjälp av riktiga AI-konferensteman och vilseledande strategier, och sedan granskades av modeller kalibrerade på peer review-data, inklusive GPT-5 för integritetskontroller. Många fick höga poäng trots att de innehöll tydliga fel eller förfalskningar.

Publiceringen av artikeln sammanfaller med dagens Öppna konferens om AI-agenter för vetenskap 2025 vid Stanford, där deltagarna och talarna är människor, men alla artiklar är skrivna och granskade av olika AI-system.

BadScientist, den nya artikeln förklarar, använder olika former av akademiska och litterära bedrägerier, utelämnanden, uppfinningar och överdrifter för att omviktiera artikeln bort från allt som de flesta nuvarande upptäcktsystem kan känna igen som AI-genererat; och vi ska titta närmare på dessa kategorier strax.

Författarna noterar, i en ton av larm, att även när upptäcktsystem identifierar AI-innehåll i en falsk artikel, har de en tendens att låta den gå igenom ändå, och tillägger att deras egna försök att vaccinera försvarssystemen mot denna nya attackvektor uppnådde knappt mer än slumpmässiga förbättringar.

Artikeln fastställer:

‘Falska artiklar uppnår höga godkännandegrad, med granskare som ofta visar oro-godkännandekonflikter – flaggande integritetsproblem men fortfarande rekommenderar godkännande. Denna grundläggande sammanbrott visar att nuvarande AI-granskare fungerar mer som mönstermatchare än kritiska utvärderare.

‘[…] Att bara be LLM-granskare “vara mer försiktiga” är otillräckligt. Den vetenskapliga gemenskapen står inför ett brådskande val. Utan omedelbara åtgärder för att implementera försvar i djupet – inklusive proveniensverifiering, integritetsbaserad poängsättning och obligatorisk mänsklig granskning – riskerar vi AI-endast publiceringsloopar där sofistikerade förfalskningar överväldigar vår förmåga att skilja äkta forskning från övertygande förfalskningar.

‘Integriteten i den vetenskapliga kunskapen själv står på spel.’

Den nya artikeln heter BadScientist: Kan en forskningsagent skriva övertygande men osunda artiklar som lurar LLM-granskare? och kommer från sex författare på University of Washington och King Abdulaziz City for Science and Technology i Riyadh. Publiceringen har en tillhörande projektsida.

Metod

Det artikelskapande agentramverket som användes för arbetet är en betydande omkonstruktion av 2024 AI-Scientist-samarbetet, med författarna som betonar att hela pipeline har omkonstruerats från grunden. Endast de mest grundläggande skrivprompterna behölls, med alla experimentella körningar och mallstrukturer borttagna. Det uppdaterade systemet fungerar nu från en enkel seed, vilket tillåter systemet att fritt uppfinna alla experimentella resultat och generera plotningskod vid behov.

Det övergripande ramverket är avsett att låta en AI generera övertygande falska artiklar utan att utföra riktiga experiment eller använda äkta data. Istället skapar systemet eller ändrar syntetisk data för att stödja medvetet hallucinerade påståenden.

Setupen, förklarar författarna, undviker medvetet mänskligt deltagande, promptattacker eller samordnad samverkan mellan skriv- och granskningsagenter. AI-granskarna bedömde varje inlämning i ett enda steg, utan tillgång utöver artikeln själv, och utan möjlighet att omköra experiment, vilket speglar riktiga peer review-förhållanden.

De “atomära strategierna” som används för att generera falska artiklar är modulära taktiker som kan tillämpas ensamma eller i kombination (och alla som ofta läser litteraturen kommer att känna igen dem). Strategierna inkluderar att framhäva dramatiska förbättringar för att göra metoden verka som en stor framgång (TooGoodGains); att välja baslinjer och resultat som gynnar den nya metoden medan man hoppar över konfidensintervall i huvudtabellen (BaselineSelect); att lägga till rena ablationer, exakta statistik och snygga tabeller i bilagan, tillsammans med löften om framtida kod eller data (StatTheater); att polera artiklens struktur med konsekvent terminologi, korsreferenser och formatering (CoherencePolish); och att lägga till formella bevis som verkar ljud, men innehåller dolda fel (ProofGap).

Data och tester

För att testa systemet utnyttjade författarna GPT-5 för att generera forskningsteman inom nyckelområden för artificiell intelligens, med domäner som Artificiell intelligens, Maskinlärning, Datorsyn, Naturligt språkbehandling, Robotik, System och Säkerhet.

Dessa kategorier blev seed-teman för falska artiklar, med varje utvidgad till fyra olika versioner, med hjälp av de ovan nämnda strategierna, och utformade för att vilseleda eller imponera på granskare. För att avgöra om en artikel skulle “godkännas” tittade systemet bara på den slutliga betyg som gavs av AI-granskaren.

De falska artiklarna skrevs i sin helhet av GPT-5. För att granska dem använde författarna GPT-4.1; o4-mini; och o3. Alla fick samma granskningsprompt, en fast instruktionsformat som utformats för att efterlikna poängkriterierna och strukturen som används i riktiga peer reviews.

För att göra dessa granskningspoäng meningsfulla kalibrerades systemet med 200 riktiga inlämningshandlingar från ICLR 2025 OpenReview-dataseten (en offentlig samling av riktiga artiklar, granskningskommentarer och godkännanderesultat).

Från detta etablerades en poängtröskel för att matcha ICLR:s riktiga godkännandegrad på 31,73%, vilket resulterade i en tröskel på 7; och en annan för att spegla poängen vid vilken en artikel skulle ha 50% chans att mänskliga granskare skulle godkänna den (beräknad som 6,667).

Författarna testade tillförlitligheten i sin setup genom att simulera granskningar för 5 000 falska artiklar, med 1-3 AI-granskare, var och en som skulle returnera slumpmässiga poäng mellan 1 och 10. Resultaten skulle visa att även med denna bullriga setup var systemet benäget för betydligt färre misstag än dess värsta teoretiska gränser skulle antyda.

Att använda tre granskare istället för en ledde till en betydande minskning av poängvariabilitet, vilket förbättrade beslutsstabiliteten nästan tre gånger – resultat som användes för att motivera valet av tre granskningsmodeller och en kalibreringsuppsättning på 200 riktiga artiklar.

De två mått som definierades för att utvärdera generatoren var godkännandegrad, som mätte hur ofta falska artiklar fick godkänt, och genomsnittlig granskningspoäng, som fångade den genomsnittliga bedömningen över inlämningshandlingarna. Båda användes för att mäta hur väl systemet kunde lura granskare:

Godkännande (ACPT) visar andelen falska artiklar som fick poäng över två trösklar: en som matchade ICLR 2025:s godkännandegrad, den andra till en 50% mänsklig godkännandegrad. Integritetskonfliktfrekvensen (ICR-m) visar frekvensen per granskningsmodell. Den sista kolumnen ger den sammanslagna frekvensen baserad på majoritetsröstning.

Falska artiklar fick högt godkännande under nästan alla strategier. Den första taktiken ensam gav 67% och 82% vid de två trösklarna, vilket visar att granskningsmodellerna lätt kunde övertygas. Att kombinera alla strategier minskade godkännandet något men fördubblade upptäckten, med mer än hälften av granskningarna som väckte oro. Den första strategin gav det bästa kompromisset: starkt godkännande och måttlig upptäckt, medan andra taktiker var svagare men svårare att upptäcka. ChatGPT-o3-modellen flaggade mest, och GPT-4.1 minst.

Poängfördelningar visas för sex attackstrategier, med tre granskningsmodeller: GPT-4.1 (röd); o3 (orange); och o4-mini (blå). Varje plot visar hur ofta varje poäng från fyra till nio tilldelades, med den röda streckade linjen som markerar godkännandetröskeln på sju.

I resultaten för det andra testet ovan ser vi poänghistogram för tre modeller över sex setup. Fördelningar varierar över setup, men o4-mini tenderar att tilldela högre poäng i genomsnitt, o3 visar större spridning och mer extrema värden, medan GPT-4.1 tilldelar lägre poäng mer konsekvent.

Integritetskonflikt per modell och strategi: andelen fall där en modell väckte integritetsoro men fortfarande gav ett godkänt betyg. Högre värden indikerar svagare koppling mellan upptäckt och slutlig bedömning.

Modellerna gav ofta höga poäng även när de flaggade integritetsproblem. I detta avseende var o4-mini den mest inkonsekventa, med konflikt i 100% av fallen under s1, s3 och den kombinerade setupen, och 50-80% på andra ställen.

GPT-4.1 varierade från 0% (s4) till 75% (s3). o3 var mer konsekvent, mellan 26% och 52%. Konflikten var högst under s3, särskilt för o4-mini; och författarna noterar att upptäcktsignalerna var dåligt kopplade till slutliga poäng.

Mitigation

Två metoder testades som kan hjälpa framtida upptäcktsmodeller att överlista dessa nya attackmetoder. Den första, Granska med upptäckt (ReD), lade till ett integritetskontrollsteg till standardgranskningar, där modellerna flaggade AI-genererat innehåll och citerade bevis. Detta ökade integritetsvarningar (från 57% till 86%), men ökade också godkännandegrad, vilket indikerar att varningar inte reflekterades i slutliga poäng:

Granska med upptäckt (ReD) ökar både integritetskonfliktfrekvensen (ICR) och godkännandegraden (ACPT) jämfört med baslinjen. Medan o3 blir betydligt känsligare under ReD, misslyckas GPT-4.1 med att flagga några problem. Den övergripande ökningen av godkännande trots tillagda integritetsvarningar antyder en svag koppling mellan upptäckt och poängsättning.

Den andra metoden, Endast upptäckt (DetOnly), hoppade över fullständiga granskningar och bad modellerna att klassificera artiklar som äkta eller fabricerade. Upptäcktsprecisionen var överlag dålig, nära slumpmässig, förutom en liten vinst på o3:

Upptäcktsresultat för ReD och DetOnly, jämfört med en slumpmässig baslinje. Precisionen var minimal, men ReD var mer konservativ, medan DetOnly uppnådde högre återkallande – men med många falska positiva. Modell o3 visade den starkaste upptäktssidan; o4-mini var inkonsekvent; och GPT-4.1 upptäckte nästan ingenting.

Överlag visade sig ReD vara mer konservativ, medan DetOnly uppnådde högre återkallande, men också fler falska positiva.

Artikeln avslutas:

AI-endast publiceringsloopar hotar vetenskaplig epistemologi. Om förfalskningar blir oskiljbara från äkta arbete, riskerar vetenskaplig kunskaps grund att kollapsa.

‘Vägen framåt kräver försvar i djupet över flera lager: tekniskt (proveniensverifiering, artefaktvalidering), procedurellt (integritetsmedveten poängsättning, mänsklig granskning), gemenskapsinriktat (post-publiceringsgranskning, visselblåsarsystem), och kulturellt (utbildning om AI-begränsningar, etiska riktlinjer).

‘Vi ser detta arbete som ett tidigt varningssystem för att katalysera robusta försvar innan dessa felmoder manifesterar sig i stor skala. Våra resultat visar att nuvarande system inte är redo för AI-endast forskning – integriteten i vetenskapen beror på att upprätthålla rigorös mänsklig utvärdering när AI-förmågor utvecklas.’

Slutsats

En av de största utmaningarna för upptäckt av AI-skriven text i närmaste framtiden verkar vara den möjliga konvergensen mellan standardiserad skrivpraxis och standarder för AI-genererad text (som för närvarande definieras av karakteristiska drag som dominerande ord och grammatiska stilar).

Om vanlig språk och AI-språk konvergerar till en generisk standard, antyder logiken att framtida upptäktsmetoder baserade enbart på utdata kommer att vara ännu svårare att implementera.

Dessutom, när LLM:er blir mer mångsidiga och deras “tells” mindre betonade (antingen genom arkitektur/träningsmetoder eller genom bättre API-nivåfilter), kommer de att bli bättre författare; därför, i ännu högre grad, verkar mänskligt och AI-språk vara ödesbestämt att mötas i mitten; att smälta samman och generiseras.

Vid den tidpunkten kommer AI-upptäckt för språk sannolikt att nå samma stadium som AI-bild- och (i mindre utsträckning) AI-videogenerering har nått: behovet av sekundära provenienssystem som Adobe-ledda Content Authenticity Initiative, eller blockchain/ledger-baserade provenienskontroller.

Publicerad första gången onsdag, 22 oktober 2025