Selvsikkert formulerede videnskabelige artikler påvirker AI-bedømmere – uanset deres faglige kvalitet

Selvsikkerhed er en særskilt evolutionær fordel – og ifølge en ny forskningsartikel fra Tyskland også en fordel, når videnskabelige artikler bliver bedømt af store sprogmodeller (store sprogmodeller) i stedet for af forfatternes fagfæller. Det bliver stadig oftere nødvendigt, fordi mængden af videnskabelige artikler vokser eksplosivt takket være de produktivitetsgevinster, som AI giver.

Det nye studie viser, at AI-bedømmere (dvs. ikke-menneskelige bedømmere) konsekvent giver højere karakterer til videnskabelige artikler, der er skrevet i et selvsikkert og bestemt sprog – selv når den underliggende forskning er identisk med den i artikler med en mindre selvsikker tone. I nogle tilfælde er det nok alene at ændre ordlyden til at vende et afslag til en accept.

Forfatterne skriver:

‘Vores eksperimenter viser, at LLM-bedømmere har en markant præference for [papers] at bruge et sprog med høj grad af sikkerhed. Det afgørende er, at disse præferencer ofte fører til, at afgørelser ændres fra accept<>afvisning, hvilket direkte påvirker bedømmelsernes udfald.

‘Ud over karaktererne finder vi, at de emner, der tages op i bedømmelserne, varierer i hyppighed og tone alt efter artiklens sproglige træk, hvilket potentielt kan påvirke de endelige afgørelser.’

Det er ironisk, fordi det syndrom, forfatterne identificerer, minder meget om den måde, AI så ofte kan tage ‘selvsikkert fejl’ på, når den besvarer vores egne instruktioner og spørgsmål. Men her er det mennesker, der træffer afgørelsen, og ansvaret – både individuelt og kollektivt – er reelt, uanset om de forskere, der står bag artiklerne, selv tror på deres påstande.

Hvis AI i stigende grad afgør, hvilke videnskabelige artikler der bliver udgivet, kan forskere lære at »lyde mere selvsikre« som en konkurrencetaktik, måske især når deres indsendte artikler er mangelfulde. Det kan give svagere forskning et ufortjent fodfæste i den stadigt mindre pulje af opmærksomhed, der er til rådighed.

Selvsikkerhed som vej til sejr

Ifølge studiet* var AI-bedømmerne mere tilbøjelige til at rose metoderne, teorierne og de videnskabelige bidrag i selvsikkert formulerede artikler, selv når disse var identiske med dem i mindre selvsikre versioner. I forfatternes tests blev 504 videnskabelige artikler omskrevet i forskellige stilarter og vurderet af seks AI-modeller, herunder GPT-5.5, Claude Sonnet 4.6 og Gemini 3.5 Flash. Det var nødvendigt at fremstille kunstige/redigerede versioner af artiklerne, så særpræget og særhederne ved reelle indsendelser ikke forvanskede resultaterne:

Eksempler på den samme videnskabelige passage omskrevet i fire forskellige stilarter. Farvede markeringer viser ændringer, der skulle få teksten til at lyde mere eller mindre selvsikker eller mere som akademisk engelsk skrevet af personer med engelsk som modersmål eller som andetsprog. De underliggende resultater og tal er dog uændrede. Kilde

Artiklerne stammede fra indsendelser til ICLR-konferencen i 2026 og omfattede lige mange accepterede og afviste artikler. Claude Opus 5 omskrev derefter hver indsendelse, så den lød mere eller mindre selvsikker^†, mens det videnskabelige indhold blev holdt uændret. Dermed kunne forskelle i AI-bedømmelserne tilskrives skrivestilen, dvs. den varierende grad af selvsikkerhed i formuleringerne.

Resultaterne viste, at AI-bedømmerne gav højere karakterer til videnskabelige artikler skrevet i et selvsikkert sprog, selv når evidensen var identisk. Claude Sonnet 4.6 udviste den stærkeste skævhed og foretrak selvsikre versioner syv gange oftere end forsigtigt formulerede versioner. I 21 % af tilfældene anbefalede modellen at acceptere en selvsikkert formuleret artikel, mens den anbefalede at afvise en mere forsigtigt formuleret version af den samme artikel.

Det nye studie konkluderer:

‘Vores resultater giver anledning til alvorlig bekymring over brugen af LLM’er i fagfællebedømmelse. Hvis artikler med identisk indhold får forskellige karakterer og bedømmelsesargumenter alene på grund af sproglige egenskaber, afspejler bedømmernes vurderinger ikke udelukkende den videnskabelige kvalitet.

‘LLM-bedømmere bør derfor stresstestes med omskrivninger, der bevarer indholdet, for at fastslå, om sproglige ændringer systematisk påvirker deres vurderinger.’

Forfatterne foreslår desuden, at disse tests specifikt undersøger både artiklernes karakterer og de skriftlige bedømmelser for at fastslå, om et selvsikkert sprog forveksles med stærkere videnskabelig evidens.

Metode

I alt blev 504 videnskabelige artikler udvalgt blandt indsendelserne til International Conference on Learning Representations (ICLR) i 2026. Stikprøven var ligeligt fordelt mellem accepterede og afviste artikler, med 24 indsendelser fra hver af konferencens 21 forskningskategorier:

Testmetoden i tre faser. De videnskabelige artikler blev omskrevet, så den tilsyneladende beherskelse af engelsk eller graden af sikkerhed varierede, mens deres resultater blev bevaret; omskrivningerne blev kontrolleret for ændringer i stil og betydning, før AI-bedømmere vurderede dem under identiske forhold; derefter blev forskellene i bedømmelserne sammenlignet.

Hver artikel blev anonymiseret og omskrevet ved hjælp af Claude Opus 5. Det resulterede i alternative versioner, der skulle teste både, hvor sikkert påstandene blev fremsat, og skribentens tilsyneladende beherskelse af engelsk. I testene af graden af sikkerhed blev udsagnene gjort enten mere bastante eller mere forsigtige. Ord, der signalerer sikkerhed, såsom »tydeligvis« og »helt sikkert«, blev brugt hyppigere i de »sikre« versioner, mens forbeholdne udtryk som »muligvis« og »tyder på« blev foretrukket i mere forsigtige udkast.

I alle tilfælde forblev de videnskabelige påstande, belæg, resultater, tekniske termer og den overordnede struktur uændret. Forfatterne bemærker, at instruktionerne til omskrivningen byggede på etableret lingvistisk forskning og ikke på generelle anmodninger om at efterligne bestemte skrivestile.

Kontrol af omskrivningerne

Som kontrol blev hver omskrivning sammenlignet med originalen ved hjælp af semantisk lighed, som vurderer, om tekstafsnit bevarer deres betydning, og TF-IDF-lighed, som måler, om ordforråd og terminologi er bevaret. Begge scorer nærmede sig 1, hvilket bekræftede, at omskrivningerne i høj grad lignede originalerne:

Kontrol af de omskrevne artikler. De sikre versioner brugte et mere bastant sprog, mens de forsigtige versioner udtrykte større usikkerhed. Scorer tæt på 1 bekræfter, at versionerne i høj grad ligner originalerne, og de farvede fremhævninger markerer de højeste værdier for hvert målt forhold.

Seks AI-bedømmere blev testet: de proprietære modeller GPT-5.5, Claude Sonnet 4.6 og Gemini 3.5 Flash samt modellerne med åbne vægte Gemma 3, Qwen3 VL og GLM 4.7. De blev blandt andet valgt, fordi deres vidensafskæringsdatoer alle ligger før 2026, hvilket mindsker risikoen for, at de på forhånd kendte afgørelserne om, hvorvidt artiklerne var blevet accepteret.

Hver omskrevet artikel blev vurderet uafhængigt efter retningslinjer af den type, der bruges på konferencer. For at fastslå, hvor meget bedømmelserne kunne variere ved gentagne vurderinger, blev ti tilfældigt udvalgte artikler vurderet ti gange af hver model.

Resultater

Testene undersøgte, om de seks udvalgte AI-bedømmere konsekvent ville foretrække bestemte skrivestile. De sammenlignede artikler skrevet i et »sikkert« eller »forsigtigt« sprog samt artikler, der lignede akademisk engelsk skrevet af personer med engelsk som modersmål eller som andetsprog^†.

Resultater af sammenligningen af AI-bedømmelserne af 504 videnskabelige artikler, der blev omskrevet i forskellige stilarter. De viste præferenceprocenter angiver, hvilken version der fik den højeste score, med uafgjorte resultater i parentes; forholdstallene viser, hvor meget oftere den ene version blev foretrukket; og ændringer i afgørelserne viser, hvor ofte en ændret formulering vendte en afgørelse om optagelse eller afvisning. Statistisk signifikante værdier er fremhævet med fed. Det relevante afsnit er det nederste, da hypotesen øverst ikke behandles i denne artikel (se fodnoterne).

Alle seks AI-bedømmere foretrak konsekvent tekster skrevet i et sikkert sprog. Den tydeligste præference sås hos Claude Sonnet 4.6, som, som nævnt tidligere, gav de »sikre« udkast højere scorer syv gange så ofte som de »forsigtige«.

En artikel blev betragtet som optaget, hvis dens score nåede 4,5 ud af 10. Ændringer i skrivestilen kunne dog nogle gange bringe den samme artikel over eller under denne grænse og dermed vende afgørelsen; disse ændringer favoriserede generelt tekster skrevet i et sikkert sprog.

Claude Sonnet 4.6 klarede sig særligt dårligt: I 21 % af tilfældene godkendte modellen den »sikre« version, mens den afviste den »forsigtige«. Det omvendte skete i kun 2,8 % af tilfældene.

Effekten kunne også ses i de skriftlige bedømmelser, hvor AI-bedømmerne oftere roste en artikels metoder, teorier og videnskabelige bidrag, hvis dens påstande blev fremsat med sikkerhed. Da selve forskningen ikke havde ændret sig, kunne disse mere positive vurderinger kun tilskrives forskelle i fremstilling og tone.

Konklusion

Hver gang mennesker bruger AI til (om end utilsigtet) at øge signal-støj-forholdet, afprøves AI som løsningen – her på udfordringen med den kraftige stigning i indsendelser af forskningsartikler om kunstig intelligens; en bølge, der på det seneste har øget Arxiv-magt til at fungere som gatekeeper og strammet platformens kriterier. Men det må efterhånden stå klart, at førende LLM’er og alle niveauerne under dem stadig har alt for mange særheder til generelt at kunne betros rollen som dommere, bortset fra under de mest stramt parameteriserede forhold.

I sådanne tilfælde ville det sandsynligvis være en bedre idé at gøre mindre LLM’er til specialiserede bedømmelsesværktøjer ved hjælp af finjustering eller LoRA’er. Det kræver dog mindst en smule ekstra arbejde, hvis ikke også en smule ekstra investering, mens »standard«-installationer lokalt eller API-kald er hurtigere og forholdsvis billige.

Denne temmelig kortfattede artikel kan ikke desto mindre være mere interessant end gennemsnittet for LLM-slutbrugere, fordi de allerede kender til »entusiasme« som en faldgrube, de må navigere uden om for at kunne arbejde effektivt med AI; og hvis dette og lignende problemer med LLM’er endnu ikke kan løses, kan der i det mindste tages højde for dem.

Inden vi anlægger en alt for hånlig tone over for denne form for overfladiske ligestilling i vurderingen af AI, er det værd at huske på, at disse systemer er lige så fortabte som resten af os, når det gælder epistemologi – søgen efter en endegyldig autoritet; historisk set har vi også været meget tilbøjelige til at forveksle signalet med selve tingen.

* Med titlen »Stil frem for substans? Sproglig bias i LLM-baseret fagfællebedømmelse«

^† Eller at ligne akademisk engelsk skrevet af personer med eller uden engelsk som modersmål – en parallel hypotese, som artiklen ikke var i stand til at påvise lige så overbevisende, og som ikke behandles i denne artikel.

Først offentliggjort tirsdag den 27. oktober 2026