Selvsikre forskningsartikler påvirker KI-dommere – uavhengig av faglig kvalitet

Selvsikkerhet er en tydelig fordel i evolusjonen – og ifølge en ny forskningsartikkel fra Tyskland også en fordel når en vitenskapelig artikkel vurderes av store språkmodeller (LLM-er) i stedet for forfatterens fagfeller (noe som stadig oftere er nødvendig, ettersom antallet vitenskapelige artikler skyter i været takket være produktivitetsgevinstene med KI).

Den nye studien viser at KI-vurderere (det vil si ikke-menneskelige vurderere) konsekvent gir høyere poengsum til vitenskapelige artikler som er skrevet i et selvsikkert og påståelig språk – selv når forskningen som ligger til grunn, er identisk med den i artikler med en mindre selvsikker tone. I noen tilfeller er det nok å endre ordlyden, uten å endre noe annet, til å snu et avslag til en godkjenning.

Forfatterne skriver:

‘Eksperimentene våre avdekker betydelige preferanser hos LLM-vurderere for [papers] bruk av språk med høy grad av selvsikkerhet. Avgjørende nok fører disse preferansene ofte til at avgjørelsen vipper over grensen mellom å godta og avslå, noe som direkte påvirker vurderingsutfallet.

‘Utover poengsummene finner vi at hvilke aspekter som tas opp i vurderingene, og hvilken tone de har, varierer avhengig av artikkelens språklige trekk. Dette kan påvirke de endelige avgjørelsene.’

Det er ironisk, for fenomenet forfatterne beskriver, ligner svært på måten KI så ofte kan ta ‘feil med stor selvsikkerhet’ når den svarer på våre egne spørsmål og forespørsler. Men her er det mennesker som tar avgjørelsen, og ansvaret er både individuelt og kollektivt – uansett om forskerne bak disse artiklene faktisk tror på sine egne påstander.

Hvis KI i økende grad avgjør hvilke vitenskapelige artikler som blir publisert, kan forskere lære seg å «virke mer selvsikre» som en konkurransestrategi, kanskje særlig når bidragene deres har mangler. Det kan gi svakere forskning et ufortjent fotfeste i den stadig mindre oppmerksomheten som er tilgjengelig.

Selvsikker bløffing mot seier

Ifølge studien* var KI-vurderere mer tilbøyelige til å rose metodene, teoriene og de vitenskapelige bidragene i artikler skrevet med selvsikkerhet, selv når disse var identiske med dem i mindre påståelige versjoner. I testene til forfatterne ble 504 vitenskapelige artikler skrevet om i ulike stiler og vurdert av seks KI-modeller, blant annet GPT-5.5, Claude Sonnet 4.6 og Gemini 3.5 Flash. Det var nødvendig å lage kunstige eller endrede versjoner av artiklene, slik at særtrekkene og særegenhetene ved virkelige bidrag ikke skulle påvirke resultatene:

Eksempler på samme vitenskapelige tekstpassasje omskrevet i fire ulike stiler. Fargede markeringer viser endringer som skal få teksten til å virke mer eller mindre selvsikker, eller mer lik akademisk engelsk skrevet av personer med engelsk som morsmål eller som andrespråk. De underliggende funnene og tallene er imidlertid uendret. Kilde

Artiklene var hentet fra innsendte bidrag til ICLR-konferansen i 2026, med like mange godkjente og avslåtte artikler. Claude Opus 5 skrev deretter om hvert bidrag for å få det til å virke mer eller mindre selvsikkert^†, uten å endre det vitenskapelige innholdet. Dermed kunne forskjeller i KI-vurderingene tilskrives skrivestilen, det vil si hvor selvsikkert budskapet ble uttrykt.

Resultatene viste at KI-vurderere ga høyere poengsum til vitenskapelige artikler skrevet i et selvsikkert språk, selv når evidensen var identisk. Claude Sonnet 4.6 viste den sterkeste skjevheten og favoriserte selvsikre versjoner sju ganger oftere enn forsiktige versjoner. I 21 % av tilfellene anbefalte modellen å godta en artikkel skrevet med selvsikkerhet, samtidig som den anbefalte å avslå en mer forsiktig formulert versjon av den samme artikkelen.

Den nye studien skriver:

‘Funnene våre gir grunn til alvorlig bekymring for bruken av LLM-er i fagfellevurdering. Hvis artikler med identisk innhold får ulike poengsummer og vurderingsargumenter utelukkende på grunn av språklige egenskaper, gjenspeiler vurderingene ikke bare den vitenskapelige kvaliteten.

‘LLM-vurderere bør derfor stresstestes med omskrivinger som bevarer innholdet, for å avklare om språklige endringer systematisk påvirker vurderingene deres.’

Forfatterne foreslår videre at slike tester uttrykkelig bør undersøke både poengsummene artiklene får, og de skriftlige vurderingene, for å fastslå om selvsikkert språk forveksles med sterkere vitenskapelig evidens.

Metode

Til sammen ble 504 vitenskapelige artikler valgt ut blant bidragene som var sendt inn til International Conference on Learning Representations (ICLR) i 2026. Utvalget besto av like mange godkjente som avslåtte artikler, med 24 bidrag fra hver av konferansens 21 forskningskategorier:

Testmetoden i tre trinn. Vitenskapelige artikler ble skrevet om for å variere den tilsynelatende engelskspråklige skriveferdigheten eller graden av sikkerhet, samtidig som funnene ble bevart; omskrivingene ble kontrollert for endringer i stil og mening før de ble vurdert av AI-vurderere under identiske forhold; deretter ble forskjellene i vurderingspoeng sammenlignet.

Hver artikkel ble anonymisert og skrevet om ved hjelp av Claude Opus 5. Resultatet var alternative versjoner som skulle teste både hvor sikre påstandene ble uttrykt, og forfatterens tilsynelatende engelskspråklige skriveferdighet. I testene av graden av sikkerhet ble utsagnene formulert enten mer bestemt eller mer forsiktig. Ord som uttrykker sikkerhet, som «tydeligvis» og «helt sikkert», ble brukt oftere i «selvsikre» versjoner, mens forbeholdne uttrykk som «kan» og «tyder på» ble foretrukket i mer forsiktige utkast.

I alle tilfeller forble de vitenskapelige påstandene, bevisene, resultatene, den tekniske terminologien og den overordnede strukturen uendret. Forfatterne påpeker at instruksjonene for omskrivingene bygget på etablert språkvitenskapelig forskning, ikke på generelle forespørsler om å etterligne bestemte skrivestiler.

Kontroll av omskrivingene

I kontrollene ble hver omskriving sammenlignet med originalen ved hjelp av semantisk likhet, som vurderer om tekstutdragene beholder meningen, og TF-IDF-likhet (som måler hvor godt ordforråd og terminologi er bevart). Begge skårene nærmet seg 1, noe som bekreftet stor likhet med originalene:

Kontroll av de omskrevne artiklene. Selvsikre versjoner brukte et mer bestemt språk, mens forsiktige versjoner uttrykte større usikkerhet. Skårer nær 1 bekrefter stor likhet med originalene, og fargemarkeringene viser de høyeste verdiene for hvert målt mål.

Seks AI-vurderere ble testet: de proprietære modellene GPT-5.5, Claude Sonnet 4.6 og Gemini 3.5 Flash, samt modellene med åpne vekter Gemma 3, Qwen3 VL og GLM 4.7. Disse ble blant annet valgt fordi datoene for kunnskapsgrensene deres alle var før 2026, noe som reduserte risikoen for at de allerede kjente til avgjørelsene om hvorvidt artiklene var blitt akseptert.

Hver omskrevne artikkel ble vurdert separat etter retningslinjer utformet for konferanser. For å fastslå hvor mye skårene kunne variere mellom gjentatte vurderinger, ble ti tilfeldig utvalgte artikler vurdert ti ganger av hver modell.

Resultater

Testene undersøkte om de seks utvalgte AI-vurdererne konsekvent foretrakk bestemte skrivestiler. De sammenlignet artikler skrevet i et «selvsikkert» eller «forsiktig» språk, samt artikler som lignet akademisk engelsk skrevet av personer med eller uten engelsk som morsmål^†.

Resultater som sammenligner AI-vurderingsskårene for 504 vitenskapelige artikler skrevet om i ulike stiler. Preferanseprosentene viser hvilken versjon som fikk høyest skår, med uavgjort i parentes; forholdstallene viser hvor mye oftere én versjon ble foretrukket; og beslutningsendringene viser hvor ofte endret ordlyd snudde en avgjørelse om aksept eller avslag. Statistisk signifikante verdier står med fet skrift. Den relevante delen er den nederste, ettersom hypotesen øverst ikke behandles i denne artikkelen (se fotnotene).

Alle de seks AI-vurdererne foretrakk konsekvent selvsikker språkføring. Claude Sonnet 4.6 viste den sterkeste preferansen og ga, som nevnt tidligere, «selvsikre» utkast høyere skår sju ganger oftere enn «forsiktige» utkast.

En artikkel ble regnet som akseptert hvis skåren nådde 4,5 av 10. Endringer i skrivestilen førte imidlertid noen ganger til at den samme artikkelen havnet over eller under denne grensen, slik at avgjørelsen ble snudd; disse omgjøringene favoriserte som regel selvsikker språkføring.

Claude Sonnet 4.6 presterte særlig dårlig: I 21 % av tilfellene aksepterte modellen den «selvsikre» versjonen, men avslo den «forsiktige». Det motsatte skjedde i bare 2,8 % av tilfellene.

Effekten kom også til syne i de skriftlige vurderingene. AI-vurdererne var mer tilbøyelige til å rose metodene, teoriene og de vitenskapelige bidragene i en artikkel når påstandene var formulert med sikkerhet. Siden selve forskningen ikke hadde endret seg, kunne de mer positive vurderingene bare tilskrives forskjeller i presentasjon og tone.

Konklusjon

Hver gang mennesker bruker AI til å øke signal-støy-forholdet (om enn utilsiktet), blir AI prøvd ut som løsningen – her for å håndtere den kraftige økningen i innsendinger av forskningsartikler om kunstig intelligens, en økning som i det siste har styrket Arxivs portvoktermakt og endret parameterne. Nå burde det imidlertid være klart at de mest avanserte LLM-ene, og alle nivåene under dem, fortsatt har altfor mange særegenheter til at de generelt kan overlates rollen som dommere, unntatt under de aller strengeste parameterbetingelsene.

I slike tilfeller ville det sannsynligvis være bedre å gjøre mindre LLM-er til spesialiserte vurderingsverktøy ved hjelp av finjustering eller LoRA-er. Det krever imidlertid i det minste litt ekstra innsats, om ikke også litt ekstra investering, mens standardiserte lokale installasjoner eller API-kall går raskere og er relativt rimelige.

Denne nokså kortfattede artikkelen kan likevel være mer interessant enn gjennomsnittet for sluttbrukere av LLM-er, ettersom de allerede kjenner «entusiasme» som en fallgruve de må navigere rundt for å arbeide effektivt med AI. Hvis dette og lignende problemer med LLM-er ennå ikke kan løses, kan man i det minste ta høyde for dem.

Før vi blir altfor hånlige overfor denne typen lettvinte likestilling i vurderingen av AI, er det verdt å huske at disse systemene er like rådville som oss andre når det gjelder epistemologi – jakten på en endegyldig autoritet. Også vi har historisk sett vært svært tilbøyelige til å forveksle signalet med selve tingen.

* Med tittelen «Stil framfor substans? Språklig skjevhet i fagfellevurdering basert på LLM-er»

^† Eller å ligne akademisk engelsk skrevet av morsmålsbrukere eller personer som ikke har engelsk som morsmål – en parallell hypotese som artikkelen ikke kunne underbygge like godt, og som ikke behandles i denne artikkelen.

Først publisert tirsdag 27. oktober 2026