Självsäkert formulerade forskningsartiklar påverkar AI-granskare – oavsett vetenskaplig kvalitet

Självförtroende är en tydlig fördel i evolutionen – och enligt en ny forskningsartikel från Tyskland även en fördel när vetenskapliga artiklar granskas av stora språkmodeller (LLM:er) i stället för av författarnas kollegor (en allt vanligare nödvändighet, eftersom mängden vetenskapliga artiklar ökar kraftigt tack vare produktivitetsvinsterna med AI).

Den nya studien visar att AI-granskare (det vill säga icke-mänskliga granskare) konsekvent ger högre poäng till vetenskapliga artiklar som är skrivna med ett självsäkert och bestämt språk – även när den underliggande forskningen är identisk med den i artiklar med en mindre självsäker ton. I vissa fall räcker det att ändra formuleringarna, utan att ändra något annat, för att vända ett avslag till ett godkännande.

Författarna skriver:

”Våra experiment visar att LLM-granskare i betydande grad föredrar [papers] att använda ett språk präglat av hög självsäkerhet. Avgörande är att dessa preferenser ofta leder till att beslut ändras från godkännande till avslag eller tvärtom, vilket direkt påverkar granskningsutfallet.

”Utöver poängen ser vi att vilka aspekter som tas upp i granskningarna varierar i frekvens och tonläge beroende på artikelns språkliga egenskaper, vilket potentiellt kan påverka de slutliga besluten.”

Det är ironiskt, eftersom det fenomen som författarna identifierar påminner mycket om sättet som AI så ofta kan ha ”självsäkert fel” när den besvarar våra egna instruktioner och frågor. Men här fattas beslutet av människor, och både det individuella och det kollektiva ansvaret är verkligt – oavsett om forskarna bakom artiklarna verkligen tror på sina egna påståenden eller inte.

Om AI i allt högre grad avgör vilka vetenskapliga artiklar som publiceras kan forskare lära sig att ”låta mer självsäkra” som en konkurrensstrategi, kanske särskilt när deras inskickade artiklar har brister. Det skulle kunna ge svagare forskning ett oförtjänt fotfäste i den allt mindre tillgången på uppmärksamhet.

Bluffa sig till seger

Enligt studien* var AI-granskare mer benägna att berömma metoderna, teorierna och de vetenskapliga bidragen i självsäkert formulerade artiklar, även när dessa var identiska med motsvarande delar i mindre bestämt formulerade versioner. I författarnas tester skrevs 504 vetenskapliga artiklar om i olika stilar och bedömdes av sex AI-modeller, däribland GPT-5.5, Claude Sonnet 4.6 och Gemini 3.5 Flash. Det var nödvändigt att skapa konstgjorda eller ändrade versioner av artiklarna, så att egenheter och särdrag hos verkliga inskickade artiklar inte skulle snedvrida resultaten:

Exempel på samma vetenskapliga textavsnitt omskrivet i fyra olika stilar. Färgade markeringar visar ändringar som syftar till att få texten att låta mer eller mindre självsäker, eller mer som akademisk engelska skriven av personer med engelska som modersmål respektive personer som inte har engelska som modersmål. De underliggande resultaten och siffrorna förblir dock oförändrade. Källa

Artiklarna hämtades från bidrag till konferensen ICLR 2026 och bestod av lika många godkända som refuserade artiklar. Claude Opus 5 skrev sedan om varje bidrag så att det lät mer eller mindre självsäkert^†, samtidigt som det vetenskapliga innehållet hölls oförändrat. På så sätt kunde skillnader i AI-granskningarna tillskrivas skrivstilen, det vill säga graden av självsäkerhet som uttrycktes.

Resultaten visade att AI-granskarna gav högre poäng till vetenskapliga artiklar skrivna på ett självsäkert språk, även när evidensen var identisk. Claude Sonnet 4.6 uppvisade den starkaste snedvridningen och föredrog självsäkert formulerade versioner sju gånger oftare än försiktigt formulerade versioner. I 21 % av fallen rekommenderade modellen att en självsäkert formulerad artikel skulle godkännas, samtidigt som den rekommenderade avslag på en mer försiktigt formulerad version av samma artikel.

Den nya studien konstaterar:

”Våra resultat väcker viktiga farhågor om användningen av LLM:er vid kollegial granskning. Om artiklar med identiskt innehåll får olika poäng och granskningsargument enbart på grund av språkliga egenskaper, återspeglar granskarnas bedömningar inte uteslutande den vetenskapliga kvaliteten.

”LLM-granskare bör därför stresstestas med omskrivningar som bevarar innehållet, för att avgöra om språkliga ändringar systematiskt påverkar deras bedömningar.”

Författarna föreslår vidare att testerna uttryckligen bör granska både artiklarnas poäng och de skriftliga omdömena, för att fastställa om ett självsäkert språk misstas för starkare vetenskapliga belägg.

Metod

Totalt valdes 504 vetenskapliga artiklar ut bland bidragen till International Conference on Learning Representations (ICLR) 2026. Urvalet bestod till lika delar av godkända och refuserade artiklar, med 24 bidrag från var och en av konferensens 21 forskningskategorier:

Testmetoden i tre steg. Vetenskapliga artiklar skrevs om för att variera den upplevda språkfärdigheten i engelska eller graden av självsäkerhet, samtidigt som forskningsresultaten bevarades. Omskrivningarna kontrollerades med avseende på förändringar i stil och betydelse innan de bedömdes av AI-granskare under identiska förhållanden. Därefter jämfördes skillnaderna i granskningspoäng.

Varje artikel anonymiserades och skrevs om med Claude Opus 5. Resultatet blev alternativa versioner som utformats för att testa både hur självsäkert påståendena formulerades och skribentens upplevda språkfärdighet i engelska. I testerna av självsäkerhet gjordes formuleringarna antingen mer bestämda eller mer försiktiga. Ord som uttrycker visshet, till exempel ”tydligt” och ”med säkerhet”, användes oftare i de ”självsäkra” versionerna, medan reservationer som ”kan” och ”tyder på” föredrogs i mer återhållsamma utkast.

I samtliga fall förblev de vetenskapliga påståendena, beläggen, resultaten, den tekniska terminologin och den övergripande strukturen oförändrade. Författarna påpekar att instruktionerna för omskrivningen byggde på etablerad språkvetenskaplig forskning, snarare än på allmänna uppmaningar att efterlikna vissa skrivstilar.

Kontroll av omskrivningarna

För att kontrollera omskrivningarna jämfördes var och en med originalet med hjälp av semantisk likhet, som bedömer om textavsnitt behåller sin betydelse, och likhet enligt TF-IDF (som mäter i vilken utsträckning ordförråd och terminologi har bevarats). Båda värdena låg nära 1, vilket bekräftar att omskrivningarna i hög grad liknade originalen:

Kontroll av de omskrivna artiklarna. De självsäkra versionerna använde ett mer bestämt språk, medan de försiktiga versionerna uttryckte större osäkerhet. Värden nära 1 bekräftar att omskrivningarna i hög grad liknade originalen, och färgmarkeringarna visar de högre värdena för respektive mått.

Sex AI-granskare testades: de proprietära modellerna GPT-5.5, Claude Sonnet 4.6 och Gemini 3.5 Flash samt modellerna med öppna vikter Gemma 3, Qwen3 VL och GLM 4.7. De valdes delvis eftersom de alla har kunskapsgränser före 2026, vilket minskar risken för att de redan kände till besluten om artiklarnas antagning.

Varje omskriven artikel granskades självständigt enligt riktlinjer utformade för konferensgranskning. För att fastställa hur mycket poängen kunde variera mellan upprepade bedömningar granskade varje modell tio slumpmässigt utvalda artiklar tio gånger vardera.

Resultat

Testerna undersökte om de sex utvalda AI-granskarna konsekvent skulle föredra vissa skrivstilar. De jämförde artiklar skrivna med ett ”självsäkert” respektive ”försiktigt” språk och artiklar som liknade akademisk engelska skriven av personer med engelska som modersmål respektive personer som inte har engelska som modersmål^†.

Resultat av en jämförelse av AI-granskarnas poäng för 504 vetenskapliga artiklar som skrivits om i olika stilar. Preferensandelarna visar vilken version som fick högre poäng, med oavgjorda resultat inom parentes. Kvoterna visar hur mycket oftare den ena versionen föredrogs. Omvända beslut visar hur ofta en ändrad formulering ledde till att ett beslut om antagning eller avslag ändrades. Statistiskt signifikanta värden är markerade i fetstil. Den relevanta delen är den nedre, eftersom hypotesen ovan inte behandlas i den här artikeln (se fotnoterna).

Alla sex AI-granskarna föredrog konsekvent självsäkert skrivna texter. Claude Sonnet 4.6 visade den starkaste preferensen och gav, som nämnts tidigare, de ”självsäkra” utkasten högre poäng sju gånger oftare än de ”försiktiga”.

En artikel ansågs antagen om den fick minst 4,5 av 10 poäng. Ändringar i skrivstilen kunde dock ibland få samma artikel att hamna över eller under denna gräns och därmed ändra beslutet; sådana ändringar gynnade i allmänhet ett självsäkert språk.

Claude Sonnet 4.6 presterade särskilt dåligt och antog den ”självsäkra” versionen men avslog den ”försiktiga” i 21 % av fallen. Det omvända inträffade i endast 2,8 % av fallen.

Effekten syntes också i de skriftliga omdömena: AI-granskarna var mer benägna att berömma en artikels metoder, teorier och vetenskapliga bidrag när dess påståenden uttrycktes med självsäkerhet. Eftersom själva forskningen inte hade förändrats kunde de mer positiva bedömningarna bara förklaras av skillnader i framställning och ton.

Slutsats

Varje gång människor använder AI för att (om än oavsiktligt) öka signal-brusförhållandet prövas AI som lösning – här för att hantera den kraftiga ökningen av inskickade forskningsartiklar om artificiell intelligens, en våg som på senare tid har ökat Arxivs grindvaktsmakt och breddat dess kriterier. Vid det här laget bör det dock stå klart att de mest avancerade LLM:erna, liksom alla nivåer under dem, fortfarande har alldeles för många egenheter för att generellt kunna anförtros rollen som domare, utom under de mest strikt parameterstyrda förhållandena.

I sådana fall vore det förmodligen en bättre idé att göra mindre LLM:er till särskilda bedömningsverktyg genom finjustering eller LoRA-anpassningar. Det kräver dock åtminstone lite extra arbete, om inte också en viss extra investering, medan vanliga lokala installationer eller API-anrop går snabbare och är relativt billiga.

Den här ganska kortfattade artikeln kan ändå vara av större intresse än genomsnittet för LLM-slutanvändare, eftersom de redan känner igen ”entusiasm” som ett gissel de måste ta sig runt för att arbeta effektivt med AI. Och om det här och liknande problem med LLM:er ännu inte går att lösa, kan man åtminstone ta hänsyn till dem.

Innan vi blir alltför hånfulla inför den här sortens lättvindiga likställande när AI bedöms, är det värt att komma ihåg att dessa system är lika vilsna som vi andra när det gäller epistemologi – sökandet efter en slutgiltig auktoritet. Även vi har historiskt sett varit mycket benägna att missta signalen för själva saken.

* Med titeln ’Style over Substance? Linguistic Bias in LLM-based Peer Review’

^† Eller att likna akademisk engelska skriven av personer med engelska som modersmål eller som andraspråk – en parallell hypotes som artikeln inte kunde belägga lika effektivt och som inte behandlas i den här artikeln.

Först publicerad tisdagen den 27 oktober 2026