Andersons vinkel
Vetenskapliga framsteg drivna av AI hotas av en märklig fixering

Viktiga punkterNyare AI-granskare fixerar sig vid bilagor medan mänskliga granskare fokuserar på en…
Visa mer
- Nyare AI-granskare fixerar sig vid bilagor medan mänskliga granskare fokuserar på en artikels huvudsakliga resultat.
- Språkmodeller behandlar varje passage som lika viktig och missar därför vilka avsnitt som faktiskt spelar roll.
- Bilagsbias kvarstår oavsett åtkomstmetod och ger ytlig återkoppling som knappt hjälper författare att förbättra sig.
En ny amerikansk studie tyder på att AI-modeller som granskar vetenskapliga artiklar utvecklar en märklig fixering vid artiklarnas bilagor i stället för huvudtexten. De ägnar ofta mindre stödjande detaljer större uppmärksamhet än de huvudsakliga forskningsresultaten. I takt med att språkmodeller i allt högre grad används för att hjälpa till med eller till och med ersätta mänskliga granskare verkar den nyupptäckta tendensen sprida sig till mänsklig sakkunniggranskning, vilket potentiellt kan hämma framstegen inom AI-forskningen:

Ur den nya artikeln: ökningen av bilagerelaterad kritik i mänskliga sakkunniggranskningar av vetenskapliga artiklar. Efter att ha legat under 11 % i flera år steg andelen till 27,6 % i de senaste granskningarna, efter lanseringen av AI-modeller som visade sig hämta mer än hälften av sin kritik från bilagor. De streckade linjerna markerar lanseringar av större modeller. Källa
I ett test av 2 000 vetenskapliga artiklar från fyra välbesökta konferenser fann forskarna bakom den nya studien att nyare modeller hämtar omkring 50–70 % av sin kritik från bilagor, jämfört med mindre än 30 % för den äldre GPT-5.
Två av de mest framträdande nyare AI-modellerna, som till synes får även mänskliga granskare att rikta blicken mot bilagorna och bort från de viktigare huvudresultaten, är OpenAI:s GPT-6.1-Sol och GPT-6-Astra, som båda lanserades 2026.
I artikeln står det*:
‘Skillnaden mellan generationerna är stor. För GPT-5 rör bara en liten andel av svagheterna bilagan. Båda de nyare modellerna, GPT-6.1-Sol och GPT-6-Astra, förlitar sig betydligt mer på den, och det gäller vid samtliga konferenser.
‘Detta tyder på att benägenheten att fokusera på bilagan främst är en egenskap hos nyare modeller. De nya modellerna har visserligen blivit bättre, men deras benägenhet att fokusera på bilagan har ökat. Förmågan att läsa en artikel i detalj har inte lärt dem vilka delar som är viktigast.’
Studien visade också att fixeringen vid bilagan varierar beroende på vilken metod AI:n använder för att ta emot artikeln, eftersom API-, Codex- och webbgränssnitt inte hanterar PDF-filer på samma sätt – och Codex läser inte alls mitten av en PDF-fil av genomsnittlig längd, utan hämtar vid behov innehåll senare, endast i små ”bitar”. Samtliga metoder visade sig dock prioritera materialet i bilagan.
Fram till nyligen delade mänskliga granskare och AI-granskare inte denna fixering:
‘[Human] granskare behandlar huvudtexten och det kompletterande materialet på ett helt annat sätt än LLM:er. LLM:er hänför mer än 50 % av sina identifierade svagheter till material i bilagorna, medan människor hänför mindre än 10 %.’
‘Skillnaden märks också när man ser till enskilda granskningar. Av de 200 artiklar som samplades varje år från 2021 till 2024 fick endast 159 sammanlagt en mänsklig granskning med någon bilagerelaterad svaghet. Däremot innehöll samtliga 200 LLM-genererade granskningar för ICLR 2027 minst en kritik av en bilaga.’

Jämförelse av bilagerelaterad kritik i mänskliga och AI-genererade sakkunniggranskningar. Mänskliga granskare hänförde endast 8,4 % av de identifierade svagheterna till material i bilagorna, jämfört med 62 % för AI-modeller. Den andra kolumnen visar kritik som enbart gäller bilagan, utan motsvarande problem i huvudartikeln.
Som testtabellen ovan visar var AI-granskare mer än sju gånger så benägna som människor att identifiera svagheter i bilagorna och mer än tre gånger så benägna att framföra kritik som enbart gällde det kompletterande materialet. Det tyder på att vissa av de senaste avancerade AI-modellerna nu prioriterar detaljer som mänskliga granskare traditionellt skulle betrakta som underordnade en artikels huvudsakliga vetenskapliga bidrag.
Varför?
Såvitt man kan bedöma – detta är den första studien som har identifierat fenomenet – beror en del av problemet på att AI-modellerna inte förstår, eller inte har lärt sig från sitt omfattande träningsmaterial, att artikelns huvudsakliga innehåll normalt inte finns i bilagan. Deras allmänna tendens att behandla all text som lika viktig gör att de missar sammanhanget kring bilagematerialet, som ofta är obearbetat och betydligt mer grovt presenterat än huvudtexten:
‘LLM:er kritiserar nästan aldrig de inledande sidorna, där en artikel formulerar sitt problem och argumenterar för varför det är viktigt. Människor invänder ofta just mot denna inramning, medan LLM:er tycks godta den och gå vidare till siffrorna.
’[Humans and LLMs] läste bilagan på ett helt annat sätt. Människors kritik avtar snabbt ju längre in i bilagan man kommer och försvinner nästan helt på de sista sidorna. LLM:ernas svagheter avtar inte alls. Tvärtom är de som mest framträdande långt in i bilagan, snarare än i början, och de fortsätter även efter sida 30, där mänskliga granskare knappt framför några invändningar.
”För en LLM är en detalj på sida 25 lika rimlig att kritisera som huvudresultattabellen.”
Författarna påpekar att LLM:ernas jämlika förhållningssätt till text naturligt kan ha lett till att de fokuserar mer på materialet i bilagorna, eftersom det, som nämnts ovan, tenderar att innehålla fler fel.
Den övergripande slutsats jag drar av den här nya studien är därför att LLM:er med tiden har riktat in sig på ett avsnitt i nya vetenskapliga artiklar där det ofta förekommer många fel eller sammanblandningar, helt enkelt eftersom detta område så ofta behandlas av mänskliga författare som en oordnad uppsamlingsplats för sekundära bevis och belägg.
Därför finner AI i allt högre grad bilagorna mer intressanta än den noggrant redigerade huvudtexten, eftersom det finns mer att analysera och rätta till där. Följaktligen, konstaterar artikeln, tenderar LLM:er att betrakta artikelns inledande avsnitt som saklig rapportering och ta det för vad det är:
”Människor förväntar sig att huvudtexten ska stå på egna ben och invänder därför när viktiga avsnitt placeras i bilagan. LLM:er tar nästan aldrig upp detta problem.
”Detta belyser en viktig skillnad: människor inser att huvudtexten väger tyngre än bilagan, medan LLM:er inte gör det.”
Konsekvenser och åtgärder
Detta oväntade fokus på mindre detaljer kan få allvarliga konsekvenser för AI-assisterad vetenskaplig forskning, särskilt om vikten av en artikels huvudresultat förbises. Eftersom tendensen tycks ha uppstått först med de senaste modellerna är dess långsiktiga effekter ännu okända.
I artikeln medger författarna att AI-granskare kan upptäcka värdefulla fel, även när dessa ligger djupt inne i en bilaga. De varnar dock för att alltför stor uppmärksamhet kan ägnas åt mindre detaljer på bekostnad av artikelns huvudresultat, vilket leder till långa granskningar av begränsat praktiskt värde:
”LLM-granskare höjer ribban eftersom de inte lämnar någon del av artikeln ogranskad. Men en effektiv granskning kräver också omdöme om vad som är viktigast. När merparten av bristerna i en granskning gäller innehåll i bilagan som saknar koppling till artikelns huvudsakliga bidrag, blir återkopplingen ytlig. Den går inte in på artikelns kärna och hjälper föga författarna att förbättra den.”
Författarna till det nya arbetet, med titeln AI Reviews Are Biased Towards the Appendix, inspirerades att undersöka frågan när de lade märke till vissa märkliga mönster i hur LLM-assisterade eller LLM-genererade granskningar bedömde deras egna inskickade artiklar. Studiens kod finns tillgänglig på GitHub.
Metod och tester
I testerna valdes fyra ledande AI-modeller från OpenAI och Anthropic: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 och Claude-Sonnet-5.5. Modellerna användes via Codex och Claude Code, och deras granskningsbeteende jämfördes med åtkomst via API och webbgränssnitt.
Forskningsartiklar samlades in från fyra stora konferenser inom AI och naturlig språkbehandling: ACL 2026, EMNLP 2026, COLM 2026 och ICLR 2027. De valdes alla eftersom de har liknande format för inskickning och granskning, med strikta sidbegränsningar för huvudartikeln men i allmänhet inga begränsningar för bilagor som placeras efter referenslistan.
Totalt granskades 2 000 artiklar: 1 200 från ICLR 2021–2026 och 800 från fyra nyligen hållna konferenser, med 200 artiklar valda från varje konferens. Samtliga 800 nyare artiklar hade bilagor på minst 15 sidor. Bidragen till ICLR 2027 var redan anonyma, medan författarnas namn, anknytningar, e-postadresser och identifierande länkar togs bort från artiklarna från ACL, EMNLP och COLM för att hindra AI-granskarna från att få reda på vem som skrivit dem.
Modellerna saknade tillgång till internet, vilket säkerställde att granskningarna helt och hållet byggde på de PDF-filer som tillhandahölls.
Först ombads AI:n att skriva en granskning i den aktuella konferensens stil, där artikelns styrkor och svagheter samt ett övergripande betyg skulle tas upp. Instruktionerna hölls medvetet enkla för att återspegla hur AI skulle kunna användas av en faktisk granskare. Därefter gavs artikeln och den färdiga granskningen tillbaka till samma AI-modell, som ombads identifiera vilket avsnitt i artikeln varje invändning gällde. Detta fastställdes genom att granska invändningen tillsammans med originalartikeln:

Den trestegade granskningsprocess som användes i studien. Artiklar med bilagor på minst 15 sidor valdes ut från fyra konferenser och anonymiserades innan de granskades av AI-modeller. Därefter granskades varje utlåtande tillsammans med originalartikeln, och varje enskild invändning kopplades till det avsnitt den gällde.
Genom att separera dessa uppgifter kunde de delar av artiklarna som väckte kritik undersökas utan att de ursprungliga utlåtandena påverkades av ytterligare instruktioner.
Bland resultaten som vi ännu inte har diskuterat finns författarnas test av var svagheterna i LLM-genererade utlåtanden har sitt ursprung:

Jämförelse av var AI-genererade utlåtanden identifierade svagheter vid fyra konferenser. Grönt visar kritik mot huvudartikeln, rött visar kritik som rör bilagorna och skrafferade områden visar kritik som enbart gäller bilagorna. I nästan varje test hänfördes mer än hälften av invändningarna till material i bilagorna, och den starkaste snedvridningen registrerades för GPT-6-Astra.
Som framgår ovan grundade sig ungefär hälften eller mer av kritiken från alla fyra AI-modeller på material i bilagorna – ett mönster som återkom vid alla fyra konferenser. En del kritik riktades uteslutande mot bilagorna, utan koppling till huvudartikeln. Sådan kritik stod för 17,33 % av de svagheter som GPT-modellerna identifierade, jämfört med 10,16 % för Claude.
Enligt artikeln tyder resultaten på att materialet i bilagorna fick oproportionerligt stor uppmärksamhet, och att relativt små detaljer ibland användes som grund för kritik mot artikeln som helhet.
En jämförelse mellan olika metoder genomfördes för att undersöka om snedvridningen till förmån för bilagorna påverkades av hur man fick tillgång till AI:n. Med GPT-6-Astra granskades hundra bidrag till ICLR 2027 via Codex, ChatGPTs webbgränssnitt och ett API som fick antingen den ursprungliga PDF-filen eller dess extraherade text.
Med Codex extraherades texten och granskades med hjälp av kommandon. Via API:et skickades antingen hela PDF-filen eller dess extraherade text direkt, medan uppladdade dokument bearbetades av webbgränssnittets eget (ogenomskinliga) system:

Jämförelse av kritik som rör bilagor mellan AI-modeller och åtkomstmetoder. Till vänster visas att GPT-5 hänvisade till material i bilagorna betydligt mer sällan än de nyare GPT-modellerna vid fyra konferenser. Till höger visas att snedvridningen kvarstod vid fyra olika sätt att använda GPT-6-Astra, där kritik som rörde bilagorna stod för 62,2 % till 73,7 % av det totala antalet invändningar. Skrafferade områden visar kritik som enbart riktades mot bilagorna.
Som framgår ovan hänvisades material i bilagorna i 62,2 % till 73,7 % av invändningarna vid de fyra metoderna. Den högsta andelen registrerades när extraherad text skickades direkt via API:et. Snedvridningen visade sig alltså kvarstå oavsett hur man fick tillgång till modellen.
Huvuddelen av de övriga testerna redovisades redan tidigare i artikeln, och vi hänvisar läsaren till källmaterialet för mer information.
Tricksen vid artikelinlämning
Ämnet ligger författarna till det nya arbetet nära, och det gör det även för mig, eftersom jag ofta läser vetenskapliga artiklar och den hårda vägen har fått lära mig vilka dolda regler – och sätt att kringgå dem – som styr hur artiklar utformas och presenteras.
AI kan inte generellt klandras för att uppmärksamma bilagorna, även om skälen är fel, eftersom författare ofta gömmer artikelns obehagliga överraskningar där – faktorer eller resultat som nästan helt kan kullkasta, eller åtminstone kraftigt förbehålla, de påståenden som görs i artikelns huvuddel.
Författarna kan inte heller nödvändigtvis klandras för att de flyttar viktigt material till bilagan, eftersom mallarna hos populära publikationer, såsom de som förekommer som datakällor i den nya studien, föreskriver begränsningar för det högsta antalet sidor eller ord i artikelns huvuddel.
När komplexa studieresultat ska rapporteras upplever många författare uppenbarligen detta som en kraftig begränsning. I vad jag skulle kalla ”de värsta fallen”† blir artikelns huvuddel helt enkelt ett register över material som har flyttats till slutet för att kringgå riktlinjerna (även om riktlinjerna håller på att komma ikapp och förbjuda det här ”knepet”).
Den växande spänningen i detta scenario står mellan institutionernas behov av att få författarna att disciplinera och hålla tillbaka sina presentationer – något som blir allt viktigare i takt med att antalet inskickade artiklar ökar – och forskarnas uppenbara frustration över att inte kunna presentera frukterna av sitt hårda arbete i ett så fullständigt och heltäckande sammanhang som de anser att insatsen förtjänar.
* Författarnas betoningar, inte mina.
†Eftersom det, när man sållar bland artiklar som ska tas upp, kan vara svårt även för AI att upptäcka att material har hänvisats till bilagor. Men det kan ställa till det rejält för granskaren om hen har avsatt tid för en bedömning av tio sidor och nu upptäcker att hen måste gå igenom 30 sidor material inom samma tidsram.
Publicerades första gången måndagen den 16 november 2026












