Andersons vinkel
Videnskabelige fremskridt drevet af AI trues af en mærkelig besættelse

NøglepunkterNyere AI-reviewere fikserer på bilag, mens menneskelige reviewere fokuserer på en…
Vis mere
- Nyere AI-reviewere fikserer på bilag, mens menneskelige reviewere fokuserer på en artikels hovedresultater.
- Sprogmodeller behandler hvert afsnit som lige vigtigt, så de overser, hvilke sektioner der faktisk betyder noget.
- Bilagsbias fortsætter på tværs af adgangsmetoder og giver overfladisk feedback, som næsten ikke hjælper forfattere med at forbedre sig.
Et nyt amerikansk studie tyder på, at AI-modeller, der bedømmer videnskabelige artikler, udvikler en mærkelig besættelse af artiklernes bilag frem for hovedteksten og ofte tillægger mindre, understøttende detaljer større vægt end hovedresultaterne. I takt med at sprogmodeller i stigende grad bruges til at hjælpe eller endda erstatte menneskelige bedømmere, ser den nyligt identificerede tendens ud til at brede sig til den menneskelige fagfællebedømmelse, hvilket potentielt kan hæmme fremskridt inden for AI-forskning:

Fra det nye studie: Stigningen i kritik af bilag i menneskelige fagfællebedømmelser af videnskabelige artikler. Efter i årevis at have ligget under 11 % nåede andelen op på 27,6 % i de seneste bedømmelser, efter at AI-modeller blev lanceret, som ifølge undersøgelser henter mere end halvdelen af deres kritikpunkter fra bilag. De stiplede linjer markerer lanceringen af større modeller. Kilde
I en undersøgelse af 2000 videnskabelige artikler fra fire populære konferencer fandt forskerne bag det nye studie, at nyere modeller henter omkring 50-70 % af deres kritikpunkter fra bilag, sammenlignet med under 30 % for den ældre GPT-5.
To af de mest fremtrædende nyere AI-modeller, som tilsyneladende får selv menneskelige bedømmere til at fokusere på bilagene frem for de vigtigere hovedresultater, er OpenAI’s GPT-6.1-Sol og GPT-6-Astra, som begge blev lanceret i 2026.
Artiklen siger*:
»Forskellen mellem generationerne er stor. For GPT-5 vedrører kun en lille andel af svaghederne bilaget. Begge nyere modeller, GPT-6.1-Sol og GPT-6-Astra, lægger langt større vægt på det, og det gælder for alle konferencer.«
»Det tyder på, at tendensen til at favorisere bilagene primært er et kendetegn ved nyere modeller. Selvom de nye modeller er en forbedring, er deres tendens til at favorisere bilagene blevet stærkere. Evnen til at læse en artikel grundigt har ikke lært dem, hvilke dele der er vigtigst.«
Studiet fandt også, at denne fiksering på bilagene varierer alt efter de metoder, som AI’en modtager artiklen gennem, eftersom API-, Codex- og webgrænseflader ikke behandler PDF-filer på samme måde – og Codex slet ikke læser midten af en PDF af gennemsnitlig længde, men senere kun udtager små bidder, hvis det er nødvendigt. Det viste sig dog, at alle metoderne foretrak bilagsmaterialet.
Indtil for nylig delte menneskelige bedømmere og AI-modeller ikke denne besættelse:
»[Human] bedømmere behandler hovedteksten og det supplerende materiale meget anderledes end LLM’er. LLM’er henfører mere end 50 % af deres kritik af svagheder til materiale relateret til bilag, mens mennesker henfører under 10 % dertil.
»Forskellen ses også på niveauet for individuelle bedømmelser. Af de 200 artikler, der blev udtaget hvert år fra 2021 til 2024, fik kun 159 i alt en menneskelig bedømmelse, der påpegede en eller anden svaghed vedrørende bilag. Til sammenligning indeholdt alle 200 LLM-genererede bedømmelser for ICLR 2027 mindst én kritik af et bilag.«

Sammenligning af kritik af bilag i menneskelige og AI-genererede fagfællebedømmelser. Menneskelige bedømmere henførte kun 8,4 % af de identificerede svagheder til bilagsmateriale, sammenlignet med 62 % for AI-modeller. Den anden kolonne viser kritik, der alene vedrører bilaget, uden at der er et tilsvarende problem i hovedartiklen.
Som testtabellen ovenfor viser, var AI-bedømmere mere end syv gange så tilbøjelige som mennesker til at identificere svagheder i bilagene og mere end tre gange så tilbøjelige til at fremsætte kritik, der kun vedrørte det supplerende materiale – et tegn på, at nogle af de nyeste avancerede AI-modeller nu prioriterer detaljer, som menneskelige bedømmere traditionelt ville betragte som sekundære i forhold til artiklens vigtigste videnskabelige bidrag.
Hvorfor?
Så vidt man kan vurdere (dette er det første studie, der har identificeret fænomenet), skyldes en del af problemet, at AI-modellerne ikke forstår eller ikke har udledt af deres omfattende træningsmateriale, at det centrale indhold normalt ikke står i en artikels bilag. Deres generelle tendens til at behandle al tekst som lige vigtig betyder, at de overser konteksten for bilagsmaterialet, som ofte er uredigeret og præsenteret langt mere råt end hovedteksten:
»LLM’er kritiserer næsten aldrig de indledende sider, hvor en artikel præsenterer sit problem og argumenterer for, hvorfor det er vigtigt. Mennesker sætter ofte netop spørgsmålstegn ved denne indramning, mens LLM’er tilsyneladende accepterer den og går videre til tallene.«
‘[Humans and LLMs] læste appendikset meget forskelligt. Menneskers kritik aftager hurtigt, efterhånden som man kommer længere ind i appendikset, og forsvinder næsten helt på de sidste sider. LLM’ernes svagheder aftager slet ikke. Faktisk topper LLM’ernes svagheder et godt stykke inde i appendikset snarere end i begyndelsen, og de fortsætter endda efter side 30, hvor menneskelige bedømmere næsten ikke har nogen indvendinger.
‘For en LLM er en detalje på side 25 lige så legitimt et kritikpunkt som tabellen med hovedresultaterne.’
Forfatterne bemærker, at LLM’ernes ligestillende tilgang til tekst naturligt kan have fået dem til at fokusere mere på materiale i appendikset, fordi dette materiale, som nævnt ovenfor, har tendens til at indeholde flere fejl.
Derfor er den overordnede konklusion, jeg drager af denne nye undersøgelse, at LLM’er med tiden har rettet blikket mod et afsnit i nye videnskabelige artikler, hvor der ofte forekommer mange fejl eller sammenblandinger, ganske enkelt fordi dette område så ofte behandles af menneskelige forfattere som en rodet losseplads for sekundære beviser og dokumentation.
Derfor finder AI i stigende grad appendikserne mere interessante end den nøje redigerede hoveddel, fordi der er mere at analysere og rette dér; som artiklen derfor bemærker, har LLM’er tendens til at betragte artiklens indledende afsnit som faktuel rapportering og tage det for pålydende:
‘Mennesker forventer, at hoveddelen kan stå alene, så de protesterer, når vigtige afsnit henvises til appendikset. LLM’er rejser næsten aldrig denne indvending.
‘Dette fremhæver en afgørende forskel: Mennesker forstår, at hoveddelen vejer tungere end appendikset, mens LLM’er ikke gør. ‘
Konsekvenser og løsninger
Dette uventede fokus på mindre detaljer kan få alvorlige konsekvenser for AI-assisteret videnskabelig forskning, især hvis betydningen af en artikels vigtigste resultater overses. Da tendensen tilsyneladende først er opstået med de nyeste modeller, kender man endnu ikke dens langsigtede virkninger.
Artiklen anerkender, at AI-bedømmere kan opdage værdifulde fejl, selv når de ligger begravet dybt i et appendiks. Den advarer dog om, at mindre detaljer kan få for stor opmærksomhed på bekostning af artiklens vigtigste resultater, hvilket resulterer i lange bedømmelser af begrænset praktisk værdi:
‘LLM-bedømmere hæver standarden, fordi de ikke lader nogen del af artiklen være uundersøgt. Men effektiv bedømmelse kræver også en vurdering af, hvad der er vigtigst. Når de fleste svagheder i en bedømmelse skyldes indhold i appendikset, som ikke har forbindelse til artiklens hovedbidrag, forbliver tilbagemeldingen overfladisk. Den forholder sig ikke til artiklens kerne og hjælper kun i ringe grad forfatterne med at forbedre den. ‘
Forfatterne bag det nye arbejde, med titlen AI-bedømmelser er skævvredet til fordel for appendikset, blev inspireret til at undersøge emnet, fordi de bemærkede nogle mærkelige mønstre i den måde, hvorpå LLM-assisterede eller AI-genererede bedømmelser vurderede deres egne indsendte artikler. Undersøgelsens kode findes på GitHub.
Metode og afprøvninger
Til afprøvningerne blev fire førende AI-modeller fra OpenAI og Anthropic udvalgt: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; og Claude-Sonnet-5.5. Modellerne blev tilgået via Codex og Claude Code, og deres bedømmelsesadfærd blev sammenlignet med adgang via API og webgrænseflade.
Forskningsartikler blev indsamlet fra fire store konferencer inden for AI og naturlig sprogbehandling: ACL 2026; EMNLP 2026; COLM 2026; og ICLR 2027 – alle valgt, fordi de har lignende formater for indsendelse og bedømmelse, med strenge sidebegrænsninger for hovedartiklen, men generelt ingen begrænsninger for appendikser, der placeres efter referencerne.
I alt blev 2.000 artikler undersøgt: 1.200 fra ICLR 2021–2026 og 800 fra fire nyere konferencer (200 udvalgt fra hver). Alle de 800 nyere artikler havde appendikser på mindst 15 sider. Indsendelserne til ICLR 2027 var allerede anonymiserede, mens forfatternes navne, tilknytninger, e-mailadresser og identificerende links blev fjernet fra artiklerne fra ACL, EMNLP og COLM for at forhindre, at AI-bedømmerne kunne afsløre, hvem der havde skrevet dem.
Modellernes internetadgang blev deaktiveret for at sikre, at bedømmelserne udelukkende byggede på de PDF-filer, de fik udleveret.
Først blev AI’en bedt om at udarbejde en bedømmelse i stil med den relevante konference, der dækkede artiklens styrker og svagheder samt en samlet karakter. Instruktionerne blev bevidst holdt enkle for at afspejle, hvordan AI kunne blive brugt af en faktisk bedømmer. Derefter fik den samme AI-model artiklen og den færdige bedømmelse tilbage og blev bedt om at identificere, hvilket afsnit af artiklen hver kritik henviste til. Dette blev afgjort ved at gennemgå kritikken sammen med den oprindelige artikel:

Den tretrinsproces for gennemgang, der blev anvendt i undersøgelsen. Artikler med appendikser på mindst 15 sider blev udvalgt fra fire konferencer og anonymiseret, før de blev gennemgået af KI-modeller. Hver gennemgang blev derefter vurderet sammen med den oprindelige artikel, og de enkelte kritikpunkter blev knyttet til de afsnit, de vedrørte.
Ved at adskille disse opgaver kunne man undersøge, hvilke dele af artiklerne der blev kritiseret, uden at de oprindelige anmeldelser blev påvirket af yderligere instruktioner.
Blandt de resultater, vi endnu ikke har omtalt, er forfatternes undersøgelse af hvor svaghederne i LLM-genererede anmeldelser stammer fra:

Sammenligning af, hvor KI-genererede anmeldelser fandt svagheder på tværs af fire konferencer. Grøn viser kritik af hovedartiklen, rød viser kritik relateret til appendikser, og skraverede områder viser kritik, der udelukkende vedrører appendikset. Næsten hver test viste, at mere end halvdelen af kritikpunkterne blev tilskrevet materiale i appendikset, og den stærkeste skævhed blev registreret for GPT-6-Astra.
Som vist ovenfor byggede omkring halvdelen eller flere af kritikpunkterne fra alle fire KI-modeller på materiale i appendikserne – et mønster, der gik igen på alle fire konferencer. Nogle kritikpunkter var rettet udelukkende mod appendikset og havde ingen forbindelse til hovedartiklen. De udgjorde 17,33 % af de svagheder, GPT-modellerne identificerede, sammenlignet med 10,16 % for Claude.
Ifølge artiklen tyder resultaterne på, at materiale i appendikserne blev tillagt uforholdsmæssigt stor vægt, så relativt små detaljer undertiden blev betragtet som grundlag for kritik af artiklen som helhed.
Man sammenlignede forskellige metoder for at fastslå, om skævheden til fordel for appendikser blev påvirket af hvordan man fik adgang til KI’en. Med GPT-6-Astra blev 100 indsendelser til ICLR 2027 gennemgået via Codex, ChatGPT’s webgrænseflade og et API, der fik enten den oprindelige PDF eller den udtrukne tekst.
Med Codex blev teksten udtrukket og undersøgt ved hjælp af kommandoer. Via API’et blev enten hele PDF-filen eller den udtrukne tekst leveret direkte, mens uploadede dokumenter blev behandlet af webgrænsefladens eget (uigennemsigtige) system:

Sammenligning af kritik relateret til appendikser på tværs af KI-modeller og adgangsmetoder. Til venstre ses, at GPT-5 henviste til materiale i appendikser langt sjældnere end de nyere GPT-modeller på tværs af fire konferencer. Til højre ses, at skævheden bestod på tværs af fire måder at tilgå GPT-6-Astra på; kritik relateret til appendikser udgjorde 62,2 % til 73,7 % af det samlede antal kritikpunkter. Skraverede områder viser kritik, der udelukkende var rettet mod appendikser.
Som vist ovenfor blev der henvist til materiale relateret til appendikser i 62,2 % til 73,7 % af kritikpunkterne på tværs af de fire metoder. Den højeste andel blev registreret, når den udtrukne tekst blev leveret direkte via API’et. Skævheden bestod altså uanset, hvordan man fik adgang til modellen.
Hovedparten af de øvrige tests blev allerede beskrevet tidligere i artiklen, og vi henviser læserne til kildematerialet for yderligere oplysninger.
Fiksfakserier med indsendelser
Ligesom emnet er personligt for forfatterne bag det nye arbejde, er det også personligt for mig, eftersom jeg læser mange videnskabelige artikler og på den hårde måde har lært de uskrevne regler – og hvordan de omgås – der bestemmer, hvordan artikler bliver skrevet og præsenteret.
KI kan ikke generelt klandres for at rette opmærksomheden mod appendikserne, selv om det sker af de forkerte grunde, for forfattere gemmer ofte artiklens kritiske forbehold dér – faktorer eller resultater, der næsten kan gøre påstandene i artiklens hoveddel ugyldige eller i hvert fald sætte væsentlige begrænsninger for dem.
Forfatterne er heller ikke nødvendigvis skyld i, at vigtigt materiale henvises til appendikset, eftersom skabelonerne hos populære tidsskrifter, såsom dem, der optræder som datakilder i den nye undersøgelse, fastsætter grænser for det maksimale sidetal eller ordantal i artiklens hovedtekst.
Når komplekse resultater fra undersøgelser skal fremlægges, oplever mange forfattere tydeligvis dette som en streng begrænsning. I det, jeg vil kalde »de værste tilfælde«†, bliver artiklens hoveddel blot et register over materiale, der er flyttet om bagest for at omgå retningslinjerne (selv om retningslinjerne er ved at indhente dette »trick« og forbyde det).
Den voksende spænding i dette scenarie står mellem institutionernes behov for, at forfatterne udviser disciplin og tilbageholdenhed i deres præsentationer – hvilket bliver stadig vigtigere, efterhånden som antallet af indsendte artikler stiger – og forskernes tydelige frustration over, at de ønsker at præsentere frugterne af deres hårdt tilkæmpede arbejde i en så fuldstændig og omfattende sammenhæng, som de mener, indsatsen fortjener.
* Forfatternes fremhævelser, ikke mine.
† Når man skal udvælge artikler til dækning, kan det være vanskeligt selv for AI at opdage, at materiale er blevet henvist til appendikserne. Men det kan gøre det betydeligt sværere for anmelderen, hvis vedkommende havde afsat tid til en vurdering af ti sider og nu må gennemgå 30 siders materiale inden for den samme tidsramme.
Først udgivet mandag den 16. november 2026












