Andersons vinkel
Vitenskapelig framgang drevet av KI trues av en merkelig besettelse

Viktige punkterNyere AI-anmeldere fester seg ved vedlegg, mens menneskelige anmeldere fokuserer på…
Vis mer
- Nyere AI-anmeldere fester seg ved vedlegg, mens menneskelige anmeldere fokuserer på hovedfunnene i en artikkel.
- Språkmodeller behandler hver passasje som like viktig, og derfor overser de hvilke avsnitt som faktisk betyr noe.
- Vedleggsforutinntatthet vedvarer på tvers av tilgangsmetoder og gir overfladisk tilbakemelding som knapt hjelper forfattere å forbedre seg.
En ny amerikansk studie tyder på at KI-modeller som vurderer vitenskapelige artikler, utvikler en merkelig besettelse av artiklenes vedlegg framfor hovedteksten. De vier ofte små detaljer i støttematerialet mer oppmerksomhet enn hovedfunnene. Etter hvert som språkmodeller i økende grad blir brukt til å bistå menneskelige fagfellevurderere eller til og med erstatte dem, ser denne nylig påviste tendensen ut til å spre seg til menneskelig fagfellevurdering, noe som potensielt kan hemme framgangen innen KI-forskning:

Fra den nye artikkelen: Økningen i kritikk knyttet til vedlegg i menneskelige fagfellevurderinger av vitenskapelige artikler. Etter å ha ligget under 11 % i flere år nådde andelen 27,6 % i de nyeste vurderingene, etter at KI-modeller ble lansert som det viste seg hentet mer enn halvparten av kritikken sin fra vedlegg. De stiplede linjene markerer lanseringer av større modeller. Kilde
I en undersøkelse av 2000 vitenskapelige artikler fra fire populære konferanser fant forskerne bak den nye studien at nyere modeller henter rundt 50–70 % av kritikken sin fra vedlegg, sammenlignet med under 30 % for den eldre GPT-5.
To av de mest framtredende nyere KI-modellene, som tilsynelatende får selv menneskelige fagfellevurderere til å rette blikket mot vedleggene og bort fra de viktigere hovedresultatene, er OpenAIs GPT-6.1-Sol og GPT-6-Astra. Begge ble lansert i 2026.
Artikkelen sier*:
«Forskjellen mellom generasjonene er stor. For GPT-5 er det bare en liten andel av svakhetene som gjelder vedlegget. Begge de nyere modellene, GPT-6.1-Sol og GPT-6-Astra, baserer seg langt mer på det, og dette gjelder for hver eneste konferanse.
«Dette tyder på at skjevheten til fordel for vedlegg hovedsakelig er et kjennetegn ved nyere modeller. Selv om de nye modellene er en forbedring, har skjevheten deres til fordel for vedlegg blitt større. Evnen til å lese en artikkel grundig har ikke lært dem hvilke deler som er viktigst.»
Studien fant også at denne fikseringen på vedlegg varierer med metodene KI-en bruker for å motta artikkelen, siden API-er, Codex og nettgrensesnitt ikke vurderer PDF-er på samme måte – og Codex ikke leser midtdelen av en PDF med gjennomsnittlig lengde i det hele tatt, men i stedet henter innhold fra den senere i «biter», hvis det er nødvendig. Likevel viste det seg at alle metodene favoriserte materialet i vedleggene.
Fram til nylig delte ikke menneskelige vurderere og KI-vurderere denne besettelsen:
«[Human] fagfellevurderere behandler hovedteksten og tilleggsmaterialet svært forskjellig fra store språkmodeller. Store språkmodeller tilskriver mer enn 50 % av svakhetene sine materiale knyttet til vedlegg, mens mennesker tilskriver under 10 % til slikt materiale.
«Forskjellen kommer også til syne når man ser på enkeltvurderinger. Av de 200 artiklene som ble valgt ut hvert år fra 2021 til 2024, fikk bare 159 til sammen en menneskelig vurdering som påpekte noen svakhet knyttet til vedlegg. Til sammenligning inneholdt alle de 200 KI-genererte vurderingene for ICLR 2027 minst én kritikk av vedlegg.»

Sammenligning av kritikk knyttet til vedlegg i menneskelige og KI-genererte fagfellevurderinger. Menneskelige fagfellevurderere tilskrev bare 8,4 % av de identifiserte svakhetene materiale i vedlegg, sammenlignet med 62 % for KI-modeller. Den andre kolonnen viser kritikk som bare gjelder vedlegget, uten at det tilsvarende problemet finnes i hovedartikkelen.
Som tabellen over viser, var KI-vurderere mer enn sju ganger så tilbøyelige som mennesker til å finne svakheter i vedleggene, og mer enn tre ganger så tilbøyelige til å rette kritikk utelukkende mot tilleggsmaterialet. Dette tyder på at enkelte av de nyeste, mest avanserte KI-modellene nå prioriterer detaljer som menneskelige fagfellevurderere tradisjonelt ville sett på som mindre viktige enn artikkelens viktigste vitenskapelige bidrag.
Hvorfor?
Så langt man kan fastslå (dette er den første studien som har påvist fenomenet), skyldes problemet delvis at KI-ene ikke forstår, eller ikke har lært gjennom det omfattende treningsmaterialet sitt, at det som regel ikke er i vedlegget en artikkels hovedinnhold finnes. Den generelle tendensen deres til å behandle all tekst som like viktig gjør at de overser sammenhengen rundt vedleggsmaterialet, som ofte er uredigert og presentert langt mer grovt enn hovedteksten:
«Store språkmodeller kritiserer nesten aldri de innledende sidene, der en artikkel presenterer problemet den tar for seg og argumenterer for hvorfor det er viktig. Mennesker utfordrer ofte nettopp denne framstillingen, mens store språkmodeller ser ut til å godta den og gå videre til tallene.
‘[Humans and LLMs] leser vedlegget på en helt annen måte. Menneskelige innvendinger avtar raskt utover i vedlegget og forsvinner nesten helt på de siste sidene. Svakhetene ved LLM-er avtar ikke i det hele tatt. Faktisk er svakhetene ved LLM-er mest fremtredende et godt stykke ut i vedlegget, snarere enn i begynnelsen, og de fortsetter også etter side 30, der menneskelige fagfellevurderere nesten ikke kommer med noen innvendinger.
‘For en LLM er en detalj på side 25 et like legitimt kritikkpunkt som hovedresultattabellen.’
Forfatterne påpeker at LLM-enes egalitære tilnærming til tekst naturlig kan ha fått dem til å konsentrere seg mer om stoffet i vedleggene, fordi dette materialet, som nevnt ovenfor, har en tendens til å inneholde flere feil.
Derfor er hovedinntrykket jeg sitter igjen med etter denne nye studien, at LLM-er over tid har rettet oppmerksomheten mot en del av nye vitenskapelige artikler der det ofte forekommer mange feil eller sammenblandinger, ganske enkelt fordi dette området så ofte behandles av menneskelige forfattere som en uryddig oppsamlingsplass for sekundære bevis og dokumentasjon.
Derfor finner KI i stadig større grad vedleggene mer interessante enn den nøye redigerte hoveddelen, fordi det er mer å analysere og rette opp der. Som følge av dette, påpeker artikkelen, har LLM-er en tendens til å behandle den innledende delen av artikkelen som faktarapportering og ta den for god fisk:
‘Mennesker forventer at hoveddelen skal kunne stå på egne ben, og protesterer derfor når viktige deler flyttes til vedlegget. LLM-er tar nesten aldri opp dette problemet.
‘Dette viser en viktig forskjell: Mennesker forstår at hoveddelen veier tyngre enn vedlegget, mens LLM-er ikke gjør det. ‘
Konsekvenser og løsninger
Denne uventede oppmerksomheten på detaljer av mindre betydning kan få alvorlige følger for AI-assistert vitenskapelig forskning, særlig hvis betydningen av artikkelens hovedfunn blir oversett. Siden denne tendensen ser ut til å ha oppstått først med de nyeste modellene, er de langsiktige virkningene ennå ukjente.
Artikkelen erkjenner at KI-baserte fagfellevurderere kan oppdage verdifulle feil, selv når de ligger begravd langt inne i et vedlegg. Samtidig advarer den om at mindre detaljer kan få for mye oppmerksomhet på bekostning av artikkelens hovedfunn, noe som resulterer i lange vurderinger med liten praktisk verdi:
‘LLM-baserte fagfellevurderere hever standarden fordi de undersøker alle deler av artikkelen. Effektiv fagfellevurdering krever imidlertid også skjønn om hva som er viktigst. Når de fleste svakhetene i en vurdering gjelder innhold i vedlegget som ikke har sammenheng med hovedbidraget, blir tilbakemeldingene overfladiske. De går ikke inn på kjernen i artikkelen og hjelper i liten grad forfatterne med å forbedre den. ‘
Forfatterne av det nye arbeidet, med tittelen AI Reviews Are Biased Towards the Appendix, ble inspirert til å undersøke dette nærmere da de la merke til noen merkelige mønstre i hvordan LLM-assisterte eller KI-genererte vurderinger evaluerte deres egne bidrag. Koden til studien er tilgjengelig på GitHub.
Metode og tester
Til testene valgte forskerne fire ledende KI-modeller fra OpenAI og Anthropic: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 og Claude-Sonnet-5.5. Modellene ble brukt via Codex og Claude Code, og måten de gjennomførte fagfellevurderinger på, ble sammenlignet med tilgang via API og nettgrensesnitt.
Forskningsartikler ble hentet fra fire store konferanser innen KI og naturlig språkbehandling: ACL 2026, EMNLP 2026, COLM 2026 og ICLR 2027. De ble valgt fordi de har lignende formater for innsending og fagfellevurdering, med strenge sidebegrensninger for hovedartikkelen, men som regel ingen begrensninger for vedleggene som følger etter referanselisten.
Til sammen ble 2 000 artikler undersøkt: 1 200 fra ICLR 2021–2026 og 800 fra fire nyere konferanser, med 200 artikler valgt fra hver konferanse. Alle de 800 nyere artiklene hadde vedlegg på minst 15 sider. Innsendingene til ICLR 2027 var allerede anonymisert, mens forfatternes navn, tilknytninger, e-postadresser og lenker som kunne identifisere dem, ble fjernet fra artiklene fra ACL, EMNLP og COLM for å hindre at KI-fagfellevurdererne fikk vite hvem som hadde skrevet dem.
Modellene fikk ikke tilgang til internett, slik at vurderingene utelukkende skulle baseres på PDF-filene de fikk.
Først ble KI-en bedt om å skrive en vurdering i tråd med den aktuelle konferansens stil, der den skulle ta for seg artikkelens styrker og svakheter og gi en samlet poengsum. Instruksjonene ble med vilje holdt enkle for å gjenspeile hvordan KI kan bli brukt av en faktisk fagfellevurderer. Deretter fikk den samme KI-modellen artikkelen og den ferdige vurderingen tilbake, og ble bedt om å identifisere hvilken del av artikkelen hver innvending gjaldt. Dette ble avgjort ved å undersøke innvendingen sammen med originalartikkelen:

Den tretrinns vurderingsprosessen som ble brukt i studien. Artikler med vedlegg på minst 15 sider ble valgt ut fra fire konferanser og anonymisert før de ble vurdert av AI-modeller. Hver vurdering ble deretter undersøkt sammen med den opprinnelige artikkelen, og hver enkelt kritikk ble knyttet til delene den gjaldt.
Ved å skille disse oppgavene fra hverandre kunne man undersøke hvilke deler av artiklene som fikk kritikk, uten at de opprinnelige vurderingene ble påvirket av ytterligere instruksjoner.
Blant resultatene vi ikke har diskutert så langt, er forfatternes undersøkelse av hvor svakhetene i LLM-genererte vurderinger stammer fra:

Sammenligning av hvor AI-genererte vurderinger identifiserte svakheter på tvers av fire konferanser. Grønt viser kritikk av hovedartikkelen, rødt viser kritikk knyttet til vedleggene, og skraverte områder viser kritikk som bare gjelder vedleggene. I nesten alle testene ble mer enn halvparten av kritikkpunktene knyttet til materiale i vedleggene, og den sterkeste skjevheten ble registrert for GPT-6-Astra.
Som vist ovenfor var omtrent halvparten eller mer av kritikken fra alle de fire AI-modellene basert på materiale i vedleggene – et mønster som ble funnet på tvers av alle de fire konferansene. Noe kritikk var rettet utelukkende mot vedleggene, uten tilknytning til hovedartikkelen. Dette gjaldt 17,33 % av svakhetene GPT-modellene identifiserte, mot 10,16 % for Claude.
Resultatene tyder ifølge artikkelen på at vedleggsmateriale fikk uforholdsmessig mye oppmerksomhet, og at relativt små detaljer noen ganger ble behandlet som grunnlag for kritikk av artikkelen som helhet.
Det ble gjennomført en sammenligning av ulike metoder for å fastslå om skjevheten til fordel for vedleggene ble påvirket av hvordan AI-en ble brukt. Ved hjelp av GPT-6-Astra ble hundre innsendte bidrag til ICLR 2027 vurdert via Codex, ChatGPTs nettgrensesnitt og et API som fikk tilsendt enten den opprinnelige PDF-en eller den uttrukne teksten.
Med Codex ble teksten hentet ut og undersøkt ved hjelp av kommandoer; via API-et ble enten hele PDF-en eller den uttrukne teksten sendt direkte inn; mens opplastede dokumenter ble behandlet av nettgrensesnittets eget (ugjennomsiktige) system:

Sammenligning av kritikk knyttet til vedlegg på tvers av AI-modeller og tilgangsmetoder. Til venstre ble det funnet at GPT-5 viste til materiale i vedleggene langt sjeldnere enn de nyere GPT-modellene på tvers av fire konferanser. Til høyre viste skjevheten seg å vedvare på tvers av fire måter å bruke GPT-6-Astra på, der kritikk knyttet til vedlegg utgjorde 62,2 % til 73,7 % av all kritikk. Skraverte områder viser kritikk som utelukkende var rettet mot vedleggene.
Som vist ovenfor ble materiale knyttet til vedleggene vist til i 62,2 % til 73,7 % av kritikken på tvers av de fire metodene. Den høyeste andelen ble registrert da uttrukket tekst ble sendt direkte inn via API-et. Skjevheten viste seg dermed å vedvare uavhengig av hvordan modellen ble brukt.
Hoveddelen av de øvrige testene ble allerede omtalt tidligere i artikkelen, og vi viser leseren til kildematerialet for mer informasjon.
Krumspring ved innsending
Akkurat som temaet er personlig for forfatterne av det nye arbeidet, er det også personlig for meg, siden jeg leser mange vitenskapelige artikler og på den harde måten har lært de skjulte reglene – og hvordan de omgås – som styrer hvordan artikler skrives og presenteres.
AI kan ikke generelt lastes for å rette oppmerksomheten mot vedleggene, selv om den gjør det av feil grunner, ettersom forfattere ofte gjemmer artikkelens «kritiske punkter» der – forhold eller resultater som kan gjøre påstandene i hoveddelen av artikkelen nesten helt ugyldige eller i det minste legge betydelige forbehold til dem.
Forfatterne kan heller ikke nødvendigvis klandres for å flytte viktig materiale til vedlegget, siden malene til populære tidsskrifter, som dem som er oppført som datakilder i den nye studien, fastsetter grenser for maksimalt sidetall eller ordantall i hoveddelen av artikkelen.
Når de rapporterer komplekse studieresultater, opplever mange forfattere tydeligvis dette som en betydelig begrensning. I det jeg vil kalle «de verste tilfellene»† blir hoveddelen av artikkelen bare en innholdsfortegnelse over materiale som er flyttet til slutten for å omgå retningslinjene (selv om retningslinjene nå er i ferd med å ta igjen dette «trikset» og forby det).
Den økende spenningen i dette scenarioet står mellom institusjonenes behov for at forfatterne skal disiplinere og begrense framstillingene sine – noe som blir stadig viktigere etter hvert som antallet innsendte artikler øker – og forskernes åpenbare frustrasjon over ønsket om å presentere resultatene av det møysommelige arbeidet sitt i en så fullstendig og helhetlig sammenheng som de mener innsatsen fortjener.
* Forfatternes uthevinger, ikke mine.
†Fordi det, når man sorterer artikler for å avgjøre hvilke som skal dekkes, kan være vanskelig selv for KI å oppdage at stoff er skjøvet til vedleggene; men det kan skape betydelige problemer for fagfellen dersom vedkommende hadde satt av tid til å vurdere ti sider, og nå oppdager at hen må gjennomgå 30 sider med materiale innenfor den samme tidsrammen.
Først publisert mandag 16. november 2026












