Andersons hoek
Wetenschappelijke vooruitgang door AI bedreigd door een vreemde obsessie

Belangrijkste puntenNieuwere AI-reviewers fixeren zich op bijlagen, terwijl menselijke reviewers zich…
Meer weergeven
- Nieuwere AI-reviewers fixeren zich op bijlagen, terwijl menselijke reviewers zich richten op de belangrijkste bevindingen van een paper.
- Taalmodellen behandelen elke passage als even belangrijk, waardoor ze missen welke secties er echt toe doen.
- Bijlagenvooroordeel blijft bestaan across toegangsmethoden en levert oppervlakkige feedback op die auteurs nauwelijks helpt om te verbeteren.
Een nieuw Amerikaans onderzoek suggereert dat AI-modellen die wetenschappelijke artikelen beoordelen, een vreemde obsessie ontwikkelen met de bijlagen bij die artikelen, in plaats van met de hoofdtekst. Ze besteden vaak meer aandacht aan kleine, ondersteunende details dan aan de belangrijkste bevindingen. Nu taalmodellen steeds vaker worden ingezet om menselijke beoordelaars te ondersteunen of zelfs te vervangen, lijkt deze pas ontdekte neiging ook door te dringen tot de menselijke peerreview, wat de vooruitgang in AI-onderzoek mogelijk kan belemmeren:

Uit het nieuwe artikel: de toename van kritiek op bijlagen in wetenschappelijke peerreviews door mensen. Nadat het aandeel jarenlang onder de 11% was gebleven, bereikte het in de meest recente beoordelingen 27,6%, na de introductie van AI-modellen die meer dan de helft van hun kritiek bleken te ontlenen aan bijlagen. De stippellijnen geven belangrijke modelreleases aan. Bron
Bij een test met 2000 wetenschappelijke artikelen uit vier populaire conferenties ontdekten de onderzoekers van het nieuwe onderzoek dat nieuwere modellen ongeveer 50-70% van hun kritiek ontlenen aan bijlagen, tegenover minder dan 30% bij het oudere GPT-5.
Twee van de meest prominente nieuwere AI-modellen die zelfs menselijke beoordelaars lijken weg te sturen van de belangrijkere hoofdresultaten en richting de bijlagen, zijn GPT-6.1-Sol en GPT-6-Astra van OpenAI. Beide zijn uitgebracht in 2026.
In het artikel staat*:
‘Het verschil tussen de generaties is groot. Bij GPT-5 heeft slechts een klein deel van de zwakke punten betrekking op de bijlage. De twee nieuwere modellen, GPT-6.1-Sol en GPT-6-Astra, steunen daar veel sterker op, en dat geldt voor elke conferentie.
‘Dit wijst erop dat de voorkeur voor de bijlage vooral een eigenschap is van nieuwere modellen. Hoewel de nieuwe modellen beter zijn, is hun voorkeur voor de bijlage sterker geworden. Dat ze een artikel gedetailleerd kunnen lezen, heeft hun niet geleerd welke onderdelen het belangrijkst zijn.’
Uit het onderzoek bleek ook dat deze fixatie op de bijlage verschilt naargelang de methoden waarmee de AI het artikel ontvangt, omdat API-, codex- en webinterfaces pdf’s niet op dezelfde manier beoordelen. Codex leest het middendeel van een pdf van gemiddelde lengte helemaal niet, maar neemt er later zo nodig alleen ‘hapjes’ uit. Toch bleken alle methoden de voorkeur te geven aan materiaal uit de bijlage.
Tot voor kort deelden menselijke en AI-beoordelingen deze obsessie niet:
‘[Human] beoordelaars behandelen de hoofdtekst en het aanvullende materiaal heel anders dan LLM’s. LLM’s schrijven meer dan 50% van hun vastgestelde zwakke punten toe aan materiaal uit de bijlage, terwijl dat bij mensen minder dan 10% is.
‘Het verschil is ook zichtbaar op het niveau van afzonderlijke beoordelingen. Van de 200 artikelen die elk jaar tussen 2021 en 2024 werden geselecteerd, kregen er in totaal slechts 159 een menselijke beoordeling waarin een zwak punt met betrekking tot de bijlage werd genoemd. Daartegenover stond dat alle 200 door LLM’s gegenereerde beoordelingen voor ICLR 2027 ten minste één punt van kritiek op de bijlage bevatten.’

Vergelijking van kritiek op bijlagen in peerreviews door mensen en door AI gegenereerde peerreviews. Menselijke beoordelaars schreven slechts 8,4% van de vastgestelde zwakke punten toe aan materiaal uit de bijlage, tegenover 62% bij AI-modellen. De tweede kolom toont kritiek die uitsluitend betrekking heeft op de bijlage, zonder dat er een overeenkomstig probleem in het hoofdartikel wordt genoemd.
Zoals de testtabel hierboven laat zien, signaleerden AI-beoordelaars ruim zeven keer zo vaak als mensen zwakke punten in de bijlagen en uitten ze ruim drie keer zo vaak kritiek die uitsluitend op het aanvullende materiaal betrekking had. Dit wijst erop dat sommige van de nieuwste geavanceerde AI-modellen inmiddels details voorrang geven die menselijke beoordelaars traditioneel als ondergeschikt aan de belangrijkste wetenschappelijke bijdrage van een artikel zouden beschouwen.
Waarom?
Voor zover valt op te maken (dit is het eerste onderzoek waarin dit verschijnsel is vastgesteld), ligt een deel van het probleem erin dat AI’s niet beseffen, of niet uit hun omvangrijke trainingsmateriaal hebben opgemaakt, dat de kern van een artikel gewoonlijk niet in de bijlage staat. Hun algemene neiging om alle tekst even belangrijk te vinden, zorgt ervoor dat ze geen rekening houden met de context van bijlagemateriaal, dat vaak niet is geselecteerd en veel ruwer is gepresenteerd dan de hoofdtekst:
‘LLM’s uiten bijna nooit kritiek op de openingspagina’s, waarin een artikel het probleem schetst en uitlegt waarom het belangrijk is. Mensen zetten juist vaak vraagtekens bij die uiteenzetting, terwijl LLM’s die lijken te accepteren en doorgaan naar de cijfers.
‘[Humans and LLMs] lazen de bijlage heel anders. De kritiek van menselijke beoordelaars neemt snel af naarmate de bijlage vordert en verdwijnt op de laatste pagina’s bijna helemaal. De tekortkomingen van LLM’s nemen helemaal niet af. Sterker nog, die tekortkomingen bereiken hun hoogtepunt ver in de bijlage, niet aan het begin, en houden zelfs na pagina 30 nog aan, waar menselijke beoordelaars nauwelijks nog zorgen uiten.
‘Voor een LLM is een detail op pagina 25 net zo goed onderwerp van kritiek als de tabel met de belangrijkste resultaten.’
De auteurs merken op dat de gelijkwaardige manier waarop LLM’s tekst benaderen, er vanzelf toe kan hebben geleid dat ze zich meer op bijlagen richtten, omdat daarin, zoals hierboven vermeld, doorgaans meer fouten staan.
Daarom is de belangrijkste conclusie die ik uit deze nieuwe studie trek dat LLM’s zich gaandeweg zijn gaan richten op een onderdeel van nieuwe wetenschappelijke artikelen waar vaak veel fouten of vermengingen voorkomen, simpelweg omdat dat onderdeel door menselijke auteurs zo vaak wordt behandeld als een rommelige verzamelplek voor aanvullend bewijs en onderbouwing.
Daarom vinden AI-systemen de bijlagen steeds interessanter dan de zorgvuldig samengestelde hoofdtekst, omdat ze daar meer kunnen analyseren en corrigeren; daardoor beschouwen LLM’s, zo merkt het artikel op, het eerste deel van het artikel vaak als feitelijke verslaglegging en nemen ze het voor waar aan:
‘Mensen verwachten dat de hoofdtekst op zichzelf staat en maken daarom bezwaar wanneer essentiële onderdelen naar de bijlage worden verplaatst. LLM’s uiten dit bezwaar bijna nooit.
‘Dit laat een belangrijk verschil zien: mensen begrijpen dat de hoofdtekst zwaarder weegt dan de bijlage, terwijl LLM’s dat niet doen. ‘
Gevolgen en oplossingen
Deze onverwachte aandacht voor details van ondergeschikt belang kan ernstige gevolgen hebben voor wetenschappelijk onderzoek met hulp van AI, vooral als het belang van de belangrijkste bevindingen van een artikel over het hoofd wordt gezien. Omdat deze neiging pas bij de nieuwste modellen lijkt te zijn ontstaan, zijn de gevolgen op langere termijn nog niet bekend.
Het artikel erkent dat AI-beoordelaars waardevolle fouten kunnen opsporen, zelfs als die diep in een bijlage verborgen staan. Het waarschuwt echter dat er te veel aandacht kan uitgaan naar details van ondergeschikt belang, ten koste van de belangrijkste bevindingen van een artikel, waardoor lange beoordelingen ontstaan die weinig praktisch nut hebben:
‘LLM-beoordelaars leggen de lat hoger, omdat ze geen enkel deel van het artikel onbesproken laten. Maar een goede beoordeling vereist ook inzicht in wat het belangrijkst is. Als de meeste tekortkomingen van een beoordeling voortkomen uit inhoud in de bijlage die geen verband houdt met de belangrijkste bijdrage, blijft de feedback oppervlakkig. Ze gaat niet in op de kern van het artikel en helpt de auteurs nauwelijks om het te verbeteren. ‘
De auteurs van het nieuwe onderzoek, getiteld AI-beoordelingen zijn bevooroordeeld ten gunste van de bijlage, besloten dit onderwerp verder te onderzoeken nadat ze merkwaardige patronen hadden opgemerkt in de manier waarop met LLM’s gemaakte of ondersteunde beoordelingen hun eigen inzendingen beoordeelden. De code voor het onderzoek is beschikbaar op GitHub.
Methode en tests
Voor de tests werden vier toonaangevende AI-modellen van OpenAI en Anthropic geselecteerd: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 en Claude-Sonnet-5.5. De modellen werden gebruikt via Codex en Claude Code, en hun beoordelingsgedrag werd vergeleken met dat bij gebruik via de API en de webinterface.
Onderzoeksartikelen werden verzameld van vier grote conferenties over AI en natuurlijke taalverwerking: ACL 2026, EMNLP 2026, COLM 2026 en ICLR 2027. Deze conferenties werden gekozen omdat ze vergelijkbare indienings- en beoordelingsprocedures hanteren, met strikte paginalimieten voor het hoofdartikel, maar doorgaans geen limiet stellen aan de bijlagen die na de referenties worden opgenomen.
In totaal werden 2.000 artikelen onderzocht: 1.200 van ICLR uit 2021–2026 en 800 van vier recente conferenties, met 200 artikelen geselecteerd van elke conferentie. Alle 800 recente artikelen hadden bijlagen van minstens 15 pagina’s. De inzendingen voor ICLR 2027 waren al anoniem gemaakt. In de artikelen van ACL, EMNLP en COLM werden de namen, affiliaties, e-mailadressen en links die de auteurs konden identificeren verwijderd om te voorkomen dat de AI-beoordelaars konden achterhalen wie de auteurs waren.
De internettoegang van de modellen werd uitgeschakeld, zodat de beoordelingen volledig gebaseerd zouden zijn op de aangeleverde pdf’s.
Eerst werd de AI gevraagd een beoordeling op te stellen in de stijl van de betreffende conferentie, met daarin de sterke en zwakke punten van het artikel en een totaalscore. De instructies werden bewust eenvoudig gehouden, om weer te geven hoe een echte beoordelaar AI zou kunnen gebruiken. Vervolgens werden het artikel en de voltooide beoordeling teruggegeven aan hetzelfde AI-model, dat moest aangeven op welk deel van het artikel elke kritiek betrekking had. Dit werd vastgesteld door de kritiek naast het oorspronkelijke artikel te leggen:

Het beoordelingsproces in drie fasen dat in het onderzoek werd gebruikt. Papers met bijlagen van ten minste 15 pagina’s werden geselecteerd uit vier conferenties en geanonimiseerd voordat ze door AI-modellen werden beoordeeld. Elke beoordeling werd vervolgens naast het oorspronkelijke paper gelegd, waarbij afzonderlijke kritiekpunten werden toegewezen aan de secties waarop ze betrekking hadden.
Door deze taken van elkaar te scheiden, konden de onderdelen van de papers waarop kritiek was gekomen worden onderzocht zonder dat de oorspronkelijke beoordelingen werden beïnvloed door aanvullende instructies.
Een van de resultaten die we tot dusver niet hebben besproken, betreft de test van de auteurs naar waar de zwakke punten in door LLM’s gegenereerde beoordelingen vandaan komen:

Vergelijking van de plaatsen waar door AI gegenereerde beoordelingen zwakke punten aan het licht brachten, verspreid over vier conferenties. Groen staat voor kritiek op het hoofdpaper, rood voor kritiek op de bijlagen en gearceerde gebieden geven kritiek aan die uitsluitend op de bijlagen betrekking heeft. Bij vrijwel elke test werd meer dan de helft van de kritiek toegeschreven aan materiaal in de bijlagen; de sterkste vertekening werd vastgesteld bij GPT-6-Astra.
Zoals hierboven te zien is, was ongeveer de helft of meer van de kritiek van alle vier AI-modellen gebaseerd op materiaal in de bijlagen – een patroon dat bij alle vier conferenties naar voren kwam. Een deel van de kritiek was uitsluitend op de bijlage gericht en hield geen verband met het hoofdpaper. Dit gold voor 17,33% van de door GPT-modellen vastgestelde zwakke punten, tegenover 10,16% bij Claude.
Volgens het paper wijzen de resultaten erop dat er onevenredig veel aandacht werd besteed aan materiaal in de bijlagen, waarbij relatief kleine details soms werden aangevoerd als grond voor kritiek op het paper als geheel.
Er werd een vergelijking tussen verschillende methoden uitgevoerd om vast te stellen of de vertekening ten gunste van bijlagen afhankelijk was van hoe de AI werd gebruikt. Met GPT-6-Astra werden honderd inzendingen voor ICLR 2027 beoordeeld via Codex, de ChatGPT-webinterface en een API waaraan óf de oorspronkelijke pdf óf de geëxtraheerde tekst werd aangeleverd.
Met Codex werd tekst geëxtraheerd en via opdrachten onderzocht; via de API werd óf de volledige pdf óf de geëxtraheerde tekst rechtstreeks aangeleverd; bij de webinterface werden geüploade documenten verwerkt door het eigen, ondoorzichtige systeem:

Vergelijking van kritiek op bijlagen tussen AI-modellen en toegangsmethoden. Links bleek GPT-5 in vier conferenties veel minder vaak naar materiaal in de bijlagen te verwijzen dan de nieuwere GPT-modellen. Rechts bleek de vertekening te blijven bestaan bij vier manieren om GPT-6-Astra te gebruiken: kritiek op bijlagen was goed voor 62,2% tot 73,7% van het totaal. Gearceerde gebieden geven kritiek aan die uitsluitend op bijlagen was gericht.
Zoals hierboven te zien is, werd bij de vier methoden in 62,2% tot 73,7% van de kritiek verwezen naar materiaal uit de bijlagen. Het hoogste percentage werd vastgesteld wanneer de geëxtraheerde tekst rechtstreeks via de API werd aangeleverd. De vertekening bleek dus te blijven bestaan, ongeacht hoe het model werd gebruikt.
Het grootste deel van de overige tests was al eerder in het artikel beschreven; voor meer informatie verwijzen we de lezer naar het bronmateriaal.
Trucs rond inzendingen
Net zoals het onderwerp de auteurs van het nieuwe werk persoonlijk raakt, raakt het mij ook: ik lees veel wetenschappelijke papers en heb door schade en schande geleerd welke verborgen regels bepalen hoe papers worden opgesteld en gepresenteerd, en hoe die regels worden omzeild.
AI treft niet in algemene zin blaam omdat het aandacht besteedt aan de bijlagen, ook al doet het dat om de verkeerde redenen: auteurs verstoppen daar vaak de ‘addertjes onder het gras’ van hun paper – factoren of resultaten die de beweringen in de hoofdtekst vrijwel volledig onderuit kunnen halen of er anderszins ernstige kanttekeningen bij kunnen plaatsen.
Auteurs treft evenmin noodzakelijkerwijs blaam voor het verplaatsen van belangrijk materiaal naar de bijlage, aangezien de sjablonen van populaire publicaties, zoals die welke in de nieuwe studie als databronnen zijn opgenomen, het aantal pagina’s of woorden in de hoofdtekst tot een maximum beperken.
Veel auteurs ervaren dit duidelijk als een ernstige beperking wanneer ze complexe onderzoeksresultaten beschrijven. In wat ik zou beschouwen als ‘de ergste gevallen’† wordt de hoofdtekst van het paper simpelweg een inhoudsopgave van materiaal dat naar achteren is verplaatst om de richtlijnen te omzeilen (al halen die richtlijnen deze ‘truc’ inmiddels in en verbieden ze die).
De toenemende spanning in dit scenario bestaat tussen de noodzaak voor instellingen om auteurs hun presentaties te laten beheersen en inperken — een noodzaak die steeds groter wordt naarmate het aantal ingediende artikelen toeneemt — en de zichtbare frustratie van onderzoekers, die de met veel moeite behaalde resultaten van hun werk willen presenteren in een zo volledig en allesomvattend mogelijke context, zoals zij vinden dat hun inspanningen verdienen.
* Nadruk van de auteurs, niet van mij.
† Omdat het bij het selecteren van te bespreken artikelen zelfs voor AI lastig kan zijn om te herkennen dat materiaal naar de bijlagen is verplaatst; dit kan de beoordelaar echter flink in de problemen brengen als die tijd had ingepland voor een beoordeling van tien pagina’s en nu ontdekt dat die binnen dezelfde beschikbare tijd 30 pagina’s aan materiaal moet beoordelen.
Voor het eerst gepubliceerd op maandag 16 november 2026












