Zelfverzekerde wetenschappelijke artikelen beïnvloeden AI-beoordelaars – ongeacht hun kwaliteit

Zelfvertrouwen is een duidelijk evolutionair voordeel – en volgens een nieuw Duits onderzoek ook een voordeel wanneer een wetenschappelijk artikel wordt beoordeeld door grote taalmodellen (LLM’s) in plaats van door vakgenoten van de auteur (een steeds vaker voorkomende noodzaak, nu het aantal wetenschappelijke artikelen explodeert dankzij de productiviteitswinst door AI).

Uit het nieuwe onderzoek blijkt dat AI-beoordelaars (oftewel niet-menselijke beoordelaars) wetenschappelijke artikelen die in zelfverzekerde, stellige bewoordingen zijn geschreven consequent hogere scores geven – zelfs wanneer het onderliggende onderzoek identiek is aan dat in artikelen met een minder zelfverzekerde toon. In sommige gevallen volstaat een wijziging van alleen de formulering om een afwijzing in een acceptatie te veranderen.

De auteurs stellen:

‘Onze experimenten tonen aan dat LLM-beoordelaars een aanzienlijke voorkeur hebben voor [papers] het gebruik van zelfverzekerde taal. Cruciaal is dat deze voorkeuren er vaak toe leiden dat beslissingen omslaan van accepteren naar afwijzen of andersom, wat de uitkomst van beoordelingen rechtstreeks beïnvloedt.

‘Naast de scores zien we dat de aspecten die in beoordelingen aan bod komen, qua frequentie en sentiment variëren afhankelijk van de taalkenmerken van het artikel, wat mogelijk van invloed is op de uiteindelijke beslissingen.’

Ironisch genoeg lijkt het verschijnsel dat de auteurs vaststellen sterk op de manier waarop AI zo vaak ‘zelfverzekerd onjuiste antwoorden geeft’ op onze prompts en vragen; alleen is de beslissing hier aan mensen, en is de individuele en collectieve verantwoordelijkheid reëel, ongeacht of de wetenschappers achter deze artikelen zelf werkelijk in hun beweringen geloven.

Als AI steeds vaker bepaalt welke wetenschappelijke artikelen worden gepubliceerd, leren wetenschappers misschien om ‘zelfverzekerder over te komen’ als concurrentiestrategie, wellicht vooral wanneer hun inzendingen gebreken vertonen. Daardoor zou minder goede wetenschap een onverdiende voet aan de grond kunnen krijgen in de steeds kleiner wordende hoeveelheid beschikbare aandacht.

Met bluf naar de overwinning

Volgens het onderzoek* waren AI-beoordelaars eerder geneigd de methoden, theorieën en wetenschappelijke bijdragen van zelfverzekerd geformuleerde artikelen te prijzen, zelfs wanneer die identiek waren aan die in minder stellige versies. In de tests van de auteurs werden 504 wetenschappelijke artikelen in verschillende stijlen herschreven en beoordeeld door zes AI-modellen, waaronder GPT-5.5, Claude Sonnet 4.6 en Gemini 3.5 Flash. Er moesten kunstmatige, aangepaste versies van artikelen worden gemaakt om te voorkomen dat eigenaardigheden en ongewone kenmerken van echte inzendingen de resultaten zouden vertekenen:

Voorbeelden van dezelfde wetenschappelijke passage, herschreven in vier verschillende stijlen. De gekleurde markeringen geven wijzigingen aan die bedoeld zijn om de tekst meer of minder zelfverzekerd te laten klinken, of meer te laten lijken op academisch Engels van moedertaalsprekers of niet-moedertaalsprekers. De onderliggende bevindingen en cijfers blijven echter ongewijzigd. Bron

De artikelen waren afkomstig uit inzendingen voor de ICLR-conferentie van 2026, met evenveel geaccepteerde als afgewezen artikelen. Claude Opus 5 herschreef vervolgens elke inzending zodat die meer of minder zelfverzekerd klonk^†, terwijl de wetenschappelijke inhoud ongewijzigd bleef. Zo konden verschillen in de AI-beoordelingen worden toegeschreven aan de schrijfstijl, oftewel aan de mate van zelfvertrouwen die werd uitgedrukt.

Uit de resultaten bleek dat AI-beoordelaars hogere scores gaven aan wetenschappelijke artikelen die in zelfverzekerde bewoordingen waren geschreven, zelfs wanneer het bewijs identiek was. Claude Sonnet 4.6 vertoonde de sterkste vooringenomenheid en gaf de voorkeur aan zelfverzekerde versies zeven keer zo vaak als aan voorzichtige versies. In 21% van de gevallen adviseerde het model om een zelfverzekerd geformuleerd artikel te accepteren, terwijl het een voorzichtiger geformuleerde versie van hetzelfde artikel afwees.

In het nieuwe onderzoek staat:

‘Onze bevindingen roepen belangrijke zorgen op over het gebruik van LLM’s bij collegiale toetsing. Als inhoudelijk gelijkwaardige artikelen verschillende scores en argumenten in beoordelingen krijgen, uitsluitend vanwege taalkundige kenmerken, weerspiegelen de oordelen van beoordelaars niet uitsluitend de wetenschappelijke kwaliteit.

‘LLM-beoordelaars moeten daarom aan stresstests worden onderworpen met herschrijvingen die de inhoud behouden, om vast te stellen of taalkundige veranderingen hun beoordelingen systematisch beïnvloeden.’

De auteurs stellen verder voor om bij deze tests expliciet zowel de scores voor de artikelen als de schriftelijke beoordelingen te onderzoeken, om vast te stellen of zelfverzekerde taal wordt aangezien voor sterker wetenschappelijk bewijs.

Methode

In totaal werden 504 wetenschappelijke artikelen geselecteerd uit inzendingen voor de International Conference on Learning Representations (ICLR) van 2026. De steekproef bestond voor de helft uit geaccepteerde en voor de helft uit afgewezen artikelen; uit elk van de 21 onderzoekscategorieën van de conferentie werden 24 inzendingen geselecteerd:

De testmethode in drie fasen. Wetenschappelijke artikelen werden herschreven om de schijnbare beheersing van het Engels of de mate van zelfverzekerdheid te variëren, met behoud van de bevindingen. Voordat AI-beoordelaars de versies onder identieke omstandigheden beoordeelden, werd gecontroleerd of de stijl en betekenis waren veranderd; vervolgens werden de verschillen in beoordelingsscores vergeleken.

Elk artikel werd geanonimiseerd en herschreven met Claude Opus 5. Dit leverde alternatieve versies op waarmee zowel de mate van zelfverzekerdheid waarmee beweringen werden geformuleerd als de schijnbare beheersing van het Engels door de auteur kon worden onderzocht. Voor de tests rond zelfverzekerdheid werden uitspraken stelliger of juist voorzichtiger geformuleerd. Woorden die zekerheid uitdrukken, zoals ‘duidelijk’ en ‘zeker’, kwamen vaker voor in ‘zelfverzekerde’ versies, terwijl voorzichtiger formuleringen zoals ‘mogelijk’ en ‘suggereert’ de voorkeur kregen in behoedzamere versies.

In alle gevallen bleven de wetenschappelijke beweringen, het bewijsmateriaal, de resultaten, de technische terminologie en de algemene structuur ongewijzigd. De auteurs merken op dat de instructies voor het herschrijven waren gebaseerd op bestaand taalkundig onderzoek en niet op algemene verzoeken om specifieke schrijfstijlen na te bootsen.

De herschrijvingen controleren

Voor deze controles werd elke herschreven versie vergeleken met het origineel op basis van semantische overeenkomst, die beoordeelt of passages hun betekenis behouden, en TF-IDF-overeenkomst (die meet in hoeverre woordenschat en terminologie behouden blijven). Beide scores lagen dicht bij 1, wat bevestigt dat de versies sterk overeenkwamen met de originelen:

Controles van de herschreven artikelen. In de zelfverzekerde versies werd stelliger taal gebruikt, terwijl de voorzichtige versies meer onzekerheid uitdrukten. Scores dicht bij 1 bevestigen dat de versies sterk overeenkomen met de originelen; gekleurde markeringen geven voor elke onderzochte maatstaf de hogere waarden aan.

Er werden zes AI-beoordelaars getest: de propriëtaire modellen GPT-5.5, Claude Sonnet 4.6 en Gemini 3.5 Flash, en de open-weightmodellen Gemma 3, Qwen3 VL en GLM 4.7. Deze modellen werden mede geselecteerd omdat ze allemaal kennisafkapdatums van vóór 2026 hebben, waardoor het risico kleiner is dat ze vooraf kennis hadden van de acceptatiebeslissingen over de artikelen.

Elk herschreven artikel werd afzonderlijk beoordeeld aan de hand van richtlijnen in de stijl van een conferentie. Om vast te stellen in hoeverre scores bij herhaalde beoordelingen konden variëren, beoordeelde elk model tien willekeurig geselecteerde artikelen elk tien keer.

Resultaten

De uitgevoerde tests onderzochten of de zes geselecteerde AI-beoordelaars consequent de voorkeur zouden geven aan bepaalde schrijfstijlen. Ook vergeleken ze artikelen die waren geschreven in ‘zelfverzekerde’ of ‘voorzichtige’ taal en artikelen die leken op academisch Engels zoals dat wordt geschreven door moedertaalsprekers of niet-moedertaalsprekers^†.

Resultaten van de vergelijking van AI-beoordelingsscores voor 504 wetenschappelijke artikelen die in verschillende stijlen zijn herschreven. De percentages geven aan welke versie hoger scoorde; gelijke scores staan tussen haakjes. De verhoudingen laten zien hoeveel vaker de ene versie de voorkeur kreeg. Bij omslagen in de beslissing wordt aangegeven hoe vaak een wijziging in de formulering leidde tot een andere acceptatie- of afwijzingsbeslissing. Vetgedrukte statistische waarden duiden op significante verschillen. Het relevante gedeelte is het onderste, omdat de bovenste hypothese in dit artikel niet wordt behandeld (zie de voetnoten).

Alle zes AI-beoordelaars gaven consequent de voorkeur aan zelfverzekerde teksten. De sterkste voorkeur bleek bij Claude Sonnet 4.6, dat, zoals eerder vermeld, zeven keer zo vaak hogere scores toekende aan ‘zelfverzekerde’ versies als aan ‘voorzichtige’ versies.

Een artikel gold als geaccepteerd als de score 4,5 op 10 bereikte. Veranderingen in de schrijfstijl duwden hetzelfde artikel soms boven of onder deze grens, waardoor de beslissing omsloeg; deze omslagen vielen doorgaans uit in het voordeel van zelfverzekerd taalgebruik.

Claude Sonnet 4.6 presteerde bijzonder slecht: in 21% van de gevallen accepteerde het de ‘zelfverzekerde’ versie en wees het de ‘voorzichtige’ versie af. Het omgekeerde gebeurde in slechts 2,8% van de gevallen.

Het effect was ook zichtbaar in de schriftelijke beoordelingen: AI-beoordelaars prezen de methoden, theorieën en wetenschappelijke bijdragen van een artikel vaker als de beweringen zelfverzekerd waren geformuleerd. Omdat het onderzoek zelf niet was veranderd, konden deze positievere beoordelingen alleen worden toegeschreven aan verschillen in presentatie en toon.

Conclusie

Elke keer dat mensen AI gebruiken om (zij het onbedoeld) de signaal-ruisverhouding te verhogen, wordt AI beproefd als oplossing — in dit geval om het hoofd te bieden aan de enorme toename van inzendingen van onderzoeksartikelen over kunstmatige intelligentie; een golf die de poortwachtersmacht en parameters van Arxiv heeft vergroot. Inmiddels moet toch duidelijk zijn dat geavanceerde LLM’s, en alle niveaus daaronder, nog veel te veel eigenaardigheden vertonen om ze zonder meer als beoordelaars te vertrouwen, behalve in omstandigheden met zeer strikt vastgelegde parameters.

In zulke gevallen zou het waarschijnlijk beter zijn om kleinere LLM’s met behulp van finetuning of LoRA’s om te vormen tot specifieke beoordelingshulpmiddelen. Dat kost echter op zijn minst wat extra moeite, zo niet wat extra investering, terwijl lokale installaties met de standaardinstellingen of API-aanroepen sneller en relatief goedkoop zijn.

Dit nogal beknopt geschreven artikel kan niettemin van meer dan gemiddeld belang zijn voor de eindgebruiker van LLM’s, omdat die ‘enthousiasme’ al zal kennen als een struikelblok waar die omheen moet manoeuvreren om effectief met AI te kunnen werken; en als dit en soortgelijke problemen met LLM’s nog niet kunnen worden opgelost, kan er in elk geval rekening mee worden gehouden.

Voordat we al te spottend doen over dit soort simplistische gelijkstellingen bij de beoordeling van AI, is het goed om te bedenken dat deze systemen net zo de weg kwijt zijn als de rest van ons als het om epistemologie gaat — de zoektocht naar een onbetwistbare autoriteit; ook wij verwarren van oudsher vaak het signaal met de zaak zelf.

* Met de titel ‘Stijl boven inhoud? Taalkundige vertekening bij collegiale beoordeling op basis van LLM’s’

^† Of om te lijken op academisch Engels zoals dat door moedertaalsprekers of niet-moedertaalsprekers wordt geschreven — een parallelle hypothese die het artikel niet even overtuigend kon aantonen en die in dit artikel niet wordt behandeld.

Voor het eerst gepubliceerd op dinsdag 27 oktober 2026