AI-modellen geven de voorkeur aan menselijke schrijfstijl boven AI-gegenereerde schrijfstijl

Volgens nieuw onderzoek vertonen ChatGPT en soortgelijke modellen een duidige voorkeur voor tekst die zij menen door mensen te zijn geschreven, zelfs wanneer die overtuiging onjuist is. Alleen al door tekst te labelen als ‘door mensen gemaakt’ disposeert men AI-modellen ertoe deze te bevorchten – en ironisch genoeg kunnen zij deze vooroordeel mogelijk van ons leren.

Noties van authenticiteit, herkomst en gedeelde menselijke ervaring kunnen een grotere rol spelen in de aanval van AI op de creatieve schrijfsector dan tot nu toe duidelijk was: tests die zijn uitgevoerd voor een nieuwe studie aan Princeton hebben aangetoond dat een reeks belangrijke gesloten en open source-taalmodellen, waaronder ChatGPT, de voorkeur geven aan wat zij menen te zijn ‘door mensen gegenereerde’ teksten.

Zelfs wanneer de labels op de schrijfmonsters omgekeerd werden, bleven zowel AI-modellen als menselijke deelnemers fouten vinden in de AI-gegenereerde tekst, waarbij zij dezelfde kritiek herhaalden die zij hadden geuit toen deze correct was gelabeld.

De onderzoekers denken dat een deel van de reden kan zijn dat de groeiende menselijke vijandigheid tegenover generatieve AI, die elke dag nieuwe en interessante gebeurtenissen lijkt te manifesteren, kan terugkomen in de AI-systemen zelf. Zij merken op dat AI meer hekel heeft aan AI-schrijfstijl dan mensen, en stellen*:

‘De 13 AI-modellen die wij hebben getest, vertoonden een voorkeursverschil van 34,3 procentpunten in vergelijking met de 13,7 procentpunten van de mensen, waardoor zij 2,5 keer gevoeliger waren voor toeschrijvingsaanwijzingen dan onze menselijke beoordelaars.

‘Deze versterking is logisch zodra wij erkennen dat hedendaagse modellen zijn getraind als voorkeursbeoordelaars. Aligneringstraining door middel van Reinforcement Learning from Human Feedback (RLHF) leert modellen expliciet om menselijke oordelen als hun gouden standaard te behandelen, waardoor een geleerde betrouwbaarheid [prior] wordt geïnstalleerd.

‘Modellen leren dat het opvolgen van menselijke voorkeuren wordt beloond, waardoor sycophantie ontstaat waarbij zij de verwachte gebruikershoudingen herhalen in plaats van een onafhankelijke beoordeling te geven.’

De resultaten zijn van toepassing op het domein van creatief schrijven, waarbij de onderzoekers verhalen van een bekende Franse auteur hebben gebruikt als gegevensmonsters; en zij geven aan dat de menselijke vooroordeel tegen AI mogelijk in de balans zwaarder weegt dan enige kwantitatieve verbetering in taalconstructie die Large Language Models (LLM’s) kunnen produceren naarmate zij evolueren – en dat het ‘AI’-label mogelijk komt te betekenen ‘onecht’, ‘ersatz’ en zelfs ‘tweede klas’, in dit domein.

Veel van de redenen hebben te maken met culturele praktijk en gebruik: het artikel geeft aan dat creativiteit vaak wordt beschreven in termen van nieuwheid, waarde en typiciteit, d.w.z. hoe nieuw iets lijkt; hoeveel het door experts wordt gewaardeerd; en hoe goed het past in zijn categorie. Wanneer een passage is gelabeld als door mensen geschreven, worden vertrouwde genre-eigenschappen als waardevol beloond; wanneer het is gelabeld als AI-gegenereerd, worden dezelfde eigenschappen als onorigineel afgewezen.

In feite roept het onthullen van de bron een herbeoordeling van de waarde van het werk op, gevormd door aannamen over hoe het is gemaakt. Zodra de AI-auteurschap wordt onthuld, wijzen lezers instinctief de mogelijkheid van individuele ontdekking of intentie achter de output af.

Het artikel stelt*:

‘In de meeste kunsten is er geen gouden standaard voor “creatief genoeg”, waardoor herkomstsignalen krachtige primes zijn die kunnen verschuiven welk criterium het meest relevant lijkt: gedisciplineerde ambacht of opvallende nieuwheid, toegankelijkheid of moeilijkheid.

‘Omdat waarnemers vaak het proces afleiden uit het product, duwen herkomstsignalen oordelen over hoe iets is gemaakt, evenals wat het is: conservatieve bewegingen kunnen worden toegeschreven als ambacht van een mens, maar afgewezen als “louter generatie” van een model’.

Dertien modellen, waaronder varianten van ChatGPT, Claude, Gemini en Mistral, namen deel naast menselijke lezers, die alle verhalen gunstiger beoordeelden wanneer hun werd verteld dat ze door mensen waren gemaakt, waarbij LLM’s meer vooroordeel vertoonden dan mensen.

Het idee dat AI-modellen mogelijk een vooroordeel tegen hun eigen output hebben opgenomen, roept vragen op over de herkomst van die vooroordeel. Aangezien AI-schrijfstijl niet altijd gemakkelijk te identificeren is, zijn eventuele negatieve associaties die tijdens de training zijn gevormd, waarschijnlijk afkomstig van voorbeelden die expliciet zijn gelabeld, hetzij door nieuwsberichtgeving over AI-inhoud, hetzij door zelfverklaarde AI-gegenereerde artikelen in mainstream-publicaties.

Het nieuwe artikel heeft als titel Iedereen geeft de voorkeur aan menselijke schrijvers, inclusief AI en komt van twee schrijvers van het Center for Digital Humanities van Princeton. Het werk wordt vergezeld van een gerelateerde gegevensrelease op Zenodo (met een GitHub-release die in het artikel wordt genoemd, maar de repo was niet actief op het moment van schrijven).

Methode

Om te onderzoeken hoe toeschrijving de perceptie van stijl en creativiteit beïnvloedt en vormt, gebruikten de auteurs Exercices de style, een excentrieke werk uit 1947 van Raymond Queneau dat een eenvoudig anekdote op 99 verschillende manieren herschrijft. Het verhaal gaat over een man die op een bus stapt, ruzie maakt met een andere passagier en later mode-advies krijgt van een vriend.

Hoewel het literair van oorsprong is, voorziet deze structuur de prompt-gebaseerde transformaties in moderne taalmodellen, waarbij gebruikers herschrijvingen in specifieke tonen, stemmen of registers aanvragen. Dit proces werd ooit gedoopt transstylisatie – een kader dat nu wordt weerspiegeld in AI-onderzoek in de context van Style Transfer. Terwijl de meeste computationele methoden functionele veranderingen zoals sentimentverschuivingen of detoxificatie als doel hebben, zijn Queneau’s herschrijvingen gericht op opvallende stilistische contrasten.

Uit een populaire Engelse vertaling van Queneau’s werk werden dertig oefeningen geselecteerd die het verhaal behielden en een breed stilistisch bereik besloegen. Deze omvatten beperkte vormen zoals alexandrines en lipogrammen, registerwijzigingen zoals edel of beledigend, verhaalverschuivingen zoals retrograde en aarzeling, en speelse vertekeningen met behulp van spoonerismen, onomatopeeën of dog Latin:

Voorbeelden uit de studie die laten zien hoe GPT-4 Queneau’s verhalen in verschillende literaire stijlen herschreef, gekoppeld aan de stijlbescrijvingen die menselijke en AI-beoordelaars tijdens de testen zagen. Bron: https://arxiv.org/pdf/2510.08831

Aangezien Queneau’s experimenten moeilijk te classificeren zijn, zijn deze categorieën slechts benaderende groeperingen, met als doel niet om herkenbaarheid of genre-conformiteit te testen, maar om diverse omstandigheden te creëren waaronder (menselijke) lezers en modellen hun vooroordelen kunnen laten zien.

Om AI-gegenereerde tegenhangers voor elke geselecteerde stijl te produceren, gebruikten de onderzoekers opzettelijk minimale prompts. Elk model kreeg de meest basale versie van Queneau’s anekdote (de openings-oefening, Notatie), samen met een korte instructie om deze opnieuw te schrijven in een specifieke stijl, zoals Schrijf het verhaal opnieuw als een sciencefictionversie. Deze aanpak stelde de modellen in staat om prompts te interpreteren die de geest van Queneau’s oorspronkelijke transformaties weerspiegelden, terwijl ze nog steeds de vrijheid hadden om de stijl op hun eigen manier te interpreteren.

Dubbele Visie

De eerste studie die door de auteurs werd uitgevoerd, gebruikte GPT-4o om alle dertig stijlvarianten te genereren, aangezien dit het meest geavanceerde model was dat op dat moment beschikbaar was. Het gebruik van één model zorgde voor consistente uitvoer, waardoor het effect van toeschrijvingslabels kon worden geïsoleerd, wat de studie wilde testen.

De uitvoer werd niet bewerkt voor stijl of toon, behalve voor framing-cruft zoals Hier is de herschreven versie.

In de tweede studie werd het generatieproces herhaald over dertien grote taalmodellen: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4, en Claude 3.5 Haiku.

Elk model ontving dezelfde instructies en produceerde zijn eigen versies van de dertig oefeningen, waardoor 420 herschreven verhalen in totaal ontstonden. Dit stelde de onderzoekers in staat om te testen of toeschrijvings-effecten golden voor verschillende AI-auteurs, in plaats van alleen voor één model.

Gegevens en Testen

De onderzoekers toonden dezelfde paren verhalen aan verschillende groepen mensen, maar veranderden de labels om te zien hoeveel de naam van de auteur de meningen beïnvloedde: één groep zag geen auteursnamen, alleen labels ‘A’ en ‘B’. De tweede groep zag de juiste namen, met één versie gemarkeerd als geschreven door een mens, en de andere gemarkeerd als geschreven door GPT-4o.

Een derde groep zag de namen omgewisseld, met het ‘AI’-verhaal gemarkeerd als ‘mens’, en het ‘menselijke’ verhaal gemarkeerd als ‘AI’:

Overzicht van Studie 1. Menselijke en AI-beoordelaars vergeleken 30 paren verhalen, elk met een versie geschreven door Queneau en één door GPT-4. Beoordelaars werden verdeeld in drie groepen: één zag geen auteurslabels; één zag de juiste labels; en één zag de labels omgewisseld – een opzet bedoeld om de mate te testen waarin auteursnamen de meningen over schrijfstijl beïnvloeden.

Studie 1

De onderzoekers splitsten de 30 gecreëerde stijlen in kleinere sets, waarbij elke studie-deelnemer slechts vijf stijlen zag, en elke stijl onder alle drie label-opstellingen werd getest.

Elke deelnemer zag slechts één label-opstelling: de blinde groep zag geen vermelding van AI, terwijl de andere groepen óf de juiste óf de omgekeerde auteurslabels zagen. Groeps-toewijzing, verhaalvolgorde en linker-rechterplaatsing waren allemaal gerandomiseerd.

De AI-modellen gingen door hetzelfde proces, waarbij zij dezelfde mix van stijlen en dezelfde willekeurige schikking ontvingen. Elke test werd drie keer per model uitgevoerd om ervoor te zorgen dat de resultaten consistent waren, waardoor het mogelijk was om menselijke en AI-reacties op de auteurslabels te vergelijken.

Studie 2 gebruikte dezelfde drie label-opstellingen als eerder, maar breidde de test uit tot alle 420 verhalen die waren gegenereerd uit de eerder genoemde 14 verschillende LLM-modellen. Elk model beoordeelde elk verhaal onder elke label-opstelling, waardoor 1.260 beslissingen per model ontstonden, en resulteerde in 17.596 geldige beoordelingen:

Resultaten van Studie 1. AI- en menselijke beoordelaars vertoonden beide vooroordeel op basis van auteurslabels. Toen geen labels werden getoond (Blind), waren de voorkeuren nagenoeg gelijk; toen de juiste labels werden getoond (Open Label), gaven beide groepen de voorkeur aan de door mensen geschreven tekst; en toen de labels werden omgewisseld (Counterfactual), schakelden beide groepen over naar het bevorchten van de tekst die zij dachten dat door mensen was geschreven – en dit effect was veel sterker in AI-modellen dan in mensen. Foutbalken geven 95% betrouwbaarheidsintervallen aan.

Over alle dertien modellen heen, volgde het patroon het menselijke vooroordeel, maar was het veel sterker: zonder labels gaven AI-systemen de voorkeur aan menselijke en AI-verhalen ongeveer gelijk, waarbij zij 49,4% van de tijd voor AI-tekst kozen; toen het AI-label zichtbaar was, daalde die voorkeur scherp tot 29,8%, wat een duidelijke devaluatie van erkende AI-werk aangaf; en toen dezelfde tekst werd gelabeld als menselijk, steeg de voorkeur tot 64,1%.

Het verschil tussen de twee label-omstandigheden was 34,3%, wat betekent dat de AI-modellen hun voorkeur veel meer veranderden dan mensen toen de labels werden omgewisseld. Bovendien waren modellen zeer consistent over herhaalde runs heen, waardoor werd bevestigd dat het vooroordeel stabiel was in plaats van willekeurig.

Om te controleren of het vooroordeel werd veroorzaakt door de woordkeuze van de labels in plaats van door wie de tekst had geschreven, voerden de onderzoekers twee extra tests uit: één gebruikte labels die de AI meer indrukwekkend maakten; en de andere gebruikte neutrale termen zoals ‘AI-gegenereerd’ en ‘door mensen gegenereerd’.

Beide tests toonden hetzelfde vooroordeel, en zelfs toen de AI-modellen hetzelfde antwoord elke keer produceerden, bleef het vooroordeel bestaan, wat aangaf dat het vooroordeel werd veroorzaakt door het type label (‘mens’ of ‘AI’), in plaats van door de exacte woorden die werden gebruikt.

Studie 2

De tweede studie vond hetzelfde pro-menselijke vooroordeel over alle 13 AI-modellen heen, ongeacht architectuur of aanbieder:

Toeschrijvingsvooroordeel voor elk van de 13 AI-modellen: balken geven effectgroottes aan met 95% betrouwbaarheidsintervallen, en de rode lijn markeert de menselijke baseline. Alle modellen vertoonden een sterker vooroordeel dan mensen, met slechts kleine verschillen tussen hen.

Elk model gaf de voorkeur aan verhalen die als door mensen geschreven waren gelabeld, met sterkere effecten dan bij mensen werden gezien. Zelfs nadat het meest extreme geval was verwijderd, bleef het gemiddelde vooroordeel meer dan twee keer zo groot als de menselijke versie, wat suggereert dat het effect niet een fout in één model is, maar een gedeeld kenmerk van LLM’s in het algemeen.

Conclusie

Hoewel, zoals het artikel opmerkt, eerdere studies hebben aangetoond dat AI gelijkwaardige of zelfs betere schrijfstijl kan produceren dan menselijke werken, benadrukken de auteurs dat in de literatuur de waarde die wordt gehecht aan auteurschap en authenticiteit een oude en diepgewortelde conventie is:

‘Wanneer GPT-4o Mini Queneau’s “creatieve en humoristische” aanpak als “geëxaggererd” afwijst onder het AI-attribuut, maar identieke kenmerken prijst onder menselijke attributie, onthult het impliciet hoe deze labels aannamen triggeren dat geen authentiek psychologisch proces heeft plaatsgevonden.

‘Herkomstsignalen smokkelen het proces terug in wat anders een product-only-oordeel zou kunnen zijn: “louter generatie” voelt acceptabel aan van een menselijke ambachtsman (beoordeeld als vaardig ambacht), maar verdacht van een model (beoordeeld als algoritmische recombinatie).’

LLM’s zijn nog niet betrouwbaar genoeg voor onbegeleide feit-gebaseerde onderzoeken, hoewel zorgvuldige toezicht ze nog steeds productief kan maken – maar LLM-gebaseerde creatief schrijven kan een onzekerder toekomst tegemoet zien, mochten AI-gegenereerde creatieve werken worden gestigmatiseerd door bredere openbare afkeuring van AI’s inbreuk op menselijke domeinen, in plaats van op basis van literaire verdienste.

De implicaties van de resultaten van dergelijke studies worden aanzienlijk beïnvloed door de houding van bedrijven en individuele gebruikers om openhartig te zijn over het al dan niet gebruik van AI bij hun output. In sommige gevallen kan een onwil om een dergelijk gebruik te erkennen meer te maken hebben met corporate copyright-piraterij dan met bezorgdheid over of het publiek AI-gegenereerde creatieve werken zal accepteren.

Hoewel juridische, financiële en politieke oplossingen mogelijk zijn (hoewel zeer uitdagend) met betrekking tot auteursrechten, is het de vraag of men ooit mensen kan laten genieten van creatief AI-werk dat geen enkel relatievermogen menselijke geest achter zich heeft – dat kan een nog moeilijker perspectief zijn.

* Verwijzing naar het bronartikel voor weggelaten inline-citaten. Zo nodig worden deze in het artikel opgenomen.

Eerst gepubliceerd op maandag 13 oktober 2025