AI-modeller foretrækker menneskeskrevet tekst til AI-genereret tekst

Ifølge ny forskning viser ChatGPT og lignende modeller nu en tydelig fordom mod tekst, som de tror er skrevet af mennesker, selv når denne antagelse er forkert. Bare ved at kalde teksten for “menneskeskabt” får AI-modellerne til at favorisere den – og ironisk nok kan de måske lære denne fordom af os.

Forestillingen om autenticitet, herkomst og fælles menneskelig erfaring kan have en større rol at spille i AI’s angreb på den kreative skrivebranche end det har været tydeligt indtil nu: tests, der er udført til en ny studie på Princeton, har fundet, at en række store lukkede og åbne sprogmodeller, herunder ChatGPT, foretrækker, hvad de tror er “menneskeskabt” tekster.

Even når mærkerne på skriveeksemplerne var omvendt, fortsatte både AI-modeller og menneskelige deltagere med at finde fejl i AI-teksten, og gentog de samme kritikpunkter, som de havde fremført, da den var korrekt mærket.

Forskerne mener, at en del af årsagen kan være, at den voksende menneskelige fjendtlighed over for generativ AI, som synes at manifestere nye og interessante begivenheder hver dag, kan være ved at føre tilbage i AI-systemerne selv. Forskerne bemærker, hvor meget AI-modellerne hadede AI-tekst endnu mere end mennesker, og de skriver*:

‘De 13 AI-modeller, vi testede, viste en 34,3 procentpoints fordom sammenlignet med menneskers 13,7 procentpoint, hvilket gjorde dem 2,5 gange mere modtagelige for attributionssignaler end vores menneskelige evaluatører.

‘Denne forstærkning giver mening, når vi erkender, at moderne modeller er præference-trænet evaluatører. Alignment-træning gennem Reinforcement Learning from Human Feedback (RLHF) lærer modellerne udtrykkeligt at behandle menneskelige vurderinger som deres guldstandard, hvilket effektivt installerer en lært pålidelighed [prior].

‘Modellerne lærer, at de bliver belønnet for at afstå til menneskelige præferencer, og skaber dermed en sycophantisk holdning, hvor de gentager de forventede brugerattituder i stedet for at give en uafhængig vurdering.’

Forskningsresultaterne gælder for den kreative skrivebranche, og forskerne har brugt historier fra en fremstående fransk forfatter som datasæt; og de indikerer, at den menneskelige fordom mod AI måske i sidste ende veje tungere end eventuelle kvantitative forbedringer i sprogkonstruktion, som Large Language Models (LLM’er) kan producere, når de udvikles – og at “AI”-mærket måske er ved at blive synonymt med “uægte”, “ersatz” og endda “sekundær” i denne branche.

Mange af årsagerne har at gøre med kulturel praksis og brug: artiklen angiver, at kreativitet ofte beskrives i termer af nytænkning, værdi og typiskhed, dvs. hvor ny noget synes at være; hvor meget det værdsættes af eksperter; og hvor godt det passer til sin kategori. Når en passage er mærket som menneskeskrevet, belønnes velkendte genremærker som værdifulde; når den er mærket som AI-genereret, forkastes de samme mærker som uoriginalt.

I virkeligheden udløser afsløringen af kilden en genevaluering af værkets fortjent, formet af antagelser om, hvordan det blev lavet. Når AI-forfatterskab afsløres, afviser læserne instinktivt muligheden for individuel opdagelse eller intention bag udsagnet.

Artiklen fastslår*:

‘I de fleste kunstarter findes der ingen guldstandard for “kreativt nok”, hvilket gør, at herkomstsignaler er kraftfulde primærer, der kan ændre, hvilken kriterium der føles mest påtrængende: disciplineret håndværk eller åbenlys nytænkning, tilgængelighed eller sværhedsgrad.

‘Fordi iagttagerne ofte slutter processen fra produktet, kan herkomstsignaler også påvirke vurderinger af, hvordan noget blev lavet, samt hvad det er: konservative træk kan blive tillagt som håndværk fra et menneske, men forkastet som “kun generation” fra en model’.

Tretten modeller, herunder varianter af ChatGPT, Claude, Gemini og Mistral, deltog sammen med menneskelige læsere, og alle vurderede historierne mere positivt, når de blev fortalt, at de var menneskeskabt, med LLM’er, der viste mere fordom end mennesker.

Idéen om, at AI-modeller kan have absorberet en fordom mod deres egen output, rejser spørgsmål om, hvor denne fordom stammer fra. Da AI-tekst ikke altid er let at identificere, stammer negative associationer, der dannes under træning, sandsynligvis fra eksempler, der er eksplicit mærket, enten gennem nyhedsdækning af AI-indhold eller selverklæret AI-genereret indhold i mainstream-publikationer.

Den nye artikel har titlen Alle foretrækker menneskelige forfattere, herunder AI og stammer fra to forfattere ved Princetons Center for Digital Humanities. Arbejdet ledsages af en relateret dataudgivelse på Zenodo (med en GitHub-udgivelse nævnt i artiklen, men repository ikke aktiv på tidspunktet for skrivningen).

Metode

For at undersøge, hvordan attribution påvirker og former opfattelser af stil og kreativitet, brugte forfatterne Exercices de style, et ekscentrisk værk fra 1947 af Raymond Queneau, der omskriver en enkel anekdote i 99 forskellige stilarter. Historien følger en mand, der står på en bus, diskuterer med en anden passager og senere modtager moderåd fra en ven.

Selv om det er litterært i oprindelse, forudser denne struktur prompt-baserede transformationer i moderne sprogmodeller, hvor brugerne anmoder om omskrivninger i bestemte toner, stemmer eller registre. Denne proces blev engang døbt transstylization – en ramme, der nu gentages i AI-forskning i sammenhæng med Style Transfer. Mens de fleste computermæssige metoder sigter mod funktionelle ændringer som følelsesændringer eller detoxifikation, sigter Queneaus omskrivninger mod bemærkelsesværdig stilistisk kontrast.

Fra en populær engelsk oversættelse af Queneaus værk blev 30 øvelser valgt, der bevarede historien, mens de dækkede et bredt stilistisk spektrum. Disse omfattede begrænsede former som alexandriner og lipogrammer, ændringer af register som ædel eller overgreb, fortællingsændringer som retrograd og tøven, og legende forvanskninger, der involverer spoonerismer, onomatopoei eller dog-latin:

Eksempler fra studiet, der viser, hvordan GPT-4 omskrev Queneaus historier i forskellige litterære stilarter, parret med stilbeskrivelserne, som menneskelige og AI-evaluatører så under testen. Kilde: https://arxiv.org/pdf/2510.08831

Da Queneaus eksperimenter er svære at klassificere, er disse kategorier kun omtrentlige grupperinger, og formålet er ikke at teste genkendelighed eller genre-overensstemmelse, men snarere at skabe diverse betingelser, under hvilke (menneskelige) læsere og modeller kan afsløre deres fordomme.

For at producere AI-forfatterne tilsvarende til hver stil, brugte forskerne bevidst minimalistiske prompts. Hver model fik den mest almindelige version af Queneaus anekdote (den første øvelse, Notation), sammen med en kort instruks om at omskrive den i en bestemt stil, f.eks. Omskriv historien som en science fiction-version. Denne tilgang gjorde det muligt for promptene at reflektere ånden i Queneaus originale transformationer, mens modellen stadig kunne fortolke stilen frit.

Dobbelt syn

Den første studie, der blev gennemført af forfatterne, brugte GPT-4o til at generere alle 30 stilvarianter, da det var den mest avancerede model til rådighed på det tidspunkt. Brugen af en enkelt model sikrede konsistente output, hvilket hjalp med at isolere effekten af attributionsmærker, som studiet søgte at teste.

Outputtet blev ikke redigeret for stil eller tone, bortset fra ramme-affald som Her er den omskrevne version.

I den anden studie blev generationsprocessen gentaget på tværs af 13 store sprogmodeller: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4, og Claude 3.5 Haiku.

Hver model fik de samme instrukser og producerede sine egne versioner af de 30 øvelser, hvilket resulterede i 420 omskrevne historier i alt. Dette gjorde det muligt for forskerne at teste, om attributions-effekten holdt på tværs af forskellige AI-forfattere, snarere end at være knyttet til en enkelt model.

Data og tests

Forskerne viste de samme par historier til forskellige grupper af mennesker, men ændrede mærkerne for at se, hvor meget navnet på forfatteren påvirkede meninger: en gruppe så ingen forfatternavne overhovedet, kun mærker ‘A’ og ‘B’. Den anden gruppe så de korrekte navne, med en version markeret som skrevet af et menneske, og den anden markeret som skrevet af GPT-4o.

En tredje gruppe så navnene omvendt, med ‘AI’-historien markeret som ‘menneske’, og ‘menneske’-versionen markeret som ‘AI’:

Oversigt over Studie 1. Menneskelige og AI-dommere sammenlignede 30 par historier, hver indeholdende en version skrevet af Queneau og en af GPT-4. Dommerne blev inddelt i tre grupper: en så ingen forfatternavne; en så de korrekte navne; og en så navnene omvendt – en opsætning designet til at teste, hvor meget forfatternavne påvirker meninger om skrivestil.

Studie 1

Forskerne delte de 30 skabte stilarter op i mindre sæt, hvor hver studie-deltager kun så fem stilarter, og hver stil blev testet under alle tre mærkeopsætninger.

Hver deltager så kun en mærkeopsætning: den blinde gruppe så ingen AI-nævnt; de andre grupper så enten korrekte eller omvendte forfatternavne. Gruppetilgang, historieorden og venstre-højre-placering var alle tilfældigt valgt.

AI-modellerne gennemgik den samme proces og fik den samme blanding af stilarter og den samme tilfældige områdeordning. Hver test blev kørt tre gange per model for at sikre, at resultaterne var konsistente, hvilket gjorde det muligt at sammenligne menneskelige og AI-reaktioner på forfatternavne.

Studie 2 brugte de samme tre mærkeopsætninger som før, men udvidede testen til at omfatte alle 420 historier, der var genereret fra de 14 forskellige LLM-modeller. Hver model bedømte hver historie under hver mærkeopsætning, hvilket resulterede i 1.260 beslutninger per model, og i alt 17.596 gyldige vurderinger:

Resultater fra Studie 1. AI- og menneskelige dommere viste begge fordom baseret på forfatternavne. Når ingen navne blev vist (Blind), var præferencer næsten lige; når korrekte navne blev vist (Open Label), foretrak begge grupper menneskeskrevne tekster; og når navnene var omvendt (Kontrafaktisk), skiftede begge grupper til at foretrække teksten, de troede var menneskeskrevet – og denne effekt var meget stærkere i AI-modeller end i mennesker. Fejlmarginerne viser 95% konfidensintervaller.

Over alle 13 modeller var mønsteret ens med menneskelig fordom, men var langt stærkere: med ingen navne, vurderede AI-systemer menneske- og AI-historier omtrent lige, og valgte AI-tekst 49,4% af tiden; når AI-mærket var synligt, faldt præferencen skarpt til 29,8%, hvilket viste en tydelig nedvurdering af anerkendt AI-arbejde; og når samme tekst var mærket som menneskeskrevet, steg præferencen til 64,1%.

Forskellen mellem de to mærkeopsætninger var 34,3%, hvilket betyder, at AI-modellerne ændrede deres præference meget mere end mennesker, når mærkerne blev omvendt. Yderligere var modellerne meget konsistente på tværs af gentagne kørsler, hvilket bekræftede, at fordommen var stabil snarere end tilfældig.

For at se, om fordommen skyldtes ordlyden af mærkerne snarere end, hvem der skrev teksten, kørte forskerne to yderligere tests: en brugte mærker, der gjorde AI til at lyde mere imponerende; og en anden brugte neutrale termer som ‘AI-forfattet’ og ‘Menneske-forfattet’.

Begge tests viste den samme fordom, og selv når AI-modellerne producerede det samme svar hver gang, bestod fordommen, hvilket indikerer, at fordommen skyldes mærketyperne (‘menneske’ eller ‘AI’), snarere end de præcise ord, der blev brugt.

Studie 2

Den anden studie fandt den samme pro-menneskelig fordom på tværs af alle 13 AI-modeller, uanset arkitektur eller leverandør:

Attributionsfordom for hver af de 13 AI-modeller: barer viser effektstørrelser med 95% konfidensintervaller, og den røde linje markerer menneske-basen. Alle modeller viste stærkere fordom end mennesker, med kun små forskelle mellem dem.

Hver model foretrak historier, der var mærket som menneskeskrevne, med stærkere effekter end set hos mennesker. Selv efter at have fjernet det mest ekstreme tilfælde, forblev den gennemsnitlige fordom mere end dobbelt så stor som den menneskelige version, hvilket antyder, at effekten ikke er en fejl i en enkelt model, men en fælles egenskab hos LLM’er i almindelighed.

Konklusion

Selv om tidligere studier har vist, at AI kan producere skrivning, der er lige så god eller endda bedre end menneskearbejde, understreger forfatterne, at i litteraturen er værdien, der tillægges forfatterskab og autenticitet, en gammel og dybt rodnet konvention:

‘Når GPT-4o Mini forkaster Queneaus “kreative og humoristiske” tilgang som “overdreven” under AI-attributionsmærket, mens den rosner ensartede træk under menneske-attributionsmærket, afslører den implicit, hvordan disse mærker udløser antagelser om, at ingen ægte psykologisk proces fandt sted.

‘Herkomstsignalerer smugler processen tilbage i, hvad der ellers kunne være en produkt-alene vurdering: “kun generation” føles acceptabelt fra et menneske (vurderet som dygtigt håndværk), men mistænkeligt fra en model (vurderet som algoritmisk kombination).’

LLM’er er endnu ikke pålidelige nok til usupervised faktuel forskning, selv om omhyggelig tilsyn kan stadig gøre dem produktive – men LLM-baseret kreativ skrivning kan møde en mere usikker fremtid, hvis AI-genererede kreative værker bliver stigmatiseret gennem bredere offentlig utilfredshed med AI’s indtrængen i menneskelige domæner, snarere end baseret på litterær værdi.

Konsekvenserne af resultaterne fra studier af denne type påvirkes betydeligt af virksomheders og enkeltpersoners villighed til at være ærlige om, hvorvidt AI har bidraget til deres output. I nogle tilfælde kan en uvilje til at indrømme sådant brug have mere at gøre med korporativ ophavsretspirateri end bekymring over, om offentligheden vil acceptere AI-genererede kreative værker.

Der er dog mulige løsninger, både juridiske, finansielle og politiske, omend meget udfordrende, i forhold til ophavsret. Om det nogensinde vil være muligt at få mennesker til at nyde kreativ AI-arbejde, der ikke har en enkelt og relaterbar menneskelig ånd bag det – det kan være en endnu større udfordring.

* Se kildeartiklen for udskårne inline-henvisninger. Disse vil blive inkluderet i artiklen efter behov.

Først udgivet mandag, den 13. oktober 2025