AI-modeller föredrar mänskligt skrivande framför AI-genererat skrivande

Enligt ny forskning visar ChatGPT och liknande modeller nu en tydlig bias mot text som de tror är skriven av människor, även när den tron är felaktig. Bara genom att kalla texten för “mänsklig” gör AI-modellerna mer benägna att föredra den – och ironiskt nog kan de lära sig denna fördom av oss.

Begrepp som äkthet, ursprung och delad mänsklig upplevelse kan ha en större roll i AI:s angrepp på den kreativa skrivsektorn än vad som har varit tydligt hittills: tester som utförts för en ny studie vid Princeton har visat att en mängd stora stängda och öppna källkods-språkmodeller, inklusive ChatGPT, föredrar vad de tror är “mänskligt genererad” text.

Även när etiketterna på skrivexemplaren var omvända, fortsatte både AI-modellerna och de mänskliga deltagarna att hitta fel i den AI-skrivna texten, och ekade samma kritik som de hade gjort när den var korrekt märkt.

Forskarna tror att en del av orsaken kan vara att den ökande mänskliga fientligheten mot generativ AI, som verkar manifestera nya och intressanta händelser varje dag, kan återkopplas tillbaka till AI-systemen själva. Med tanke på den utsträckning till vilken AI ogillar AI-skrivande ännu mer än människor, skriver de*:

‘De 13 AI-modellerna vi testade visade en bias på 34,3 procentenheter jämfört med människors 13,7 procentenheter, vilket gör dem 2,5 gånger mer mottagliga för attribut-signalerna än våra mänskliga utvärderare.

‘Denna förstärkning är logisk när vi erkänner att samtida modeller är utvärderare som tränats med förkärlek. Utbildning genom förstärkt inlärning från mänsklig återkoppling (RLHF) lär explicit modellerna att behandla mänskliga bedömningar som deras guldstandard, vilket i princip installerar en inlärdd tillförlitlighet [prior].

‘Modellerna lär sig att ge efter för mänskliga preferenser blir belönat, vilket skapar sycophancy där de ekar förväntade användarattityder snarare än att ge en oberoende bedömning.’

Fynden gäller den kreativa skrivdomänen, där forskarna använde berättelser från en framstående fransk författare som dataexempel; och de indikerar att mänsklig fördom mot AI kan, i balans, överväga någon kvantitativ förbättring i språkkonstruktion som stora språkmodeller (LLM) kan producera när de utvecklas – och att “AI”-etiketten kanske kommer att betyda “oäkta”, “ersättning” och till och med “andra klass”, i denna domän.

Många av orsakerna kretsar kring kulturell praxis och användning: artikeln indikerar att kreativitet ofta beskrivs i termer av nyhet, värde och typiskhet, dvs. hur ny något verkar; hur mycket det uppskattas av experter; och hur väl det passar sin kategori. När en passage är märkt som mänsklig, belönas bekanta genretypiska drag som värdefulla; när den är märkt som AI-genererad, avvisas samma drag som ooriginal.

I effekt, avslöjar källan en omvärdering av verkets förtjänst, formad av antaganden om hur det gjordes. När AI-författarskap avslöjas, avvisar läsare instinktivt möjligheten till individuell upptäckt eller avsikt bakom utdata.

Artikeln skriver*:

‘I de flesta konstformer finns det ingen guldstandard för “tillräckligt kreativ”, vilket gör ursprungs-signalerna kraftfulla primers som kan skifta vilket kriterium som känns mest påtagligt: disciplinerad hantverk eller iögonenfallande nyhet, tillgänglighet eller svårighet.

‘Eftersom observatörer ofta härleder processen från produkten, påverkar ursprunget bedömningar om hur något gjordes samt vad det är: konservativa drag kan tillskrivas hantverk från en människa men avvisas som “blott generation” från en modell’.

Tretton modeller, inklusive varianter av ChatGPT, Claude, Gemini och Mistral, deltog tillsammans med mänskliga läsare, med alla som betygsatte berättelserna mer fördelaktigt när de blev informerade om att de var mänskligt skapade, med LLM som visade mer bias än människor.

Tanken att AI-modeller kan ha absorberat en fördom mot sin egen utdata väcker frågor om var den biasen kommer ifrån. Eftersom AI-skrivande inte alltid är lätt att identifiera, kommer eventuella negativa associationer som bildas under utbildning sannolikt från exempel som är explicit märkta, antingen genom nyhetsbevakning av AI-innehåll eller självdeklarerade AI-genererade artiklar i etablerade publikationer.

Den nya artikeln har titeln Alla föredrar mänskliga författare, inklusive AI, och kommer från två författare vid Princetons Center for Digital Humanities. Arbetet åtföljs av en relaterad datarelease på Zenodo (med en GitHub-utgåva som citeras i artikeln, men repositoriet var inte aktivt vid tidpunkten för skrivande).

Metod

För att undersöka hur attribut påverkar och formar uppfattningar om stil och kreativitet, använde författarna Exercices de style, ett excentriskt verk från 1947 av Raymond Queneau som omskriver en enkel anekdot i 99 olika stilar. Berättelsen följer en man som kliver på en buss, bråkar med en annan passagerare och senare får modesråd från en vän.

Även om det har litterärt ursprung, förutsåg denna struktur prompt-baserade transformationer i moderna språkmodeller, där användare begär omskrivningar i specifika toner, röster eller register. Denna process kallades en gång transstylisering – en ram som nu ekas i AI-forskning i sammanhanget Style Transfer. Medan de flesta beräkningsmetoder riktar sig mot funktionella förändringar som sentimentförändringar eller avgift, syftar Queneaus omskrivningar till påtaglig stilistisk kontrast.

Från en populär engelsk översättning av Queneaus verk valdes trettio övningar ut som bevarade berättelsen medan de täckte ett brett stilistiskt spektrum. Dessa inkluderade begränsade former som alexandriner och lipogram, ändringar av register som ädla eller missbrukade, berättelseförändringar som retrograd och tveksamhet, och lekfulla förvrängningar som inbegrep spoonerismer, onomatopoei eller dog Latin:

Exempel från studien som visar hur GPT-4 omskrev Queneaus berättelser i olika litterära stilar, parat med stilbeskrivningarna som mänskliga och AI-utvärderare såg under testningen. Källa: https://arxiv.org/pdf/2510.08831

Eftersom Queneaus experiment är svåra att klassificera, är dessa kategorier endast ungefärliga grupperingar, med avsikten inte att testa igenkännlighet eller genre-överensstämmelse, utan snarare att skapa olika förhållanden under vilka (mänskliga) läsare och modeller kan avslöja sina fördomar.

För att producera AI-författade motstycken för varje vald stil, använde forskarna medvetet minimala promptrar. Varje modell fick den enklaste versionen av Queneaus anekdot (den första övningen, Notation), tillsammans med en kort instruktion att omskriva den i en specifik stil, som Omskriv berättelsen som en science fiction-version. Denna metod tillät promptrar som reflekterade andan i Queneaus ursprungliga transformationer, samtidigt som den tillät modellen att tolka stilen fritt.

Data och tester

Forskarna visade samma par berättelser för olika grupper av människor, men ändrade etiketterna för att se hur mycket författarens namn påverkade åsikter: en grupp såg inga författarnamn alls, bara etiketter ‘A’ och ‘B’. Den andra gruppen såg de korrekta namnen, med en version märkt som skriven av en människa, och den andra märkt som skriven av GPT-4o.

En tredje grupp såg namnen bytta, med ‘AI’-berättelsen märkt som ‘mänsklig’, och ‘mänsklig’ version märkt som ‘AI’:

Översikt av Studie 1. Mänskliga och AI-domare jämförde 30 par berättelser, var och en innehållande en version skriven av Queneau, och en av GPT-4. Domarna delades in i tre grupper: en såg inga författaretiketter; en såg de korrekta etiketterna; och en såg etiketterna bytta – en uppsättning designad för att testa i vilken utsträckning författarnamn påverkar åsikter om skrivstil.

Studie 1

Forskarna delade de 30 skapade stilarna i mindre uppsättningar, med varje studiedeltagare som såg bara fem stilar, och varje stil testades under alla tre etikettuppsättningar.

Varje deltagare såg bara en etikettuppsättning: den blinda gruppen såg ingen nämnande av AI, medan de andra grupperna såg antingen korrekta eller omvända författaretiketter. Gruppanslutning, berättelseordning och vänster-högerplacering var alla slumpmässigt valda.

AI-modellerna gick igenom samma process, och fick samma blandning av stilar och samma slumpmässiga omrörning. Varje test kördes tre gånger per modell för att säkerställa att resultaten var konsekventa, vilket möjliggjorde en jämförelse mellan mänskliga och AI-reaktioner på författaretiketterna.

Studie 2 använde samma tre etikettuppsättningar som tidigare, men utvidgade testet till att omfatta alla 420 berättelser genererade från de 14 olika LLM-modellerna. Varje modell bedömde varje berättelse under varje etikettförhållande, och producerade 1 260 beslut per modell, och resulterade i 17 596 giltiga utvärderingar:

Resultat från Studie 1. AI- och mänskliga domare visade båda bias baserat på författaretiketter. När inga etiketter visades (Blind), var preferenser nära jämna; när korrekta etiketter visades (Öppen etikett), föredrog båda grupperna den mänskligt skrivna texten; och när etiketterna byttes (Kontrafaktisk), bytte båda grupperna till att föredra texten de trodde var mänsklig – och denna effekt var mycket starkare i AI-modeller än i människor. Felstaplar visar 95-procentiga konfidensintervall.

Över alla tretton modeller, matchade mönstret mänsklig bias, men var mycket starkare: utan etiketter, bedömde AI-system mänskliga och AI-berättelser ungefär lika, och valde AI-texten 49,4 procent av tiden; när AI-etiketten var synlig, sjönk den preferensen skarpt till 29,8 procent, vilket visade en tydlig avvärdering av erkänt AI-arbete; och när samma text var märkt som mänsklig, steg preferensen till 64,1 procent.

Skillnaden mellan de två etikettförhållandena var 34,3 procent, vilket innebär att AI-modellerna ändrade sin preferens mycket mer än människor gjorde när etiketterna byttes. Dessutom var modellerna mycket konsekventa över upprepade körningar, vilket bekräftade att biasen var stabil snarare än slumpmässig.

För att kontrollera om biasen orsakades av etikettens formulering snarare än vem som skrev texten, körde forskarna två ytterligare tester: ett använde etiketter som gjorde AI låta mer imponerande; och det andra använde neutrala termer som ‘AI-författad’ och ‘Mänsklig-författad’.

Båda visade samma bias, och även när AI-modellerna producerade samma svar varje gång, bestod biasen., vilket indikerar att biasen orsakas av etiketttypen (‘mänsklig’ eller ‘AI’), snarare än av de exakta orden som används.

Studie 2

Den andra studien fann samma pro-mänsklig bias över alla 13 AI-modeller, oavsett arkitektur eller leverantör:

Attribut-bias för var och en av de 13 AI-modellerna: staplar visar effektstorlekar med 95-procentiga konfidensintervall, och den röda linjen markerar den mänskliga baslinjen. Alla modeller visade en starkare bias än människor, med bara små skillnader mellan dem.

Varje modell föredrog berättelser som var märkta som mänskligt skrivna, med starkare effekter än vad som ses hos människor. Även efter att ha tagit bort det mest extrema fallet, förblev den genomsnittliga biasen mer än dubbelt så stor som den mänskliga versionen, vilket tyder på att effekten inte är ett fel i en modell, utan en gemensam egenskap hos LLM-modeller i allmänhet.

Slutsats

Även om tidigare studier har visat att AI kan producera skrivande som är lika bra eller till och med bättre än mänskligt arbete, betonar författarna att i litteraturen, det värde som läggs på författarskap och äkthet är en gammal och djupt rotad konvention:

‘När GPT-4o Mini avvisar Queneaus “kreativa och humoristiska” tillvägagångssätt som “överdrivet” under AI-attributet, medan den berömmer identiska funktioner under mänsklig attribuering, avslöjar den implicit hur dessa etiketter utlöser antaganden om att ingen äkta psykologisk process inträffade.

‘Ursprungs-signalerna smuglar processen tillbaka till vad som annars kunde vara en produktbaserad bedömning: “blott generation” känns acceptabelt från en mänsklig hantverkare (bedömd som skickligt hantverk), men misstänkt från en modell (bedömd som algoritmisk omkombination).’

LLM-modeller är ännu inte tillräckligt tillförlitliga för oövervakad faktabaserad forskning, även om noggrann tillsyn fortfarande kan göra dem produktiva – men LLM-baserad kreativ skrivning kan möta en mer osäker framtid, om AI-genererade kreativa verk blir stigmatiserade genom en mer omfattande allmän ogillande av AI:s intrång på mänskliga domäner, snarare än baserat på litterärt värde.

Implikationerna av resultaten från studier av detta slag påverkas avsevärt av företags och enskilda användares benägenhet att vara ärliga om huruvida AI bidragit till deras utdata. I vissa fall kan en ovilja att medge sådan användning ha mer att göra med korporativ upphovsrättsintrång än oro över om allmänheten kommer att acceptera AI-genererade kreativa verk.

Men juridiska, finansiella och politiska lösningar är möjliga (även om de är mycket utmanande) när det gäller upphovsrätt. Om man någonsin kan göra människor njuta av kreativt AI-arbete som inte har någon enskild och relaterbar mänsklig hjärna som driver det – det kan vara en ännu tuffare utsikt.

* Vänligen se källartikeln för exciderade inline-citat. Om nödvändigt kommer dessa att inkluderas i artikeln.

Publicerad första gången måndag, 13 oktober 2025