AI-mallit suosivat ihmisten kirjoittamia tekstejä AI: n tuottamiin teksteihin

Uuden tutkimuksen mukaan ChatGPT ja vastaavat mallit osoittavat nyt selvää vinoutta tekstien suhteen, joita ne uskovat olevan kirjoitettu ihmisvoimin, vaikka usko on väärä. Pelkästään kutsumalla tekstiä “ihmisen tekemäksi” AI-mallit suosivat sitä – ja ironisesti ne saattavat oppia tämän esityön meiltä.

Aidosti, alkuperä ja jaettu ihmiskokemus saattavat olla tärkeämmässä roolissa AI: n hyökkäyksessä luovan kirjoittamisen alalla kuin mitä on aiemmin oletettu: Princetonissa tehdyn uuden tutkimuksen testeissä suuri joukko suuria suljettuja ja avoimia lähdekoodin kielen malleja, mukaan lukien ChatGPT, suosivat sellaisia tekstejä, joita ne uskoivat olevan “ihmisen kirjoittamia”.

Vaikka tekstien tunnistetarra oli väärä, sekä AI-mallit että ihmiset jatkoivat AI-tekstin moittimista, toistellen samat kritiikit, jotka he olivat aiemmin esittäneet, kun se oli oikein merkitty.

Tutkijat uskovat, että osasyynä saattaa olla, että kasvava ihmisten vihamielisyys generatiivista AI: ta kohtaan, joka näyttää ilmenevän uusina ja mielenkiintoisina tapahtumina joka päivä, saattaa vaikuttaa takaisin itse AI-järjestelmiin. Huomauttaen, kuinka paljon AI ei pidä AI-teksteistä enemmän kuin ihmiset, he toteavat*:

‘Testaamistamme 13 AI-mallista osoitti 34,3 prosenttiyksikön vinoutta verrattuna ihmisten 13,7 prosenttiyksikköön, mikä tekee niistä 2,5 kertaa herkempiä attribuutti-merkkien suhteen kuin ihmisen arvioitsijamme.

‘Tämä vahvistus on järkevää, kun tunnustamme, että nykyiset mallit ovat mieltymyksellisiä arvioitsijoita. Suuntautumisopetus ihmisten palautteen kautta (RLHF) opettaa mallit käsittelemään ihmisten tuomioita kultakaluna, asentamalla oppimisen luotettavuuden [aikaisemman].

‘Mallit oppivat, että ihmisten mieltymyksiin mukautuminen palkitaan, luomalla sycophancya, jossa ne toistavat odotettuja käyttäjän asenteita sen sijaan, että antaisivat riippumattoman arvion.’

Löydökset koskevat luovan kirjoittamisen alaa, ja tutkijat käyttivät ranskalaisen kirjailijan tarinoita datanäytteinä; ja ne osoittavat, että ihmisten esitys AI: ta vastaan saattaa olla suurempi kuin mitä suurten kielen mallien (LLM) kvantitatiivinen parannus kielen rakenteessa voi tuottaa, kun ne kehittyvät – ja että “AI”-merkintä saattaa tulla tarkoittamaan “epäaidosti”, “ersatz” ja jopa “toissijainen” tässä alalla.

Monet syistä liittyvät kulttuuriseen käytäntöön ja käyttöön: artikkeli osoittaa, että luovuutta usein kuvataan uutuuden, arvon ja tyypillisen, ts. kuinka uusi jokin on; kuinka paljon sitä arvostetaan asiantuntijoiden toimesta; ja kuinka hyvin se sopii luokkaansa. Kun teksti on merkitty “ihmisen kirjoittamaksi”, tutut genre-ominaisuudet palkitaan arvokkaina; kun se on merkitty “AI: n tuottamaksi”, samat ominaisuudet hylätään alkuperättöminä.

Käytännössä tekstin lähde paljastaa uudelleenarvioinnin teoksen ansioista, joka muotoillaan oletuksilla siitä, miten se tehtiin. Kun AI:n kirjoittajuus paljastetaan, lukijat viettävät luonnostaan mahdollisuuden yksilöllisestä löytämisestä tai aikomuksesta tekstin tuottamiseen.

Artikkeli toteaa*:

‘Useimmissa taiteissa ei ole kultakalua “tarpeeksi luovasta”, mikä tekee alkuperän merkit voimallisiksi, jotka voivat siirtää, kumpi kriteeri tuntuu tärkeimmältä: kurinalainen käsityö tai ilmiselvä uutuus, saavutettavuus vai vaikeus.

‘Havainnoitsijat usein johtavat prosessia tuotteesta, alkuperä vaikuttaa tuomioihin siitä, miten jokin on tehty, sekä siitä, mitä se on: konservatiiviset liikkeet voidaan antaa craft-merkinnän kautta ihmiseltä, mutta hylätä “pelkästään generoimisena” mallilta.’

Kolmetoista mallia, mukaan lukien ChatGPT:n variantit, Claude, Gemini ja Mistral, osallistuivat rinnakkain ihmisten lukijoiden kanssa, ja kaikki arvioivat tarinat myönteisemmin, kun heille kerrottiin, että ne olivat ihmisten kirjoittamia, ja LLM: t osoittivat enemmän vinoutta kuin ihmiset.

Se, että AI-mallit saattavat olla omaksuneet esityön omia tuotteitaan vastaan, herättää kysymyksiä siitä, mistä tämä vinous syntyy. Koska AI-teksti ei aina ole helppo tunnistaa, kielteiset yhdistelmät, jotka muodostuvat koulutuksen aikana, johtuvat todennäköisesti esimerkeistä, jotka on nimenomaisesti merkitty, joko uutisoinnin kautta AI-sisällöstä tai itseilmoitettujen AI: n tuottamien artikkeleiden kautta valtavirtamediajulkaisuissa.

Uusi artikkeli on otsikoitu Jokainen suosii ihmiskirjailijoita, myös AI, ja se on kahdelta kirjoittajalta Princetonin Center for Digital Humanites -yksiköstä. Työ on saatavilla Zenodo -tietokannassa (GitHub-julkaisu mainitaan artikkelissa, mutta repo ei ollut aktiivinen kirjoittamishetkellä).

Menetelmä

Tutkijat käyttivät Exercices de style -teosta, joka on erikoinen teos vuodelta 1947, jonka Raymond Queneau on kirjoittanut uudelleen yksinkertaisen anekdootin 99: ssä eri tyylissä. Tarina seuraa miestä, joka nousee bussiin, riitailee toisen matkustajan kanssa ja myöhemmin saa muotineuvontaa ystävältään.

Vaikka kirjallinen alkuperä on peräisin kirjallisuudesta, tämä rakenne ennakoi modernien kielen mallien pyynnön perusteella muokattuja muunnelmia, joissa käyttäjät pyytävät uudelleenkirjoituksia tietyssä sävyssä, äänellä tai rekisterissä. Tätä prosessia kutsuttiin aikoinaan transstylization -nimellä – kehys, jota nyt toistetaan AI-tutkimuksessa Style Transfer -yhteydessä. Vaikka useimmat laskennalliset menetelmät keskittyvät toiminnallisiin muutoksiin, kuten mielentilaan tai puhdistamiseen, Queneau’n uudelleenkirjoitukset pyrkivät merkittäviin tyylieroihin.

Queneau’n teoksesta valittiin suosittu englanninkielinen käännös, josta valittiin 30 harjoitusta, jotka säilyttivät kerronnan ja kattoivat laajan tyylien kirjon. Niihin kuului rajoitettuja muotoja, kuten alexandrines ja lipograms, rekisterin muutoksia, kuten noble tai abusive, kerronnallisia siirtymiä, kuten retrograde ja hesitation, sekä leikkisiä vääristymiä, jotka liittyvät spoonerismin, onomatopoeettisen tai dog Latin -kieleen:

Tutkimuksesta olevat esimerkit, joissa GPT-4 uudelleenkirjoitti Queneau’n tarinoita eri kirjallisissa tyyleissä, parittain ihmisten ja AI-arvioijoiden näkemien tyylien kuvausten kanssa. Lähde: https://arxiv.org/pdf/2510.08831

Koska Queneau’n kokeet ovat vaikeita luokitella, nämä luokat ovat vain likimääräisiä ryhmittelyjä, ja tarkoituksena ei ole testata tunnistettavuutta tai genre-yhdenmukaisuutta, vaan luoda monipuolisia olosuhteita, joissa (ihmisten) lukijat ja mallit voivat paljastaa omat vinoutensa.

Jokainen malli sai yksinkertaisen version Queneau’n anekdootista (avausharjoitus, Notation) yhdessä lyhyen ohjeen kanssa, jossa pyydettiin uudelleenkirjoittamaan se tietyssä tyylissä, kuten Rewrite the story as a science fiction version. Tämä lähestymistapa mahdollisti pyynnöt, jotka heijastivat Queneau’n alkuperäisten muunnelmien henkeä, samalla kun malli sai tulkita tyylin vapaasti.

Tulokset ja testit

Tutkijat esittivät samat tarinaparit eri ihmisryhmille, mutta muuttivat tunnistetarraa, jotta voitiin nähdä, kuinka paljon kirjailijan nimi vaikuttaa mielipiteisiin: yhteen ryhmään näytettiin vain tunnistetarra “A” ja “B”. Toisessa ryhmässä näkyivät oikeat nimet, joista toinen versio oli merkitty “ihmisen kirjoittamaksi” ja toinen “GPT-4o: n kirjoittamaksi”.

Kolmanteen ryhmään näytettiin nimet vaihdettuina, jossa “AI”-tarina oli merkitty “ihmisen kirjoittamaksi” ja “ihmisen” versio oli merkitty “AI: n kirjoittamaksi”:

Tutkimuksen 1 yleiskatsaus. Ihmisten ja AI-tuomarit vertasivat 30 tarinaparia, joista kussakin oli Queneau’n kirjoittama versio ja yksi GPT-4o: n kirjoittama. Tuomarit jaettiin kolmeen ryhmään: yksi ei nähnyt kirjailijan merkintöjä; toinen näki oikeat merkinnät; ja kolmas näki merkinnät vaihdettuina – asettelu, joka suunniteltiin testaamaan sitä, kuinka paljon kirjailijan nimi vaikuttaa kirjoitustyylejä koskeviin mielipiteisiin.

Tutkimus 1

Tutkijat jakoi 30: n luodun tyylilajin pienempiin joukkoihin, joista kunkin tutkimusosallistuja näki vain viisi tyyliä, ja kunkin tyylilajin testattiin kaikkien kolmen merkitsemisen asetusten alaisena.

Jokainen osallistuja näki vain yhden merkitsemisasetuksen: sokea ryhmä ei nähnyt mainintaa AI: sta, kun taas muut ryhmät näkivät joko oikeat tai käännetyt kirjailijan merkinnät. Ryhmän määritys, tarinan järjestys ja vasen-oikea sijoittelu olivat kaikki satunnaisia.

AI-mallit menivät läpi saman prosessin, saaden saman sekoituksen tyylejä ja saman satunnaisen sekoituksen. Jokainen testi suoritettiin kolme kertaa kunkin mallin kanssa, jotta tulokset olisivat johdonmukaisia, mikä mahdollisti ihmisten ja AI: n reaktioiden vertailun kirjailijan merkinntöihin.

Tutkimus 2 käytti samaa kolmea merkitsemisasetusta kuin aiemmin, mutta laajensi testin kaikkiin 420 tarinaan, jotka oli tuotettu 14: stä eri LLM-mallista. Jokainen malli arvioi jokaisen tarinan jokaisen merkitsemisasetuksen alaisena, tuottaen 1 260 päätöstä kunkin mallin osalta, ja tuloksena oli 17 596 kelvollista arviota:

<img class=" wp-image-224180" src="https://www.unite.ai/wp-content/uploads/2025/10/figure-2-3.jpg" alt="Tutkimuksen 1 tulokset. Sekä AI- että ihmistuomarit osoittivat vinoutta kirjailijan merkinntöjen perusteella. Kun ei ollut merkinntöjä (Sokea), suosi tarinat olivat lähes tasapuolisia; kun oikeat merkinntöjä näytettiin (Avoin merkintä), molemmat ryhmät suosivat ihmisen kirjoittamaa tekstiä; ja kun merkinntöjä vaihdettiin (Vastakkaistapahtuma), molemmat ryhmät vaihtoivat suosiakseen tekstiä, jonka he uskoivat olevan kirjoitettu ihmisen toimesta – ja tämä vaikutus oli paljon voimakkaampi AI-malleissa kuin ihmisissä. Virhepalkit osoittavat 95 prosentin luottamusvälin.

Kaikkien 13 mallin osalta havaittiin sama ihmisen suosiminen, riippumatta arkkitehtuurista tai toimittajasta:

Attribuutti-vinous kussakin 13 AI-mallissa: palkit osoittavat vaikutuskohtia 95 prosentin luottamusväleillä, ja punainen viiva merkitsee ihmisten vertailukohdan. Kaikki mallit osoittivat voimakkaampaa vinoutta kuin ihmiset, vain pienin erojen ollessa niiden välillä.

Jokainen malli suosi tarinoita, jotka oli merkitty “ihmisen kirjoittamiksi”, ja voimakkaampia vaikutuksia kuin mitä havaittiin ihmisissä. Jopa poistettuina äärimmäisimmät tapaukset, keskimääräinen vinous säilyi yli kaksi kertaa suurempana kuin ihmisten versio, osoittaen, että vaikutus ei ole yhden mallin virhe, vaan jaettu piirre LLM: lle yleensä.

Johtopäätös

Vaikka aiemmat tutkimukset ovat osoittaneet, että AI voi tuottaa kirjoitusta, joka on yhtä hyvää tai jopa parempaa kuin ihmisten työ, artikkeli korostaa, että kirjallisuudessa arvostetaan kirjailijan ja aidon kirjoittamisen arvoa, ja tämä on vanha ja syvälle juurtunut perinne:

‘Kun GPT-4o Mini hylkää Queneau’n “luovan ja humoristisen” lähestymistavan “liioiteltuna” AI-attribuutti-merkin alla, mutta ylistää samat piirteet ihmisen attribuutti-merkin alla, se paljastaa implisiittisesti, kuinka nämä merkit laukaisevat oletuksia, että mikään aito psyykkinen prosessi ei ole tapahtunut.

‘Alkuperän merkit siirtävät prosessin takaisin siihen, mikä voisi muuten olla vain tuotteen arviointi: “pelkästään generoiminen” tuntuu hyväksyttyltä ihmisen käsityönä (arvioidaan taitavaksi käsityöksi), mutta epäilyttävältä mallilta (arvioidaan algoritmiseksi yhdistelmäksi).’

LLM: t eivät ole vielä tarpeeksi luotettavia valvomattomaan faktapohjaiseen tutkimukseen, vaikka huolellinen valvonta voi edelleen tehdä niistä tuottavia – mutta LLM: iin perustuva luova kirjoittaminen saattaa kohtaa epävarmemman tulevaisuuden, jos AI: n tuottamat luovat teokset joutuvat stigmatisoitaviksi laajemman yleisen vastustuksen kautta AI: n tunkeutumista ihmisten alueille, sen sijaan, että perustuisi kirjalliseen ansiokykyyn.

Tutkimustuloksien vaikutukset vaikuttavat olennaisesti yritysten ja yksittäisten käyttäjien asenteesta olla rehellisiä siitä, käytetäänkö AI: ta tuotteen tuottamiseen. Joidenkin tapauksissa epäilyksen aiheuttaminen siitä, käytetäänkö AI: ta, saattaa johtua enemmän yhtiön tekijänoikeusvarkaudesta kuin siitä, ovatko ihmiset valmiit hyväksymään AI: n tuottamia luovia teoksia.

Oikeudellisia, taloudellisia ja poliittisia ratkaisuja on mahdollista (vaikka ne ovat hyvin haasteellisia) tekijänoikeuden suhteen. Mutta onko koskaan mahdollista saada ihmiset nauttimaan luovasta AI-työstä, jolla ei ole yhtä yksittäistä ja suhdetta osoittavaa ihmismieltä – se saattaa olla vielä haasteellisempi.