Jo yksinkertainen AI voi kirjoittaa uutisia, jotka käyvät ihmisen kirjoittamista

Uusi tutkimus osoittaa, että jopa pienet paikalliset AI-mallit voivat kirjoittaa uutisia, joita ihmiset eivät voi erottaa aidosta journalismista, ja ne ovat yhtä hyviä kuin parhaat järjestelmät, joten lukijat eivät voi sanoa, kuka kirjoitti mitä.

Saksan ja Ranskan tutkimusyhteistyön mukaan ihmiset eivät voi sanoa, onko uutisartikkeli AI:n vai ihmisen kirjoittama, vaikka se on kirjoitettu avoimen lähdekoodin malleilla, jotka voidaan ladata ja suorittaa suhteellisen tavallisilla kuluttajatason työpöytätietokoneilla.

Toisena osoituksena siitä, että pieni AI on nousussa, 1 054 osallistujan antamista 2 318 arvioinnista kerätyn aineiston mukaan ihmiset eivät voi tunnistaa artikkelin alkuperää sattumatasoa paremmin, vaikka se olisi tuotettu melko vaatimattomilla malleilla, joissa on vain seitsemän miljardia parametriä, mukaan lukien Mistral ja Llama-versiot:

Keskimääräiset lähde- ja aitouden arvosanat testatuille LLM:ille. GPT-4o:n 200 miljardia parametria eivät ylitä pienempien mallien 7 miljardia parametria kovin paljon. Tutkimuksessa testattiin Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o ja GPT-3.5. Lähde

Tutkijat palaavat aiheeseen, jonka he tutkivat ensimmäisen kerran vuoden 2024 julkaisussa Blessing or curse? A survey on the Impact of Generative AI on Fake News. Itse tulokset ovat uusia tuloksia suuremmasta hankkeesta, josta ilmoitettiin alun perin tammikuussa, ja ne hyödyntävät tutkijoiden omaa JudgeGPT-verkkoyhteistyöalustaa.

Pienten mallien voima

Kolmen Frankfurtin ammattikorkeakoulun ja Nantesin IRISA-tutkimusyksikön tutkijan uusi tutkimus, Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, tekee tärkeän eron “väärennettyjen uutisten” ja “AI:n kirjoittamien uutisten” (koska valeuutisen voi kirjoittaa ihminen tai AI, ja nämä kaksi asiaa eivät välttämättä ole sama) välillä.

Kuitenkin ehkä mielenkiintoisin asia on tutkimuksen johtopäätös, että pienet mallit, kuten Mistral 7B ja Gemma 7B, voivat vain seitsemällä miljardilla parametrilla kilpailla vaivatta 200 miljardin parametrin ChatGPT-mallin (4o) kanssa:

‘Avoimien painojen mallit, joissa on vain 7 miljardia parametriä, tuottavat tekstiä, jota arvioidaan samalla tavalla kuin GPT-4o:n tuotoksia, mikä osoittaa, että kyky tuottaa tekstejä, joita ei voi erottaa ihmisen kirjoittamista, ei ole enää rajoitettu vain eturivin malleihin.’

Kuitenkin “AI-kirjoitettu uutinen” voi edustaa monia erilaisia ihmisen ja AI:n yhteistyön muotoja, alkaen oikoluvusta aina kaiken vaivannäön ulkoistamiseen, joka voi päättää uran, ja tutkimus ei selkeästi määrittele, millaista AI-sisältöä tuotettiin testeihin (vaikka se selittää menetelmän, jolla se tuotettiin – ks. alla).

Menetelmä

JudgeGPT-alustalla osallistujille esitettiin kunkin uutisfragmentin arvioimiseen kaksiakselinen kehys, jossa he antoivat kolme riippumatonta arviota jatkuvilla liukusäätimillä asteikolla 0–100:

JudgeGPT-portaalin GUI, jossa arvioijat arvioivat materiaalia alkuperän määrittämisen, aitouden ja aiheen tuttuuden perusteella. Katso lähdeartikkeli paremman resoluution kuvan vuoksi.

Lähdearvio kuvasi sitä, vaikuttiko tekstikatkelma konekirjoitetulta vai ihmisten kirjoittamalta; aitouden arvio, näyttikö se aidolta vai epäaidolta; ja aiheen tuttuus, kuinka hyvin lukija tunsi aiheen.

Jatkuvia skaaloja käytettiin Likert-asteikon sijaan, jotta voidaan tarkemmin havainnollistaa varmuuden asteita ja tukea tilastollista analyysiä, mukaan lukien Pearsonin korrelaatio ja klusterointi.

Konegeneroitu teksti tuotettiin tutkijoiden oman RogueGPT-kehyksen avulla, joka on JudgeGPT:n syöttöarkkitehtuuri. RogueGPT orkestroi kuuden suuren kielimallin (LLM) osallistumisen: ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; ja Mistral 7B.

Hahmoihin tai rooleihin perustuvia kehotteita käytettiin tekstien tuottamiseen, ja AI-synteesit perustuivat oikeisiin uutisaiheisiin ja ihmiset tarkistivat niiden faktat.

Toisaalta ihmisten kirjoittamat fragmentit otettiin “vakiintuneista uutisvälineistä” ja määrittelemättömistä “tietokannoista”.

Tutkijat huomauttavat:

‘Stimulus-aineisto on tietoisesti vinoutunut konealkuperän fragmenteihin (~98%), ja ihmisen alkuperän kohteet toimivat kalibroinnin vertailukohtina.

‘Tämä suunnitteluratkaisu heijastaa tutkimuksen painopistettä AI:n sisäisessä vaihtelussa (mallien välillä) eikä ihmisten ja koneiden vertailussa; osallistujat eivät tiedä aineiston perusjakaumaa, ja lähellä sattumatasoa olevat tunnistustulokset säilyvät myös silloin, kun analysoidaan vain ihmisten kirjoittamien tekstien osajoukkoa.’

Osallistujat antoivat ensin tietoon perustuvan suostumuksensa ja täyttivät demograafisen kyselylomakkeen, joka käsitteli ikää, koulutusta, poliittista suuntautumista ja AI:n tuntemusta, minkä jälkeen he arvioivat heille esitetyt uutiskatkelmat.

Kukin henkilö tarkasteli 5–87 kohdetta, ja mediaani oli 12. Esitysjärjestys satunnaistettiin ja mallien jakautuminen osallistujien kesken tasapainotettiin harhan vähentämiseksi. Alusta tallensi kolme liukusäätimen arviointia vastausajan ja nimettömän tunnisteen kanssa, mikä mahdollisti yksilöllisten arvioiden linkittämisen taustatekijöihin.

Tutkijat korostavat, että otos painottuu koulutettuihin eurooppalaisiin: 68 prosentilla oli yliopistokoulutus ja 74 prosenttia asui Euroopassa – vinous, jonka tutkimus toteaa yleistettävyyden rajoituksena.

Testit

Testit on jaettu viiteen tulostyyppiin: konegeneroidun tekstin erottaminen ihmisen kirjoittamasta; tunnistamisen vertailu eri LLM-mallien välillä; aihealueen asiantuntemuksen ja poliittisen suuntautumisen vaikutusten vertailu tarkkuuden suhteen; osallistujien erilaisten vastaamistyylien tunnistaminen; ja seuranta siitä, miten tarkkuus muuttuu toistuvissa arvioinneissa johtuen uupumuksesta:

Yhteenveto viidestä keskeisestä tuloksesta 2 318 arvioinnista 1 054 osallistujalta, osoittaa, että ihmisten havainto AI-kirjoitetuista teksteistä säilyi sattuman tasolla kaikissa malleissa, että tarkkuus liittyi aihealueen asiantuntemukseen eikä poliittiseen suuntautumiseen, osallistujat muodostivat erilaisia luottamuksen malleja, ja suorituskyky heikkeni noin 30 arvioinnin jälkeen uupumisen vuoksi.

Testissä lähdearvosanoissa ei havaittu merkitsevää sattumatason ylittävää eroa koeasetelmien välillä, mikä näyttäisi viittaavan siihen, etteivät osallistujat erota AI:n kirjoittamaa tekstiä ihmisen kirjoittamasta:

Lähde- ja aitouden arvosanojen jakaumat kone- ja ihmisen alkuperäisistä fragmenteistä osoittavat merkittävää päällekkäisyyttä, ilman merkittävää eroa koeasetelmien välillä, ja tilastollinen testi osoittaa, että osallistujat eivät voi luotettavasti erottaa AI-kirjoitettuja tekstejä ihmisten kirjoittamista.

Toisessa tarkastelussa tunnistamisen epäonnistuminen ei vaihdellut mallikohtaisesti, kuten artikkelin alussa olevasta kaaviosta näkyy, koska kaikkien LLM-mallien tulokset olivat lähellä sattuman tasoa, ilman merkittäviä eroja niiden välillä. Jopa pienemmät avoimet mallit, kuten Mistral 7B ja Gemma 7B, arvioitiin samalla tavalla kuin GPT-4o, mikä osoittaa, että tekstit, joita ei voi erottaa ihmisen kirjoittamista, eivät välttämättä ole enää rajoitettu vain suurimpiin malleihin.

Kolmannessa suhteessa tarkkuus liittyi vahvemmin aihealueen asiantuntemukseen kuin poliittiseen suuntautumiseen, koska väärennettyjen uutisten tuttuus korreloi paremmin arvioinnin tarkkuuden kanssa, kun taas poliittiset näkemykset eivät osoittaneet merkittävää vaikutusta, mikä viittaa siihen, että oppimisperäiset analyysitaidot voivat olla tärkeämpiä kuin ideologia:

Tulokset kolmannesta tutkimussuunnasta: osallistujien taustatekijöiden ja arviointitarkkuuden välinen korrelaatio osoitti, että poliittisella suuntautumisella ei ollut merkittävää vaikutusta lähde- tai aitouden arviointiin, vaan väärennettyjen uutisten tuttuus oli yhteydessä parempaan tarkkuuteen molemmilla akseleilla. Poliittisessa suuntautumisessa nähtiin vain heikkoja, tilastollisesti merkitsemättömiä suuntauksia. Tämä viittaa siihen, että kokemukseen perustuva analyyttinen taito ennusti suoriutumista ideologista kantaa vahvemmin. Tarkempi kuva on lähdeartikkelissa.

Neljännessä tuloksessa osallistujat muodostivat kaksi erilaista vastaamistyyliä, joita kutsutaan “epäilijöiksi” – jotka antoivat kaikille sisällöille alhaiset luottamusarviot riippumatta alkuperästä – ja “uskojiksi” – jotka säilyttivät korkeamman luottamuksen perustason.

Lopulta viidennen tavoitteen osalta jatkuvan arvioinnin analyysi osoitti, että osallistujat aluksi paransivat tehtävän suorittamista, ja tarkkuus parani noin ensimmäisten 15–20 arvioinnin aikana, kun he sopeutuivat tehtävään:

Lähde- ja aitouden arvosanojen liukuvat keskiarvot osallistujien arviointien järjestyksessä osoittavat lyhyen alun parantumisen, kun käyttäjät sopeutuvat tehtävään ensimmäisten 15-20 kohteen aikana, minkä jälkeen molemmat mittarit laskevat tasaisesti noin 30 arvioinnin jälkeen. Tarkempi kuva on lähdeartikkelissa.

Tämä vaikutus oli kuitenkin lyhytaikainen, ja suorituskyky alkoi heiketä noin 30 kohteen jälkeen, ja osallistujat alkoivat yhä useammin merkitä sisältöjä väärennetyiksi – siirtymä, jota tulkitaan kognitiiviseksi uupumukseksi, ja joka osoittaa selvät rajat sille, kuinka kauan havaintopohjaiset lähestymistavat voivat pysyä tehokkaina käytännössä.

Tämä saattaa edustaa jossain määrin empiiristä näyttöä siitä, että uutisten aitouden ja niiden kirjoittajan erottelun uuvuttamina ihmiset saattavat olettaa, että uutiset ovat AI:n tuottamia ja/tai väärennettyjä (nämä eivät välttämättä tarkoita samaa), varmuuden vuoksi. Ne, jotka pitävät tätä “laiskana” ja ajattelevat, että ihmisten pitäisi tehdä omia selvityksiään väärennettyjen uutisten todentamiseksi, saattavat olla kiinnostuneita vuoden 2024 tutkimuksesta, jonka mukaan tämä vain pahentaa ongelmaa.

Tutkijat ehdottavat, että tuloksissa ilmenevä ihmisten arviointikyvyn epäonnistuminen osoittaa tarpeen antaa tällaiset kysymykset mahdollisesti alkuperän kryptografisen todentamisen teknologioiden ratkaistaviksi. Yksi esimerkki on Adoben johtama C2PA-hanke. Muita mainittuja mahdollisia ratkaisuja ovat tutkijoiden oma OriginLens-kehys sekä toinen hanke, jossa tutkijat ovat mukana, eli CRED-1-projekti.

Tutkijat päättelevät:

‘Voivatko ihmiset erottaa? Kaksiakselinen tutkimuksemme 2 318 arvioinnista kuudesta LLM-perheestä antaa selkeän empiirisen vastauksen: he eivät voi.

‘Konegeneroitu teksti on erottamaton ihmisten kirjoittamasta riippumatta mallin koosta tai perheestä, aihealueen asiantuntemus ennustaa havaintotarkkuutta vahvemmin kuin poliittinen suuntautuminen, osallistujat omaksuvat erilaisia luottamuksen malleja, ja kognitiivinen uupumus rajoittaa kestävää havaintoa.

‘Nämä tulokset tukevat siirtymistä käyttäjätasolla tapahtuvasta havainnosta järjestelmätasolla tapahtuviin vastatoimiin, mukaan lukien sisällön alkuperä, mukautuvat luottamusindikaattorit ja rajatut inokulaatiointerventiot.

Johtopäätös

Tämän artikkelin huolestuttava puoli on sitä ympäröivä projektien ja tutkimusten tukiverkosto, jonka tutkijat – tai osa heistä, työstä riippuen – ovat käynnistäneet tai jossa he ovat mukana. Olisi varmasti valaisevaa tarkastella näihin tuloksiin johtaneita AI:n ja ihmisten kirjoittamia tekstinäytteitä, jotta ymmärtäisimme paremmin, millaisia tuotoksia kuvattu generointimenetelmä tuottaa.

Kuitenkin on mielenkiintoista kuulla, että avoimet, avoimen lähdekoodin mallit voivat kilpailla API-rajapintojen kautta käytettävien jättien, kuten ChatGPT-sarjan, kanssa – voiko tehtävä olla yksinkertaisesti liian helppo, ja 200 miljardin parametrin malli on ylilyöntiä? Meidän pitäisi tietää enemmän AI- ja ihmisten kirjoittamista lähdemateriaaleista, jotta voimme vastata tähän kysymykseen.

Sillä aikaa canirun.ai-sivuston mukaan Mistral 7B (joka oli suhteellisen samalla tasolla kuin ChatGPT-4o testeissä) ‘toimii erinomaisesti’ NVIDIA RTX 3080:lla, jossa on 16 GB VRAM, ja ‘toimii kohtuullisesti’ 3060:lla, jossa on 6 GB VRAM – eivät kaikkein uusimmat tai parhaimmat näytönohjaimet. Joten kuka tahansa, joka haluaa kehittää oman menetelmänsä näytteen esittämiseen, voi ilmeisesti myös osallistua näihin kokeisiin.

* Gemma 7B ei ole listattu sivustolla.

Julkaistu ensimmäisen kerran torstaina 9. huhtikuuta 2026