Selv enkel AI kan nå skrive nyheter som fremstår som menneskeskrevne

Nye forskningsresultater indikerer at selv små lokale AI-modeller nå kan skrive nyheter som mennesker ikke kan skille fra ekte journalistikk, og matcher toppsystemer, og etterlater lesere uten evne til å vite hvem som skrev hva.

Ifølge et nytt forskningssamarbeid mellom Tyskland og Frankrike, kan mennesker ikke avgjøre om en nyhetsartikkel er skrevet av AI eller et menneske – selv når den er skrevet av åpne kildekodemodeller som kan lastes ned og kjøres på relativt gjennomsnittlige stasjonære forbruker-PC-er.

I en annen indikasjon på at liten AI er på fremmarsj, viste en undersøkelse av 2 318 vurderinger samlet fra 1 054 deltakere i en egen akademisk studieportal at menneskelige lesere ikke kunne identifisere opphavet til en artikkel på et høyere nivå enn tilfeldighet, selv når den var produsert av relativt beskjedne modeller med så få som syv milliarder parametre, inkludert Mistral og Llama-varianter:

Gjennomsnittlige kilde- og autentisitetspoeng for LLM-tester. GPT-4os 200 milliarder parametre overstiger ikke de mindre modellenes 7 milliarder parametre med stor margin. De som ble testet for studien var Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o og GPT-3.5. Kilde

Forfatterne returnerer til et tema de først undersøkte i 2024- utgivelsen Blessing or curse? A survey on the Impact of Generative AI on Fake News. Funnene er nylig publiserte resultater fra et større prosjekt som opprinnelig ble kunngjort i januar, og gjør bruk av forfatternes eget JudgeGPT-onlinepartisipasjonsrammeverk.

Lettvektskraft

Tittelen Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, og kommer fra tre forskere på tvers av Frankfurt University of Applied Sciences og IRISA-forskningsenheten i Nantes, gjør den nye studien en viktig distinksjon mellom ‘falske nyheter’ og ‘AI-skrevne nyheter’ (siden falske nyheter kan være skrevet av mennesker eller AI, og de to aspektene er ikke nødvendigvis synonyme).

Men kanskje det mest interessante aspektet er papirets konklusjon at små modeller, inkludert Mistral 7B og Gemma 7B, kan, med bare syv milliarder parametre, måle seg med en ChatGPT-modell (4o) med 200 milliarder parametre:

‘Åpne vektmodeller med så få som 7 milliarder parametre produserer tekst som vurderes likt med GPT-4o-utgang, og indikerer at evnen til å generere menneskelignende tekst ikke lenger er begrenset til frontmodeller.’

Men ‘AI-genererte nyheter’ kan representere mange forskjellige typer menneske/AI-samarbeid, fra stavekontroll til fullstendig delegering av innsatsen som kan sette en stopper for karrieren, og studien gjør det ikke klart hva slags AI-innhold som ble produsert for testene (selv om den beskriver metodologien for å produsere det – se under).

Metode

For deltakerne som var engasjert i JudgeGPT-plattformen, ble hvert nyhetsfragment vurdert ved hjelp av et rammeverk med to akser hvor de ga tre uavhengige vurderinger på kontinuerlige glidebrytere fra 0 til 100;

JudgeGPT-portalen GUI, hvor vurdererne vurderer materiale etter kildeattribuering; autentisitet; og emnebekjentskap. Vennligst se kildepapiret for bedre oppløsning.

Kildevurdering fanget om en passasje syntes maskin-skrevet eller menneske-skrevet; autentisitetsvurdering, om den ble oppfattet som feil eller legitim; og emnebekjentskap, hvor godt leseren kjente emnet.

Kontinuerlige skalaer ble brukt i stedet for en Likert-skala, for å fange grader av sikkerhet mer nøyaktig, og for å støtte statistisk analyse, inkludert Pearson-korrelasjon og klustering.

Maskin-generert tekstfragmenter ble produsert av forfatternes eget RogueGPT-rammeverk, som er fødearkitekturen for JudgeGPT. RogueGPT orkestrerer bidrag fra seks store språkmodeller (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; og Mistral 7B.

Persona-basert prompting ble brukt for å generere tekstene, og AI-genereringene var basert på ekte nyhetsemner og ble faktasjekket av mennesker.

Omvendt var menneske-skrevne fragmenter samplet fra ‘etablerte nyhetskilder’ og uspesifikke ‘informasjonsdatabaser’.

Forfatterne observerer:

‘Stimulussettet er bevisst skjevt mot maskin-opprinnelige fragmenter (∼98%), med menneske-opprinnelige elementer som kalibreringsanker.

‘Dette designvalget reflekterer studiens fokus på variasjon innenfor AI (over modeller) fremfor menneske-vs.-AI-sammenligning; deltakere blir ikke informert om basisfrekvensen, og deteksjonsresultatene nær tilfeldighetsnivå består også når bare delmengden med menneskeskrevet tekst analyseres.’

Deltakerne ga først informert samtykke og fullførte et demografisk spørreskjema som dekket alder, utdannelse, politisk orientering og bekjentskap med AI, etterfulgt av at de vurderte sekvensen av nyhetsfragmenter.

Hver person gjennomgikk mellom 5-87 elementer, med en median på 12, mens presentasjonsrekkefølgen var tilfeldig, og modelltilordningen var balansert over deltakere, for å redusere bias. Plattformen registrerte de tre skala-vurderingene sammen med responstid og en anonym identifikator, som tillot at enkeltvurderinger kunne kobles med bakgrunnsfaktorer.

Forfatterne tar seg tid til å påpeke at utvalget var skjevt i retning av utdannede europeiske deltakere, med 68% universitetsutdannet, og 74% basert i Europa – en bias som papiret noterer som en begrensning for videre generalisering.

Tester

Testene er delt inn i fem funn-typer: å skille maskin-generert fra menneske-skrevet tekst; sammenligning av deteksjon over forskjellige LLM; undersøkelse av effekten av domene-ekspertise versus politisk orientering på nøyaktighet; identifisering av distinkte responsstrategier blant deltakere; og sporing av hvordan nøyaktighet endrer seg over gjentatte vurderinger, på grunn av utmattelse:

Oversikt over de fem kjernefunnene fra 2 318 vurderinger over 1 054 deltakere, som viser at menneskelig deteksjon av AI-skrevet tekst forble på tilfeldighetsnivå over alle modeller, at nøyaktighet var knyttet til domene-ekspertise fremfor politisk orientering, at deltakere klumpet seg inn i distinkte tillitsprofiler, og at ytelsen sank etter omtrent 30 vurderinger, på grunn av kognitiv utmattelse.

Testen viste ingen signifikant forskjell over tilfeldighetsnivå i kildepoeng mellom betingelser, og tyder på at deltakere ikke kan skille AI-generert tekst fra menneskeskrevet tekst:

Kilde- og autentisitetspoengfordeling for maskin- og menneske-opprinnelige fragmenter viser betydelig overlap, med ingen meningsfull separasjon mellom de to betingelsene, og statistisk testing – som indikerer at deltakere ikke kunne pålitelig skille AI-generert tekst fra menneske-skrevet innhold.

For det andre aspektet, som vist i grafen i begynnelsen av artikkelen, varierte ikke deteksjonssvikten mellom modellene, ettersom teksten fra alle LLM-ene samlet seg rundt tilfeldighetsnivå-vurderinger, med ingen signifikante forskjeller mellom dem. Selv mindre åpne vekt-systemer som Mistral 7B og Gemma 7B ble ikke vurdert annerledes enn GPT-4o, noe som tyder på at tekst som ikke kan skilles fra menneskeskrevet tekst, kanskje ikke lenger er begrenset til de største modellene.

For det tredje aspektet, var nøyaktighet mer sterkt knyttet til domene-ekspertise enn til politisk orientering, som bekjentskap med falske nyheter korrelerte med bedre vurderinger, mens politiske synspunkter viste ingen meningsfull effekt, og antyder at innlærte analytiske ferdigheter kan være viktigere enn ideologi:

Resultater for den tredje linjen av undersøkelsen viste at politisk orientering ikke hadde noen meningsfull effekt på kildeattribuering eller autentisitetsvurdering, med bare svake, ikke-signifikante trender, mens selv-rapportert bekjentskap med falske nyheter var assosiert med høyere nøyaktighet på begge akser. Dette antyder at erfaring-basert analytisk ferdighet var en sterkere prediktor for ytelse enn ideologisk posisjon. Vennligst se kildepapiret for bedre oppløsning.

Det fjerde funnet viste at deltakere klumpet seg inn i to distinkte respons-stiler identifisert som ‘Skeptikere’ – som tildelte lav tillit over innhold uavhengig av opphav – og ‘Troende’ – som opprettholdt en høyere basis for tillit.

Til slutt, med hensyn til det femte målet, viste en rullende analyse av sekvensielle vurderinger at deltakere først ble bedre på oppgaven, med nøyaktighet som forbedret seg over omtrent de første 15-20 vurderingene, ettersom de tilpasset seg formatet:

Rullende gjennomsnitt av kilde- og autentisitetspoeng over sekvensen av deltaker-vurderinger viser en kort initial forbedringsfase, ettersom brukerne ser ut til å tilpasse seg oppgaven under de første 15–20 elementene, fulgt av en jevn nedgang i begge mål etter omtrent 30 vurderinger. Vennligst se kildepapiret for bedre oppløsning.

Men denne effekten var kortvarig, ettersom ytelsen begynte å synke etter omtrent 30 elementer, med deltakere som i økende grad merket innhold som falskt som standard – et skifte som tolkes som kognitiv utmattelse, og antyder klare begrensninger for hvor lenge deteksjons-baserte tilnærminger kan forbli effektive i praksis.

Dette kan representere noen empiriske bevis for at, utmattet av utsikten til å skille falske nyheter fra ekte, AI-nyheter fra menneske, vi kan ha en tendens til som standard til å anta at nyhetene er AI og/eller feil (ikke nødvendigvis det samme), for å være ‘på den sikre siden’. De som anser dette som ‘lat’, og mener at mennesker bør gjøre sin egen forskning for å verifisere en potensiell feilaktig nyhetsartikkel, kan være interessert i å lære at en studie fra 2024 indikerte at dette bare gjør problemene verre.

Forfatterne foreslår at feilene i menneskelig dømmekraft som kommer frem i resultater indikerer at vi kanskje må overlate slike spørsmål til kryptografisk provenans-teknologier som Adobe-ledede C2PA-initiativet. Andre mulige løsninger som nevnes er forfatternes eget OriginLens-rammeverk, og et annet prosjekt som forfatterne er involvert i kalt CRED-1.

Forfatterne konkluderer:

‘Kan mennesker se forskjellen? Vår studie med to akser av 2 318 vurderinger over seks LLM-familier gir et klart empirisk svar: de kan ikke.

‘Maskin-generert tekst er ikke å skille fra menneske-skrevet uavhengig av modell-størrelse eller -familie, domene-ekspertise forutsier deteksjonsnøyaktighet mer enn politisk orientering, deltakere adopterer distinkte tillitsstrategier, og kognitiv utmattelse begrenser vedvarende deteksjon.

‘Disse funnene støtter et skifte fra bruker-nivå-deteksjon mot mottiltak på systemnivå, inkludert innhold-provenans, adaptive tillitsindikatorer og begrensede inokulasjons-intervensjoner.’

Konklusjon

Det bekymringsfulle aspektet ved denne artikkelen er det omgivende støttenettverket av prosjekter og papirer som forfatterne – eller noen av forfatterne, avhengig av arbeidet – har startet eller er involvert i; og det ville uten tvil vært opplysende å ha kunnet studere eksempler på AI- og menneske-generert tekst som produserte disse resultater, for å få en bedre forståelse av hva slags tekst metodologien produserer.

Likevel er det interessant å høre at åpne vekt-, åpne kildekodemodeller kan sammenlignes med API-drevne kjemper som ChatGPT-serien – kan det være at oppgaven det gjelder ikke er så vanskelig, og at en 200-milliarder parameter-modell er overkill for slike oppgaver? Vi ville trenge å vite litt mer om de innsendte AI- og menneske-skrevne kilde-eksemplene for å svare på det spørsmålet.

I mellomtiden, ifølge canirun.ai-nettsiden, kjører Mistral 7B (som var omtrent på lik linje med ChatGPT-4o i testene) ‘utmerket’ på en NVIDIA RTX 3080 med 16GB VRAM, og kjører ‘greit’ på en 3060 med 6GB VRAM – ikke de nyeste eller beste grafikkortene i spill*. Så hvis noen ønsker å utvikle sin egen metode for eksempel-innsending, kan de åpenbart delta i disse eksperimentene også.

* Gemma 7B er ikke listet på nettstedet.

Først publisert torsdag, 9. april 2026