Selv grunnleggende AI kan nå skrive nyheter som passer for mennesker

Nye forskningsresultater indikerer at selv små lokale AI-modeller nå kan skrive nyheter som mennesker ikke kan skille fra ekte journalistikk, og matcher toppsystemer, og etterlater lesere uten evne til å vite hvem som skrev hva.

Ifølge en ny forskningssamarbeid mellom Tyskland og Frankrike, kan mennesker ikke avgjøre om en nyhetsartikkel er skrevet av AI eller en menneske – selv når den er skrevet av åpne kildekodemodeller som kan lastes ned og kjøres på relativt gjennomsnittlige forbruker-nivå skrivebord.

I en annen indikasjon på at liten AI er på fremmarsj, viste en undersøkelse av 2 318 vurderinger samlet fra 1 054 deltakere i et dedikert akademisk studieportal at menneskelige lesere ikke kunne identifisere opphavet til en artikkel på et høyere nivå enn tilfeldighet, selv når den var utgangspunkt for relativt beskjedne modeller med så få som syv milliarder parametre, inkludert Mistral og Llama-varianter:

Gjennomsnittlige kilde- og autentisitetspoeng for LLM-tester. GPT-4o sine 200 milliarder parametre overstiger ikke massivt de 7 milliarder parameterne til mindre modeller. De som ble testet for studien var Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o og GPT-3.5. Kilde

Forfatterne returnerer til et tema de først undersøkte i 2024- utgivelsen Blessing or curse? A survey on the Impact of Generative AI on Fake News. Funnet selv er nyutgitt resultater fra et større prosjekt som opprinnelig ble announcert i januar, og gjør bruk av forfatternes eget JudgeGPT-onlinepartisipasjonsrammeverk.

Lettvektskraft

Tittelen Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, og kommer fra tre forskere på tvers av Frankfurt University of Applied Sciences og IRISA-forskningsenheten i Nantes, studiens metodologi gjør en viktig distinksjon mellom ‘feilaktig nyheter’ og ‘AI-skrevne nyheter’ (siden feilaktig nyheter kan være skrevet av mennesker eller AI, og de to aspektene er ikke nødvendigvis synonyme).

Men kanskje det mest interessante aspektet er papirets konklusjon at små modeller, inkludert Mistral 7B og Gemma 7B, kan, med bare syv milliarder parametre, matche mot likeså ChatGPT-modell (4o) med 200 milliarder parametre:

‘Åpne vektmodeller med så få som 7 milliarder parametre produserer tekst som vurderes likt med GPT-4o-utgang, og indikerer at evnen til å generere menneskelignende tekst ikke lenger er begrenset til frontmodeller.’

Men ‘AI-generert nyheter’ kan representere mange forskjellige typer menneske/AI-samarbeid, fra stavekontroll til fullstendig karriere-avgjørende innsats, og studien gjør det ikke klart hva slags AI-innhold som ble produsert for testene (selv om den beskriver metodologien for å produsere det – se under).

Metode

For deltakerne som var engasjert i JudgeGPT-plattformen, ble hver nyhetsfragment vurderer ved hjelp av en dobbel akse-rammeverk hvor de ga tre uavhengige vurderinger på kontinuerlige 0-100 skalaer;

JudgeGPT-portalen GUI, hvor vurdererne vurderer materiale etter kildeattribuering; autentisitet; og emnebekjentskap. Vennligst se kildepapiret for bedre oppløsning.

Kildevurdering fanget om en passasje syntes maskin-skrevet eller menneske-skrevet; autentisitetsvurdering, om den ble oppfattet som feil eller legitim; og emnebekjentskap, hvordan godt lesere kjente emnet.

Kontinuerlige skalaer ble brukt i stedet for en Likert-skala, for å fange degrees of certainty mer nøyaktig, og for å støtte statistisk analyse, inkludert Pearson-korrelasjon og klustering.

Maskin-generert tekstfragmenter ble produsert av forfatternes eget RogueGPT-rammeverk, som er fødearkitekturen for JudgeGPT. RogueGPT orkestrerer bidrag fra seks store språkmodeller (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; og Mistral 7B.

Persona-basert prompting ble brukt for å generere tekstene, og AI-genereringene var basert på ekte nyhetsemner og ble faktasjekket av mennesker.

Omvendt var menneske-skrevne fragmenter samplet fra ‘etablerte nyhetskilder’ og uspesifikke ‘informasjonsdatabaser’.

Forfatterne observerer:

‘Stimulussettet er bevisst skjevt mot maskin-opprinnelige fragmenter (∼98%), med menneske-opprinnelige elementer som kalibreringsanker.

‘Dette designvalget reflekterer studiens fokus på variasjon innenfor AI (over modeller) fremfor menneske-vs.-AI-sammenligning; deltakere blir ikke informert om basisfrekvensen, og nær-chansedeteksjon [resultater] holder når analysert på menneske-opprinnelige undersett alene.’

Deltakerne ga først informert samtykke og fullførte en demografisk spørreskjema som dekket alder, utdannelse, politisk orientering og bekjentskap med AI, etterfulgt av at de vurderte sekvensen av nyhetsfragmenter.

Hver person gjennomgikk mellom 5-87 elementer, med en median på 12, mens presentasjonsrekkefølgen var tilfeldig, og modelltilordningen var balansert over deltakere, for å redusere bias. Plattformen registrerte de tre skala-vurderingene sammen med respons tid og en anonym identifikator, som tillot at enkeltvurderinger kunne kobles med bakgrunnsfaktorer.

Forfatterne tar seg tid til å påpeke at prøven skjevde mot utdannede europeiske deltakere, med 68% universitetsutdannet, og 74% basert i Europa – en bias som papiret noterer som en begrensning for videre generalisering.

Tester

Testene er delt inn i fem funn-typer: å skille maskin-generert fra menneske-skrevet tekst; sammenligning av deteksjon over forskjellige LLM; undersøkelse av effekten av domene-ekspertise versus politisk orientering på nøyaktighet; identifisering av distinkte responsstrategier blant deltakere; og sporing av hvordan nøyaktighet endrer seg over gjentatte vurderinger, på grunn av utmattelse:

Oversikt over de fem kjernefunnene fra 2 318 vurderinger over 1 054 deltakere, som viser at menneskelig deteksjon av AI-skrevet tekst forble på tilfeldighetsnivå over alle modeller, at nøyaktighet var knyttet til domene-ekspertise fremfor politisk orientering, at deltakere klumpet seg inn i distinkte tillitsprofiler, og at ytelsen sank etter omtrent 30 vurderinger, på grunn av kognitiv utmattelse.

Testen viste ingen signifikant over-tilfeldighet forskjell i kildepoeng mellom betingelser, og tyder på at deltakere ikke kan skille AI-generert tekst fra menneske-utgang:

Kilde- og autentisitetspoengfordeling for maskin- og menneske-opprinnelige fragmenter viser betydelig overlap, med ingen meningsfull separasjon mellom de to betingelsene, og statistisk testing – som indikerer at deltakere ikke kunne pålitelig skille AI-generert tekst fra menneske-skrevet innhold.

For det andre aspektet, som vist i grafen i begynnelsen av artikkelen, deteksjonsfeil ikke varierte med modell, som utgang fra alle LLM-ene klumpet seg rundt tilfeldighetsnivå-vurderinger, med ingen signifikante forskjeller mellom dem. Selv mindre åpne vekt-systemer som Mistral 7B og Gemma 7B ble vurderer ikke forskjellig fra GPT-4o, og indikerer at menneske-umulig å skille tekst ikke lenger er begrenset til de største modellene.

For det tredje aspektet, var nøyaktighet mer sterkt knyttet til domene-ekspertise enn til politisk orientering, som bekjentskap med feilaktig nyheter korrelerte med bedre vurderinger, mens politiske synspunkter viste ingen meningsfull effekt, og antyder at lært analytiske ferdigheter kan være mer viktig enn ideologi:

Resultater for den tredje linjen av undersøkelsen viste at politisk orientering ikke hadde noen meningsfull effekt på kildeattribuering eller autentisitetsvurdering, med bare svake, ikke-signifikante trender, mens selv-rapportert bekjentskap med feilaktig nyheter var assosiert med høyere nøyaktighet på begge akser. Dette antyder at erfaring-basert analytisk ferdighet var en sterkere prediktor for ytelse enn ideologisk posisjon. Vennligst se kildepapiret for bedre oppløsning.

Det fjerde funnet viste at deltakere klumpet seg inn i to distinkte respons-stiler identifisert som ‘Skeptikere’ – som tildelte lav tillit over innhold uavhengig av opphav – og ‘Troeende’ – som opprettholdt en høyere basis for tillit.

Til slutt, med hensyn til det femte målet, viste en rullende analyse av sekvensielle vurderinger at deltakere først ble bedre på oppgaven, med nøyaktighet som forbedret seg over omtrent de første 15-20 vurderingene, ettersom de tilpasset seg formatet:

Rullende gjennomsnitt av kilde- og autentisitetspoeng over sekvensen av deltaker-vurderinger viser en kort initial forbedringsfase, ettersom brukerne ser ut til å tilpasse seg oppgaven under de første 15–20 elementene, fulgt av en jevn nedgang i begge mål etter omtrent 30 vurderinger. Vennligst se kildepapiret for bedre oppløsning.

Men denne effekten var kortvarig, ettersom ytelsen begynte å synke etter omtrent 30 elementer, med deltakere som stadig mer default til å merke innhold som feil – en skift som tolkes som kognitiv utmattelse, og antyder klare begrensninger for hvor lenge deteksjons-baserte tilnærminger kan forbli effektive i praksis.

Dette kan representere noen empirisk bevis for at, utmattet av utsikten til å skille feilaktig nyheter fra ekte, AI-nyheter fra menneske, vi kan tende til å default til å anta at nyhetene er AI og/eller feil (ikke nødvendigvis det samme), for å være ‘på den sikre siden’. De som anser dette som ‘lat’, og mener at mennesker bør gjøre sin egen forskning for å verifisere en potensiell feilaktig nyhetsartikkel, kan være interessert i å lære at en studie fra 2024 indikerte at dette bare gjør problemene verre.

Forfatterne foreslår at feilene i menneskelig dømmekraft som kommer frem i resultater indikerer at vi kanskje må overlate slike spørsmål til kryptografisk provenans-teknologier som Adobe-ledede C2PA-initiativet. Andre mulige løsninger som nevnes er forfatternes eget OriginLens-rammeverk, og et annet forfatter-relatert prosjekt kalt CRED-1.

Forfatterne konkluderer:

‘Kan mennesker si? Vår dobbel akse-studie av 2 318 vurderinger over seks LLM-familier gir et klart empirisk svar: de kan ikke.

‘Maskin-generert tekst er ikke å skille fra menneske-skrevet uavhengig av modell-størrelse eller -familie, domene-ekspertise forutsier deteksjonsnøyaktighet mer enn politisk orientering, deltakere adopterer distinkte tillitsstrategier, og kognitiv utmattelse begrensninger bærekraftig deteksjon.

‘Disse funnene støtter en skift fra bruker-nivå-deteksjon mot system-nivå-kontramål, inkludert innhold-provenans, adaptive tillitsindikatorer og begrensede inokulasjons-intervensjoner.’

Konklusjon

Det bekymringsfulle aspektet ved denne artikkelen er det omgivende støttenettverket av prosjekter og papirer som forfatterne – eller noen av forfatterne, avhengig av arbeidet – har opprinnelig eller har en hånd i; og det ville uten tvil vært opplysende å ha kunnet studere eksempler på AI- og menneske-generert tekst som produserte disse resultater, for å få en bedre forståelse av hva slags utgang metodologien produserer.

Likevel er det interessant å høre at åpne vekt-, åpne kildekodemodeller kan sammenlignes med API-drevne kjemper som ChatGPT-serien – kan det være at oppgaven i hendene ikke er så vanskelig, og at en 200-milliarder parameter-modell er overkill for slike oppgaver? Vi ville trenge å vite litt mer om de innsendte AI- og menneske-skrevne kilde-eksemplene for å svare på det spørsmålet.

I mellomtiden, ifølge canirun.ai-nettsiden, kjører Mistral 7B (som var omtrent på lik linje med ChatGPT-4o i testene) ‘utmekt’ på en NVIDIA RTX 3080 med 16GB VRAM, og kjører ‘anständig’ på en 3060 med 6GB VRAM – ikke de nyeste eller beste grafikkortene i spill*. Så hvis noen ønsker å utvikle sin egen metode for eksempel-innsending, kan de åpenbart delta i disse eksperimentene også.

* Gemma 7B er ikke listet på nettstedet.

Først publisert torsdag, 9. april 2026