Even Basal AI Kan Nu Skrive Nyheder, Der Kan Forveksles Med Menneskeskabt

Nyt forskning viser, at selv små lokale AI-modeller nu kan skrive nyheder, som mennesker ikke kan skelne fra rigtig journalistik, og matcher top-systemer, og efterlader læserne ude af stand til at vide, hvem der skrev hvad.

Ifølge en ny forskningssamarbejde mellem Tyskland og Frankrig kan mennesker ikke afgøre, om en nyhedsartikel er skrevet af AI eller et menneske – selv når den er skrevet af open source-modeller, der kan downloades og køres på relativt gennemsnitlige forbrugerdesktop-computere.

I endnu et tegn på, at small AI er på fremmarch, fandt en undersøgelse af 2.318 domme, der er indsamlet fra 1.054 deltagere i et dedikeret akademisk studieportal, at menneskelige læsere ikke kunne identificere oprindelsen af en artikel på et højere niveau end tilfældighed, selv når den var produceret af relativt beskedne modeller med så få som syv milliarder parametre, herunder Mistral og Llama-varianter:

Gennemsnitskilder og ægthedskarakterer for LLM’er, der er testet. GPT-4o’s 200 milliarder parametre overstiger ikke væsentligt de 7 milliarder parametre i de mindre modeller. De modeller, der er testet i studiet, var Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o og GPT-3.5. Kilde

Forfatterne returnerer til et emne, som de først undersøgte i 2024 udgivelse Blessing or curse? A survey on the Impact of Generative AI on Fake News. Fundene selv er nyligt frigivne resultater fra et større projekt, der først blev annonceret i januar, og som anvender forfatternes eget JudgeGPT-online-deltager-ramme.

Fjervægtskraft

Titlen Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, og som kommer fra tre forskere på Frankfurt University of Applied Sciences og IRISA-forskningsenheden i Nantes, den nye studies metodik gør en vigtig forskel mellem ‘fake news’ og ‘AI-skrevet nyhed’ (da fake news kan være skrevet af mennesker eller af AI, og de to aspekter er ikke nødvendigvis synonyme).

Men måske er den mest interessante aspekt papirets konklusion, at små modeller, herunder Mistral 7B og Gemma 7B, kan, med kun syv milliarder parametre, matche modeller som ChatGPT (4o) med 200 milliarder parametre:

‘Open-weight-modeller med så få som 7 milliarder parametre producerer tekst, der vurderes ikke anderledes end GPT-4o-udgang, hvilket indikerer, at evnen til at generere menneskeligt uforskellige tekst ikke længere er begrænset til frontier-modeller.’

Men ‘AI-genereret nyhed’ kan repræsentere mange forskellige former for menneske/AI-samarbejde, fra stavekontrol til fuld, karriere-ændrende delegation af indsats, og studiet gør ikke klart, hvilken slags AI-indhold der blev produceret til testene (selvom det beskriver metoden for at producere det – se nedenfor).

Metode

For de deltagere, der var engageret i JudgeGPT-platformen, blev hver nyhedsfragment vurderet ved hjælp af en dual-akse-ramme, hvor de gav tre uafhængige vurderinger på kontinuerte 0-100-skalaer:

JudgeGPT-portalen GUI, hvor vurdererne vurderer materiale efter kilde-tillæg; ægthed; og emne-kendskab. Se venligst kilde-papiret for bedre opløsning.

Kilde-vurdering fanget, om en passage syntes maskin-skrevet eller menneske-skrevet; ægthed-vurdering, om det blev opfattet som falsk eller legitimt; og emne-kendskab, hvordan godt læseren kendte emnet.

Kontinuerte skalaer blev brugt i stedet for en Likert-skala, for at fange grader af sikkerhed mere præcist, og for at understøtte statistisk analyse, herunder Pearson-korrelation og klustering.

Maskin-genereret tekst-fragmenter blev produceret af forfatternes eget RogueGPT-ramme, den førende arkitektur for JudgeGPT. RogueGPT orkestrerer bidrag fra seks Large Language Models (LLM’er): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; og Mistral 7B.

Persona-baseret promptning blev brugt til at generere teksterne, og AI-genereringerne var baseret på virkelige nyhedsemner og blev faktatjekket af mennesker.

Omvrendt blev menneske-skrevne fragmenter samplet fra ‘etablerede nyhedsmedier’ og uspecificerede ‘informationsdatabaser’.