Zelfs basis AI kan nu nieuws schrijven dat niet van menselijk geschreven nieuws te onderscheiden is

Nieuw onderzoek toont aan dat zelfs kleine lokale AI-modellen nu nieuws kunnen schrijven dat mensen niet kunnen onderscheiden van echt journalistiek, waarmee ze gelijkwaardig zijn aan topsystemen en lezers niet kunnen vertellen wie wat heeft geschreven.

Volgens een nieuwe onderzoeks samenwerking tussen Duitsland en Frankrijk kunnen mensen niet bepalen of een nieuwsartikel door AI of een mens is geschreven – zelfs als het is geschreven door open source-modellen die kunnen worden gedownload en uitgevoerd op relatief gemiddelde consumenten desktop computers.

In een andere indicatie dat kleine AI in opkomst is, toonde een enquête van 2.318 oordelen die zijn verzameld van 1.054 deelnemers in een speciaal academisch onderzoeksportaal aan dat menselijke lezers de herkomst van een artikel niet konden identificeren op een hoger niveau dan toeval, zelfs wanneer het werd gegenereerd door relatief bescheiden modellen met zo weinig als zeven miljard parameters, waaronder Mistral en Llama-varianten:

Gemiddelde bron- en authenticiteitsscores voor geteste LLM’s. De 200 miljard parameters van GPT-4o overschrijden de 7B parameters van kleinere modellen niet enorm. De modellen die voor de studie zijn getest, waren Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o en GPT-3.5. Bron

De auteurs keren terug naar een onderwerp dat ze voor het eerst hebben onderzocht in de publicatie Blessing or curse? A survey on the Impact of Generative AI on Fake News. De bevindingen zelf zijn nieuw gepubliceerde resultaten van een groter project dat voor het eerst is aangekondigd in januari, en maken gebruik van de eigen JudgeGPT-online participatieframework.

Klein maar krachtig

Getiteld Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, en afkomstig van drie onderzoekers van de Frankfurt University of Applied Sciences en de IRISA-onderzoeksunit in Nantes, maakt de nieuwe studie een belangrijk onderscheid tussen ‘nepnieuws’ en ‘AI-gegenereerd nieuws’ (aangezien nepnieuws door mensen of door AI kan worden geschreven, en de twee aspecten niet noodzakelijkerwijs synoniem zijn).

Maar misschien is het meest interessante aspect de conclusie van het artikel dat kleine modellen, waaronder Mistral 7B en Gemma 7B, met slechts zeven miljard parameters, met gemak kunnen concurreren met modellen zoals ChatGPT (4o) met 200 miljard parameters:

‘Open-weight modellen met zo weinig als 7B parameters produceren tekst die niet anders wordt beoordeeld dan GPT-4o-uitvoer, wat aangeeft dat de mogelijkheid om menselijk niet te onderscheiden tekst te genereren niet langer beperkt is tot frontiermodellen.’

Maar ‘AI-gegenereerd nieuws’ kan veel verschillende soorten menselijke/AI-samenwerking vertegenwoordigen, van spellingscontrole tot volledige, carrière-eindigende overdracht van inspanning, en de studie maakt niet duidelijk wat voor soort AI-inhoud voor de tests is gegenereerd (hoewel het de methodologie voor het produceren ervan wel uitlegt – zie hieronder).

Methode

Voor de deelnemers die betrokken waren bij het JudgeGPT-platform, werd elk nieuwsfragment beoordeeld met behulp van een tweezijdig kader waarin ze drie onafhankelijke beoordelingen op continue 0-100 schuifregelaars gaven:

De JudgeGPT-portaal GUI, waar raters materiaal beoordelen op bronattributie; authenticiteit; en onderwerpfamiliariteit. Raadpleeg de bronpaper voor een betere resolutie.

Bronbeoordeling ving vast of een passage leek op machinegeschreven of menselijk geschreven tekst; authenticiteitsbeoordeling, of het werd waargenomen als nep of legitiem; en onderwerpfamiliariteit, hoe goed de lezer de onderwerp kende.

Continue schalen werden gebruikt in plaats van een Likert-schaal, om gradaties van zekerheid nauwkeuriger te meten, en om statistische analyse te ondersteunen, waaronder Pearson-correlatie en clustering.

Machine-gegenereerde tekstfragmenten werden gegenereerd door het eigen RogueGPT-framework van de auteurs, de feederarchitectuur voor JudgeGPT. RogueGPT coördineert bijdragen van zes Large Language Models (LLM’s): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; en Mistral 7B.

Persona-gebaseerde prompting werd gebruikt om de teksten te genereren, en de AI-generaties waren gebaseerd op echte nieuwsonderwerpen en werden door mensen gecontroleerd op feiten.

Omgekeerd waren door mensen geschreven fragmenten bemonsterd uit ‘gevestigde nieuwsuitzendingen’ en ongespecificeerde ‘informatiedatabases’.

De auteurs merken op:

‘Het stimulusset is opzettelijk gekanteld naar machine-gegenereerde fragmenten (∼98%), met menselijke oorsprong-items die dienen als kalibratie-ankers.

‘Deze ontwerpkeuze weerspiegelt de focus van de studie op variatie binnen AI (over modellen) in plaats van menselijke versus AI-vergelijking; deelnemers worden niet geïnformeerd over de basissnelheid, en de resultaten van de near-kansdetectie [resultaten] zijn van toepassing wanneer ze worden geanalyseerd op de menselijke oorsprong alleen.’

Deelnemers gaven eerst geïnformeerde toestemming en vulden een demografisch vraagformulier in dat leeftijd, opleiding, politieke oriëntatie en vertrouwdheid met AI omvatte, waarna ze de reeks nieuwsfragmenten beoordeelden.

Elke persoon beoordeelde tussen de 5-87 items, met een mediaan van 12, terwijl de presentatievolgorde willekeurig was en de modeltoewijzing werd gebalanceerd over deelnemers, om vooroordelen te verminderen. Het platform registreerde de drie schuifregelaarbeoordelingen naast de responstijd en een anonieme identifier, waardoor individuele oordelen konden worden gekoppeld aan achtergrondfactoren.

De auteurs wijzen erop dat het monster gekanteld was naar opgeleide Europese deelnemers, met 68% universitair opgeleid en 74% gebaseerd in Europa – een vooroordeel dat het artikel noemt als een beperking voor bredere generalisatie.

Tests

De tests zijn onderverdeeld in vijf soorten bevindingen: onderscheid maken tussen machine-gegenereerde en door mensen geschreven tekst; vergelijking van detectie over verschillende LLM’s; onderzoek naar het effect van domeinexpertise versus politieke oriëntatie op nauwkeurigheid; identificatie van distincte responsstrategieën onder deelnemers; en bijhouden van hoe nauwkeurigheid verandert over herhaalde evaluaties, vanwege vermoeidheid:

Samenvatting van de vijf kernbevindingen van 2.318 oordelen over 1.054 deelnemers, waaruit blijkt dat menselijke detectie van AI-gegenereerde tekst op toevalniveau bleef voor alle modellen, dat nauwkeurigheid werd gekoppeld aan domeinexpertise in plaats van politieke oriëntatie, dat deelnemers werden gegroepeerd in distincte vertrouwensprofielen en dat de prestaties afnamen na ongeveer 30 evaluaties vanwege cognitieve vermoeidheid.

De test liet geen significante bovengemiddelde verschillen zien in bronbeoordelingen tussen condities, wat erop lijkt te wijzen dat deelnemers geen onderscheid kunnen maken tussen AI-gegenereerde tekst en menselijke uitvoer:

Bron- en authenticiteitsscoreverdelingen voor machine- en menselijke oorsprongfragmenten laten een aanzienlijke overlap zien, zonder enkele betekenisvolle scheiding tussen de twee condities, en statistische tests – die aangeven dat deelnemers AI-gegenereerde tekst niet betrouwbaar konden onderscheiden van door mensen geschreven inhoud.

Voor het tweede aspect, zoals te zien is in de grafiek aan het begin van het artikel, faalde de detectie niet van model tot model, aangezien de uitvoer van alle LLM’s clusterden rond het toevalniveau van beoordelingen, zonder significante verschillen tussen hen. Zelfs kleinere open-weightsystemen zoals Mistral 7B en Gemma 7B werden niet anders beoordeeld dan GPT-4o, wat aangeeft dat menselijk niet te onderscheiden tekst mogelijk niet langer beperkt is tot de grootste modellen.

Voor het derde aspect was nauwkeurigheid sterker gekoppeld aan domeinexpertise dan aan politieke oriëntatie, aangezien vertrouwdheid met nepnieuws correleerde met betere beoordelingen, terwijl politieke meningen geen betekenisvol effect lieten zien, wat suggereert dat geleerde analytische vaardigheden meer kunnen tellen dan ideologie:

Resultaten van de derde onderzoekslijn toonden aan dat politieke oriëntatie geen betekenisvol effect had op bronattributie of authenticiteitsbeoordeling, met alleen zwakke, niet-significante trends, terwijl zelfgerapporteerde vertrouwdheid met nepnieuws geassocieerd was met hogere nauwkeurigheid op beide assen. Dit suggereert dat ervaringsgebaseerde analytische vaardigheid een sterkere voorspeller was van prestaties dan ideologische positie. Raadpleeg de bronpaper voor een betere resolutie.

De vierde bevinding toonde aan dat deelnemers werden gegroepeerd in twee distincte responsstijlen geïdentificeerd als ‘Skeptici’ – die lage vertrouwen toekenden aan inhoud ongeacht de oorsprong – en ‘Gelovigen’ – die een hogere baseline van vertrouwen behielden.

Tenslotte, met betrekking tot het vijfde doel, toonde een rollende analyse van opeenvolgende beoordelingen aan dat deelnemers aanvankelijk beter werden in de taak, met een verbetering van de nauwkeurigheid over ongeveer de eerste 15-20 evaluaties, terwijl ze zich aanpasten aan het formaat:

Rollende gemiddelden van bronattributie- en authenticiteitsscores over de sequentie van deelnemerbeoordelingen laten een korte initiële verbeteringsfase zien, terwijl gebruikers lijken te wennen aan de taak tijdens de eerste 15–20 items, gevolgd door een gestage daling in beide maatregelen na ongeveer 30 evaluaties. Raadpleeg de bronpaper voor een betere resolutie.

Deze effect was echter van korte duur, aangezien de prestaties begonnen af te nemen na ongeveer 30 items, met deelnemers die steeds vaker inhoud als nep bestempelden – een verschuiving die wordt geïnterpreteerd als cognitieve vermoeidheid, en die duidelijke grenzen aangeeft aan hoe lang detectie-gebaseerde benaderingen effectief kunnen blijven.

Dit kan enig empirisch bewijs zijn dat, uitgeput door het vooruitzicht om nepnieuws van echt nieuws te onderscheiden, AI-nieuws van menselijk nieuws, we mogen standaard aannemen dat het nieuws AI en/of nep is (niet noodzakelijkerwijs hetzelfde), om ‘op de veilige zijde’ te zijn. Diegenen die dit ‘lui’ vinden en menen dat mensen hun eigen onderzoek moeten doen om een potentieel nepnieuwsverhaal te verifiëren, zouden geïnteresseerd kunnen zijn om te leren dat een studie uit 2024 aangaf dat dit het probleem alleen maar erger maakt.

De auteurs suggereren dat het falen van menselijke beoordeling, zoals aangetoond in de resultaten, aangeeft dat we mogelijk moeten vertrouwen op cryptografische herkomsttechnologieën zoals de door Adobe geleide C2PA-initiatief. Andere mogelijke oplossingen die in de studie worden genoemd, zijn het eigen OriginLens-framework van de auteurs en een ander project waar de auteurs bij betrokken zijn, genaamd CRED-1.

De auteurs concluderen:

‘Kunnen mensen het vertellen? Onze tweezijdige studie van 2.318 oordelen over zes LLM-families biedt een duidelijk empirisch antwoord: ze kunnen het niet.

‘Machine-gegenereerde tekst is niet te onderscheiden van menselijke tekst, ongeacht modelgrootte of -familie, domeinexpertise voorspelt detectienauwkeurigheid sterker dan politieke oriëntatie, deelnemers hanteren distincte vertrouwensstrategieën, en cognitieve vermoeidheid beperkt duurzame detectie.

‘Deze bevindingen ondersteunen een verschuiving van gebruikersniveau-detectie naar systeemniveau-tegenmaatregelen, waaronder inhoudsherkomst, adaptieve vertrouwensindicatoren en begrensde inentingsinterventies.’

Conclusie

Het verontrustende aspect van dit artikel is het omvattende netwerk van projecten en papers dat de auteurs – of sommige van de auteurs, afhankelijk van het werk – hebben ontwikkeld of waarin ze een rol hebben; en het zou zeker verhelderend zijn geweest als men had kunnen bestuderen welke voorbeelden van AI- en menselijk gegenereerde tekst deze resultaten hebben opgeleverd, om een beter begrip te krijgen van het soort output dat de beschreven generatiemethode produceert.

Nonetheless, het is intrigerend om te horen dat open-weight, open source-modellen kunnen concurreren met API-gedreven reuzen zoals de ChatGPT-reeks – kan het zijn dat de taak niet zo moeilijk is en dat een model met 200 miljard parameters overbodig is voor dergelijke taken? We zouden een beetje meer moeten weten over de ingediende AI- en menselijk gegenereerde bronfragmenten om dat te kunnen beantwoorden.

Ondertussen, volgens de canirun.ai-website, ‘loopt goed’ op een NVIDIA RTX 3080 met 16GB VRAM, en ‘redelijk’ op een 3060 met 6GB VRAM – niet de nieuwste of beste grafische kaarten in het spel*. Dus iedereen die zijn eigen methodologie voor voorbeeldindiening wil ontwikkelen, kan blijkbaar deelnemen aan deze experimenten.

* Gemma 7B is niet vermeld op de site.

Eerst gepubliceerd op donderdag 9 april 2026