AI-ideeën detecteren, niet AI-tekst

Wat als er een AI-tekstdetector bestond die kon herkennen dat je iets schreef op basis van een idee dat de AI je gaf – zelfs als al het daadwerkelijke schrijven (d.w.z. de tekst) jouw eigen originele werk was?

We weten allemaal van AI-tekstdetectors die beroemdheden en politici in verlegenheid brengen, onder anderen – algoritmen die de kenmerken van door AI gemaakte tekst hebben bestudeerd en die deze patronen kunnen herkennen wanneer ze zich voordoen.

Deze gevallen vormen een eenvoudige uitbesteding van een communicatietaak, waarbij taalmodellen zoals ChatGPT en Google Gemini het volgende waarschijnlijke token voorspellen in een antwoord op de prompt van een gebruiker – niet door een stap terug te nemen en eerst het brede canvas van het probleem of de stelling te bekijken, maar simpelweg door het volgende meest waarschijnlijke woord te raden.

Desondanks levert dit lappendekje van voorspellingen uiteindelijk een onderliggende structuur op, volgens recent onderzoek: de noodzaak dat aangrenzende tekstgedeelten coherent en relevant voor elkaar zijn, veroorzaakt dat er een unieke signatuur ontstaat in de ‘schets’ of hogere dimensionaliteit van het werk – een die de hand van AI kan herkennen zelfs wanneer de tekst uitgebreid wordt herschreven om te ‘humaniseren’:

De onderscheidende hoger-dimensionale ‘vorm’ van schrijven onder verschillende LLM’s, en – links – puur menselijk schrijven. Bron

Gerichte AI-ideeën

Een nieuwe academische samenwerking onder leiding van de University of Maryland gaat een stap verder, door een methodologie aan te bieden die kan detecteren of de ideeën zelf afkomstig waren van AI, ongeacht wie uiteindelijk de woorden schreef.

De aanpak, genaamd IdeaLens en getraind op één miljoen schetsen die uit webdocumenten zijn gehaald, richt zich op het reduceren van elk document tot een schets die de ideeën behoudt terwijl de bewoording wordt weggelaten – en wordt geleverd met een online demo:

Links ziet u een van mijn eigen artikelen dat in de online demo als menselijk wordt herkend, terwijl een ander artikel dat ik indiende (geschreven door een andere auteur) duidelijk aanzienlijke AI-invoer heeft gehad. Bron

Zoals te zien is in de bovenstaande voorbeeldresultaten van de demo, kunnen de gebruikte detectiemethoden onderscheid maken tussen menselijke ideeën en menselijke proza, en AI-ideeën en AI-proza, en deze op een gedetailleerde en onderscheidende manier evalueren – zelfs hoewel de twee detectors getraind waren op dezelfde documenten, labels en onderliggende modelarchitectuur, terwijl ze zijn ontworpen om in wezen tegengestelde zaken te detecteren: de herkomst van ideeën, en de herkomst van proza.

Men vermoedt dat dit soort detectie-ambities een aantal categorieën schrijvers nerveus kan maken, van politieke speechschrijvers tot romanschrijvers en columnisten, naast anderen die tot nu toe hun eigen schrijfstijl hebben gekoesterd, maar AI hebben toegestaan hun onderwerpen aan te wakkeren.

Een reden waarom LLM’s waarschijnlijk herkenbare (en dus traceerbare) ideeën produceren, is niet alleen dat bepaalde concepten en teksten statistisch de ondergecurateerde trainingsdata van het model hebben gedomineerd, waardoor ze vaker naar voren komen in een breder scala aan verzoeken; maar ook omdat LLM’s mysterieuze en repetitieve obsessies hebben die niet eens lijken te relateren aan specifieke trainingsdata, en toch vaak ongewenst verschijnen.

De auteurs stellen*:

‘Terwijl moderne AI-detectors identificeren wie de woorden heeft geschreven, steeds meer beleid rond AI-gebruik steunt op een andere vraag: wie kwam met de ideeën?We introduceren IdeaLens, een detector die bepaalt of de ideeën in een document afkomstig zijn van een mens of van AI (idee‑herkomst), ongeacht wie de woorden schreef.

‘Om IdeaLens te richten op ideeën in plaats van proza, representeren we documenten als schetsen: lijsten van items die elk een discoursrol koppelen aan een korte, geparafraseerde beschrijving van de inhoud, waarbij we de overlap op woordniveau met de ruwe tekst minimaliseren.’

Gegevens en methoden

Het artikel beweert dat de nieuwe methode menselijke ideeën kan identificeren in door AI gegenereerde documenten (d.w.z. iemand zei tegen een AI ‘Schrijf een essay over dit onderwerp‘); en ook AI-ideeën kan identificeren in menselijk schrijven (d.w.z. iemand zei tegen een AI Stel iets voor waar ik over kan schrijven).

Testresultaten over vier combinaties van menselijke en AI-ideeën en proza. Alle vier de detectors presteren sterk wanneer ideeën en proza dezelfde oorsprong delen, maar wijken sterk af wanneer de herkomst gemengd is: IdeaLens herkent correct 94,7% van AI-geschreven documenten gebaseerd op menselijke ideeën als menselijk afkomstig, en identificeert AI-ideeën in 68% van menselijk geschreven verhalen, vergeleken met slechts 8% voor Pangram 4 en 0% voor ProseLens en EditLens-3B. Bron

Detectie is het gemakkelijkst wanneer de herkomst het duidelijkst is – bijvoorbeeld wanneer een menselijk geschreven stuk gebaseerd is op AI‑gegenereerde ideeën, of wanneer een AI‑gegenereerde output voortkomt uit een menselijk idee. Wanneer deze herkomststerktes variëren, wordt detectie moeilijker.

De onderzoekers testten dit onderscheid door geleidelijk te wijzigen hoeveel van het onderliggende plan van een document afkomstig is van een persoon. In één experiment kregen AI‑modellen steeds gedetailleerdere menselijke plannen, variërend van nauwelijks meer dan een onderwerp tot een volledige schets.

Naarmate de menselijke bijdrage toenam, daalde het AI‑vlagpercentage van IdeaLens van 94,9% naar 6,8%; en conventionele prozadetectors bleven overweldigend de resulterende tekst als AI identificeren:

Testresultaten die laten zien wat er gebeurt wanneer steeds meer van het onderliggende plan van een AI‑geschreven document door een mens wordt aangeleverd. IdeaLens herkent steeds beter de menselijke oorsprong van de ideeën, waarbij het AI‑vlagpercentage daalt van 94,9% voor een alleen‑onderwerp prompt tot 6,8% voor een volledige menselijke schets; de conventionele tekstdetectors ProseLens en Pangram classificeren nog steeds het merendeel van het resulterende schrijven als AI.

Aangezien de ideeën gescheiden moeten worden van de taal die wordt gebruikt om ze uit te drukken, en er geen grote dataset bestaat die registreert wie de ideeën in een document daadwerkelijk heeft gecreëerd, hebben de onderzoekers IdeaLens getraind op bestaande AI‑schrijflabels labels – maar het grootste deel van de tekst zelf verwijderd:

Hoe IdeaLens ideeën scheidt van proza tijdens training en testen, in vergelijking met de conventionele tekstdetector ProseLens. Een voorbeeld van een opinie‑artikel van 1.321 woorden wordt teruggebracht tot een rol‑gelabelde schets, met punten gecategoriseerd op hun functie, zoals een gebeurtenisverslag of evaluatie. Tijdens de training werden deze schetsen bovendien geparafraseerd om bewoordingen die uit de bron‑documenten waren geërfd te verwijderen, voordat IdeaLens leerde van bestaande Pangram AI‑labels. Voor nieuwe documenten kan de geëxtraheerde schets vervolgens direct aan IdeaLens worden doorgegeven om de waarschijnlijkheid te schatten dat de ideeën AI‑afgeleid zijn. Het onderste deel van de figuur toont een tweede detector – ‘ProseLens’ – die door de onderzoekers werd gebruikt voor vergelijking en die in plaats daarvan de volledige tekst ontvangt en inschat of het proza zelf AI‑gegenereerd is.

Zoals hierboven getoond, werd elk document teruggebracht tot een schets die beschrijft wat er wordt gezegd, en de rol die elk punt in het document speelt. Tijdens het trainen werden die schetsen geparafraseerd om verdere sporen van de oorspronkelijke bewoordingen van de auteurs te verwijderen. IdeaLens kan daarom haar voorspellingen grotendeels baseren op de overgebleven ideeën, in plaats van op kenmerkende eigenschappen van het proza.

Voor het project werden drie datasets gecreëerd: IdeaShift; IdeaShift-X; en TwiceTold. IdeaShift is samengesteld uit 500 door mensen geschreven en door AI gegenereerde seed‑documenten, geselecteerd uit de bestaande testcorpus van de onderzoekers. GPT-5.6 Sol werd gebruikt om elk document om te zetten in steeds gedetailleerdere prompts, van ‘alleen‑onderwerp’ tot een volledige schets. GPT-5.6 werd vervolgens gebruikt om nieuwe documenten te genereren.

IdeaShift-X gebruikte daarentegen 10.000 door mensen geschreven FineWeb2-documenten in 24 talen, waarbij het eerder genoemde IdeaShift‑protocol werd toegepast om AI‑versies in elke taal te genereren.

De derde dataset, TwiceTold, werd geschreven door academische studenten onder toezicht van de auteurs, om het mogelijke gebruik van AI inherent in crowdsourcing van dergelijke gegevens te vermijden. Vijftig verhalen werden vanaf nul geschreven, maar met behulp van een 500‑woordige schets die door ChatGPT-5.6 Sol werd geleverd.

Tests

De eigen detectors van de onderzoekers bestonden uit IdeaLens in outline‑ en documentvorm; de eerder genoemde ProseLens; ModernBERT-L‑versies van beide systemen; Qwen3.5-9B-versies van IdeaLens; en een IdeaLens logistic-classifier-variant.

Deze werden vergeleken met Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; en Rank.

Voor de tests werd Nauwkeurigheid gemeten aan de hand van of het voorspelde AI‑ of menslabel overeenkwam met de bron van de ideeën. IdeaLens, ProseLens en EditLens gebruikten een globale 1 % FPR‑drempel; de AI‑, AI‑ondersteunde en menslabels van Pangram 4 werden binair gemaakt; en Fast-DetectGPT, Binoculars, MELD en Desklib hanteerden hun standaarddrempels.

De bredere evaluatie maakte gebruik van 19 externe benchmarks, waaronder 14 die volledig menselijk of volledig AI‑materiaal omvatten, en 10 die door AI bewerkte menselijk geschreven teksten bevatten. Daarnaast werden 50 000 documenten uit het domein getest, terwijl 10 000 pre‑ChatGPT C4‑documenten werden gebruikt om vals‑positieven te beoordelen:

Testresultaten die de detector‑nauwkeurigheid vergelijken wanneer ideeën en proza dezelfde of verschillende oorsprong hebben. IdeaLens behoudt een hoge nauwkeurigheid in beide situaties, namelijk 95,3 % voor gedeelde herkomst en 81,3 % voor gemengde herkomst; concurrerende detectors presteren aanzienlijk slechter wanneer de bron van de ideeën verschilt van de bron van het proza.

Uit 51 tests, afkomstig van 22 benchmarks, bleek IdeaLens de enige detector die sterk presteerde wanneer de ideeën en het proza uit dezelfde of verschillende bronnen kwamen, met scores van respectievelijk 95,3 % en 81,3 %.

Ter vergelijking scoorden ProseLens en Pangram 4 boven de 98 % wanneer ideeën en proza een gemeenschappelijke bron deelden, maar daalden naar ongeveer 25 % wanneer dat niet het geval was.

De auteurs stellen over deze resultaten*:

‘Aangezien ProseLens dezelfde backbone, trainingsdocumenten en trainingslabels heeft als IdeaLens, benadrukt dit de impact van onze outline‑representatie, die een ModernBERT-based pair met een andere backbone nabootst.’

‘IdeaLens werkt ook onverwacht goed over naar ruwe‑tekstinvoer tijdens de test, met een hoge nauwkeurigheid voor gedeelde herkomst en aanzienlijk hogere nauwkeurigheid voor gemengde herkomst dan ProseLens.’

Alle drie de detectors identificeerden met succes bijna alle oorspronkelijke AI‑geschreven verhalen. In TwiceTold identificeerde IdeaLens AI‑oorspronkelijke ideeën in 68 % van de menselijk geschreven verhalen, vergeleken met 0 % voor ProseLens en 8 % voor Pangram 4:

IdeaLens kent vergelijkbare AI‑kansen toe aan de oorspronkelijke AI‑geschreven verhalen en de door mensen herschreven TwiceTold‑versies op basis van dezelfde AI‑gegenereerde outlines, terwijl de AI‑kansen van ProseLens sterk dalen zodra het proza door mensen wordt herschreven.

Ondanks dat het in het Engels is getraind, generaliseerde IdeaLens over de 24 talen van IdeaShift‑X, waarbij 95,3 % van de documenten werd gemarkeerd op basis van AI‑ideeën – maar slechts 0,7 % wanneer een gedetailleerd menselijk plan de ideeën leverde. Op 10 000 pre‑ChatGPT menselijk documenten in dezelfde talen bedroeg de vals‑positieve ratio slechts 0,1 %.

De auteurs geven toe dat een grotere dataset wenselijk zou zijn voor toekomstig onderzoek, en dat de ruis in de dataset‑labels mogelijk moet worden aangepakt. Desondanks kunnen degenen die op dit interessante eerste resultaat willen voortbouwen terecht bij de GitHub repository die de auteurs van het artikel beschikbaar hebben gesteld; en de louter nieuwsgierigen kunnen ‘verdachte’ tests in de demo site van het project plakken en zelf beoordelen of de methode overeenkomt met hun eigen inschattingen, of die van andere benaderingen.

Conclusie

Of een detectiemethode van dit type van belang is hangt af van hoe acceptatie, integratie of afwijzing van AI zich zal ontwikkelen (ongetwijfeld verschillend per sector en situatie) in de komende 6‑12 maanden.

Het kan zijn dat het publiek van een politicus vergevingsgezinder staat tegenover het gebruik van AI om hun eigen originele ideeën te polijsten en te presenteren, dan bij een oppervlakkige presentatie van door een LLM gegenereerde ideeën (immers, statistisch gezien is het publiek waarschijnlijk sympathiek tegenover het gebruik van AI als louter presentatiemiddel).

Toch, tegelijkertijd, wat hopen we van AI te krijgen, tenzij dat het produceren van invalshoeken, ideeën en alternatieven is die wij zelf over het hoofd zouden zien of nooit zouden overwegen; en vanuit dat perspectief, is het dan zo’n slecht idee om kunstmatige intelligentie een kans te geven aan het stuur?

Nou, wat betreft de optiek, en gezien AI’s beroemde en groeiende neiging tot fouten en – recentelijk – dwalend gedrag, is het misschien nog te vroeg om LLM’s beleidsvoorstellen te laten formuleren, of in het algemeen een drijvende kracht te laten zijn in ideevorming.

*Auteurs’ nadruk, niet de mijne, maar mijn omzetting van de inline citaten van de auteurs naar hyperlinks, waar nodig.

Voor het eerst gepubliceerd dinsdag 6 oktober 2026