Detektering af AI‑idéer, ikke AI‑tekst

Hvad hvis der fandtes en AI‑tekstdetektor, der kunne genkende, at du skrev noget baseret på en idé, som AI gav dig – selvom al den faktiske skrivning (dvs. teksten) var dit eget originale arbejde?

Vi kender alle til AI‑tekstdetektorer, der pinligt afslører berømtheder og politikere, blandt andre – algoritmer, der har studeret karakteristikaene ved AI‑genereret tekst og kan skelne disse mønstre, når de dukker op.

Disse tilfælde repræsenterer en simpel udlicitering af en kommunikationsopgave, hvor sprogmodeller som ChatGPT og Google Gemini forudsiger den næste sandsynlige token i et svar på en brugers prompt – ikke ved at træde et skridt tilbage og se på problemets eller propositionens brede lærred først, men blot ved at gætte det næste mest sandsynlige ord.

Alligevel giver dette lappetæppe af forudsigelser efterhånden en underliggende struktur, ifølge nyere forskning: behovet for, at tilstødende tekstafsnit er sammenhængende og relevante for hinanden, får en unik signatur til at udvikle sig i ‘outline’‑ eller højere dimensionalitet af værket – en der kan skelne AI‑handen, selv når teksten er omfattende omskrevet for at ‘humanisere’ den:

Den distinkte højere-dimensionelle ‘form’ af skrivning under forskellige LLM’er, og – til venstre – ren menneskelig skrivning. Source

Målrettet AI‑idéudvikling

Et nyt akademisk samarbejde ledet af University of Maryland går et skridt videre ved at tilbyde en metode, der kan opdage, om idéerne selv stammer fra AI, uanset hvem der i sidste ende skrev ordene.

Tilgangen, kaldet IdeaLens og trænet på én million outlines udtrukket fra webdokumenter, fokuserer på at reducere hvert dokument til en outline, der bevarer dets idéer mens formuleringen fjernes – og leveres med en online‑demo:

Til venstre passer en af mine egne artikler som menneskelig i online‑demoen, mens en anden artikel, jeg indsendte (skrevet af en anden forfatter), ser ud til at have haft betydelig AI‑input. Source

Som det ses i de ovenstående prøve‑demoresultater, kan de anvendte detektionsmetoder skelne mellem menneskelige idéer og menneskelig prosa samt AI‑idéer og AI‑prosa, og evaluere dem på en granulær og særskilt måde – selvom de to detektorer blev trænet på de samme dokumenter, etiketter og underliggende modelarkitektur, mens de er designet til at opdage i bund og grund modsatte ting: oprindelsen af idéer og oprindelsen af prosa.

Dette slags detektionsområde, som man formoder, kan gøre flere kategorier af forfattere nervøse, fra politiske talerforfattere til romanförfattere og spaltere, samt andre som indtil nu har værdsat deres egen skrivestil, men har ladet AI drive deres emner.

En grund til, at LLM’er sandsynligvis vil producere genkendelige (og dermed sporbare) idéer, er ikke kun, at visse koncepter og tekster statistisk har domineret modellens under‑kuraterede træningsdata, hvilket gør dem mere tilbøjelige til at dukke op i et bredere udvalg af forespørgsler; men også fordi LLM’er har mystiske og gentagne besættelser, som ikke engang synes at relatere til specifikke træningsdata, og alligevel ofte dukker op ubudt.

Forfatterne udtaler*:

‘Mens moderne AI‑detektorer identificerer hvem der skrev ordene, lægger nye politikker for AI‑brug i stigende grad vægt på et andet spørgsmål: hvem der kom på idéerne?Vi introducerer IdeaLens, en detektor der identificerer, om et dokuments idéer stammer fra et menneske eller AI (idé‑oprindelse), uanset hvem der skrev ordene.

‘For at fokusere IdeaLens på idéer frem for prosa, repræsenterer vi dokumenter som outlines: lister over elementer, der hver parrer en diskursrolle med en kort, parafraseret beskrivelse af indholdet, og minimerer ord‑niveau overlap med den rå tekst.’

Data og Metoder

Papiret hævder, at den nye metode kan identificere menneskelige idéer i AI‑genererede dokumenter (dvs. nogen sagde til en AI ‘Skriv et essay om dette emne‘); og også kan identificere AI‑idéer i menneskelig skrivning (dvs. nogen sagde til en AI ‘Foreslå noget, jeg kan skrive om’).

Testresultater på tværs af fire kombinationer af menneskelige og AI‑idéer og prosa. Alle fire detektorer præsterer stærkt, når idéer og prosa har samme oprindelse, men afviger kraftigt, når proveniens er blandet: IdeaLens genkender korrekt 94,7 % af AI‑skrevne dokumenter baseret på menneskelige idéer som menneskeskabte, og identificerer AI‑idéer i 68 % af menneskeskrevne historier, sammenlignet med kun 8 % for Pangram 4 og 0 % for ProseLens og EditLens‑3B.. Kilde

Detektion er lettest, når proveniens er klarst – for eksempel når et menneskeskrevet stykke er baseret på AI‑genererede idéer, eller når et AI‑genereret output stammer fra en menneskelig idé. Når disse proveniens‑styrker varierer, bliver detektion sværere.

Forskerne testede denne sondring ved gradvist at ændre, hvor meget af et dokuments underliggende plan der kommer fra en person. I et eksperiment blev AI‑modeller givet stadig mere detaljerede menneskelige planer, fra næsten kun et emne til en fuldstændig disposition.

Efterhånden som den menneskelige bidrag steg, faldt IdeaLens’ AI‑flagrate fra 94,9 % til 6,8 %; og konventionelle prosa‑detektorer identificerede fortsat overvejende den resulterende tekst som AI:

Testresultater, der viser hvad der sker, når gradvist mere af en AI‑skrevet dokuments underliggende plan leveres af et menneske. IdeaLens genkender i stigende grad den menneskelige oprindelse af idéerne, med en AI‑flagrate, der falder fra 94,9 % for en kun‑emne‑prompt til 6,8 % for en fuldstændig menneskelig disposition; de konventionelle tekstdetektorer ProseLens og Pangram klassificerer stadig størstedelen af den resulterende tekst som AI.

Da idéerne skal adskilles fra det sprog, der bruges til at udtrykke dem, og der ikke findes et stort datasæt, der registrerer, hvem der faktisk oprindeligt kom med idéerne i et dokument, træner forskerne i stedet IdeaLens på eksisterende AI‑skrive etiketter – men fjernede det meste af selve teksten:

Sådan adskiller IdeaLens idéer fra prosa under træning og test, sammenlignet med den konventionelle tekstdetektor ProseLens. En prøve på en 1.321‑orders holdningsartikel reduceres til en rolle‑mærket disposition, hvor punkterne kategoriseres efter deres funktion, såsom en begivenhedsrapport eller en evaluering. Under træning blev disse dispositioner yderligere parafraseret for at fjerne formuleringer arvet fra kilde‑dokumenterne, før IdeaLens lærte fra eksisterende Pangram AI‑etiketter. For nye dokumenter kan den udtrukne disposition derefter sendes direkte til IdeaLens for at estimere sandsynligheden for, at idéerne er AI‑afledte. Den nederste del af figuren viser en anden detektor – ‘ProseLens’ – som forskerne brugte til sammenligning, og som i stedet modtager den komplette tekst og vurderer, om prosaen selv er AI‑genereret.

Som vist ovenfor blev hvert dokument reduceret til en disposition, der beskriver, hvad der siges, og hvilken rolle hvert punkt spiller i dokumentet. Under træning blev disse dispositioner parafraseret for yderligere at fjerne spor af forfatternes oprindelige formuleringer. IdeaLens kan derfor foretage sine forudsigelser hovedsageligt ud fra de idéer, der er tilbage, snarere end ud fra afslørende karakteristika ved prosaen.

Tre datasæt blev oprettet til projektet: IdeaShift; IdeaShift-X; og TwiceTold. IdeaShift blev skabt ud fra 500 menneskeskrevne og AI‑genererede seed‑dokumenter udvalgt fra forskernes eksisterende testkorpus. GPT-5.6 Sol bruges til at omdanne hver til gradvist mere detaljerede prompts, fra ‘kun‑emne’ til en fuld disposition. GPT-5.6 blev derefter brugt til at generere nye dokumenter.

IdeaShift‑X brugte i stedet 10.000 menneskeskrevne FineWeb2-dokumenter på tværs af 24 sprog og anvendte den førnævnte IdeaShift‑protokol til at generere AI‑versioner på hvert sprog.

Det tredje datasæt, TwiceTold, blev skrevet af akademiske studerende under forfatternes vejledning for at undgå mulig brug af AI indbygget i crowdsourcing af sådanne data. Halvtreds historier blev skrevet fra bunden, men ved brug af en 500‑ords disposition leveret af ChatGPT-5.6 Sol.

Tests

Forskerne egne detektorer omfattede IdeaLens i outline- og dokumentform; den førnævnte ProseLens; ModernBERT-L versioner af begge systemer; Qwen3.5-9B versioner af IdeaLens; og en IdeaLens logistic-classifier variant.

Disse blev sammenlignet med Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; og Rank.

For testene blev nøjagtighed målt ud fra, om den forudsagte AI- eller menneskelabel matchede kilden til idéerne. IdeaLens, ProseLens og EditLens anvendte en global 1 % FPR-tærskel; Pangram 4’s AI-, AI-assisterede og menneskelabel blev binariseret; og Fast-DetectGPT, Binoculars, MELD og Desklib brugte deres standardtærskler.

Den bredere evaluering brugte 19 eksterne benchmarks, herunder 14 der dækkede fuldstændigt menneskeligt eller fuldstændigt AI-materiale, og 10 der indeholdt menneskelig tekst efterfølgende redigeret af AI. Yderligere 50 000 in‑domain dokumenter blev testet, mens 10 000 pre‑ChatGPT C4‑dokumenter blev brugt til at vurdere falske positiver:

Testresultater, der sammenligner detektorernes nøjagtighed, når idéer og prosa enten har samme eller forskellige oprindelser. IdeaLens bevarer høj nøjagtighed i begge scenarier, med 95,3 % for fælles oprindelse og 81,3 % for blandet oprindelse; konkurrerende detektorer klarer sig væsentligt dårligere, når idéernes kilde adskiller sig fra prosaens kilde.

På tværs af 51 tests trukket fra 22 benchmarks var IdeaLens den eneste detektor, der præsterede stærkt, når idéerne og prosaen kom fra enten samme eller forskellige kilder, med scorer på 95,3 % og 81,3 % respektivt.

Til sammenligning opnåede ProseLens og Pangram 4 over 98 % når idéer og prosa delte kilde, men faldt til omkring 25 % når de ikke gjorde.

Forfatterne udtaler om disse resultater*:

‘Da ProseLens har samme backbone, træningsdokumenter og træningslabels som IdeaLens, fremhæver dette virkningen af vores outline‑repræsentation, som et ModernBERT-based pair replikerer med en anden backbone.’

‘IdeaLens overfører også uventet godt til råtekstinput ved testtid, og udviser høj nøjagtighed for fælles oprindelse samt væsentligt højere nøjagtighed for blandet oprindelse end ProseLens.’

Alle tre detektorer identificerede næsten alle de oprindelige AI‑skrevne historier. På TwiceTold identificerede IdeaLens AI‑oprindelige idéer i 68 % af de menneskeskrevne historier, sammenlignet med 0 % for ProseLens og 8 % for Pangram 4:

IdeaLens tildeler lignende AI‑sandsynligheder til de oprindelige AI‑skrevne historier og de menneskeskrevne TwiceTold‑versioner baseret på de samme AI‑genererede outlines, mens ProseLens’ AI‑sandsynligheder falder kraftigt, når prosaen omskrives af mennesker.

Selvom den er trænet på engelsk, generaliserede IdeaLens over IdeaShift‑X’s 24 sprog og flaggede 95,3 % af dokumenterne baseret på AI‑idéer – men kun 0,7 % når en detaljeret menneskelig plan leverede idéerne. På 10 000 pre‑ChatGPT menneskelige dokumenter på de samme sprog var falsk‑positiv‑raten blot 0,1 %.

Forfatterne indrømmer, at et større datasæt ville være ønskværdigt i fremtidigt arbejde, og at støj i datasættets labels kan kræve opmærksomhed. Ikke desto mindre kan de, der ønsker at bygge videre på dette interessante indledende resultat, benytte GitHub repository, som papirforfatterne har gjort tilgængeligt; og de rent nysgerrige kan indsætte ‘mistænkelige’ tests i projektets demo site og selv vurdere, om metoden stemmer overens med deres egne estimater eller med andres tilgange.

Konklusion

Om en detektionsmetode af denne art betydning har, afhænger af, hvordan accept, integration eller afvisning af AI vil udvikle sig (utvivlsomt forskelligt på tværs af sektorer og omstændigheder) i løbet af de næste 6‑12 måneder.

Det kan være, at offentligheden er mere tilgivende over for en politikers brug af AI til at polere og formidle deres egne originale idéer, end de ville være over for en glat præsentation af idéer genereret af en LLM (trods alt er publikum statistisk set sandsynligvis sympatiserende til brugen af AI som et rent præsentationsværktøj).

Alligevel, hvad håber vi så på fra AI, hvis ikke at den vil producere vinkler, idéer og alternativer, som vi selv ville have overset eller aldrig overvejet; og set ud fra dette perspektiv, er det så så dårligt at give maskinintelligens et forsøg ved rattet?

Nå, set i lyset af optik og i betragtning af AI’s berømte og stigende tilbøjelighed til fejl og – for nylig – afvigende adfærd, er det måske stadig for tidligt at lade LLM’er komme med politiske forslag, eller generelt blive en drivkraft i idéudvikling.

*Forfatternes vægtlægning, ikke min, men min omdannelse af forfatternes inline-citater til hyperlinks, hvor nødvendigt.

Først offentliggjort tirsdag den 6. oktober 2026