Upptäcka AI‑idéer, inte AI‑text

Tänk om det fanns en AI‑textdetektor som kunde känna igen att du skrev något baserat på en idé som AI gav dig – även om hela själva skrivandet (dvs. texten) var ditt eget originalarbete?

Vi känner alla till AI‑textdetektorer som förlägger kändisar och politiker, bland andra – algoritmer som har studerat egenskaperna hos AI‑skapat text och kan skilja på dessa mönster när de dyker upp.

Dessa fall representerar en enkel avlastning av en kommunikationsuppgift, där språkmodeller såsom ChatGPT och Google Gemini förutsäga nästa sannolika token i ett svar på en användares prompt – inte genom att ta ett steg tillbaka och betrakta problemets breda helhet först, utan bara genom att gissa nästa mest sannolika ord.

Icke desto mindre ger detta lapptäcke av förutsägelser så småningom upphov till en underliggande struktur, enligt ny forskning: behovet av att intilliggande textavsnitt är koherenta och relevanta för varandra får en unik signatur att utvecklas i ‘outline’ eller den högre dimensionen av verket – en som kan urskilja AI:s hand även när texten omskrivs omfattande för att ‘humanisera’ den:

Den distinkta högdimensionella ‘formen’ av skrivande under olika LLM:er, och – till vänster – rent mänskligt skrivande. Källa

Målinriktad AI‑idéframställning

Ett nytt akademiskt samarbete lett av University of Maryland går ett steg längre, genom att erbjuda en metodik som kan upptäcka om idéerna själva har sitt ursprung i AI, oavsett vem som slutligen skrev orden.

Metoden, kallad IdeaLens och tränad på en miljon outline‑utdrag från webb‑dokument, fokuserar på att reducera varje dokument till en outline som bevarar dess idéer samtidigt som formuleringen tas bort – och levereras med en online‑demo:

Till vänster passerar en av mina egna artiklar som mänsklig i online‑demot, medan en annan artikel jag skickade in (skriven av en annan författare) verkar ha haft betydande AI‑inmatning. Källa

Som man kan se i exempelresultaten från demot ovan kan de använda detektionsmetoderna skilja mellan mänskliga idéer och mänsklig prosa samt AI‑idéer och AI‑prosa, och utvärdera dem på ett granulärt och tydligt sätt – även om de två detektorerna tränades på samma dokument, etiketter och underliggande modellarkitektur, medan de är designade för att upptäcka i princip motsatta saker: idéernas proveniens och prose‑proveniens.

Denna typ av detektionsområde, misstänker man, kan göra ett antal författarkategorier nervösa, från politiska talförfattare till romanförfattare och krönikörer, förutom andra som hittills har värdesatt sin egen skrivstil, men ändå låtit AI driva deras ämnen.

En anledning till att LLM:er sannolikt kommer att producera igenkännbara (och därmed spårbara) idéer är inte bara att vissa koncept och texter statistiskt har dominerat modellens underkuraterade träningsdata, vilket gör dem mer benägna att dyka upp i ett bredare spektrum av förfrågningar; utan också för att LLM:er har mystiska och repetitiva besattheter som inte ens verkar relatera till specifik träningsdata, och ändå dyker ofta upp oinbjudna.

Författarna påstår*:

‘Medan moderna AI‑detektorer identifierar vem som skrev orden, hänger framväxande policyer för AI‑användning i allt högre grad på en annan fråga: vem som kom på idéerna?Vi introducerar IdeaLens, en detektor som identifierar om ett dokuments idéer kom från en människa eller AI (idé‑proveniens), oavsett vem som skrev dess ord.’

‘För att fokusera IdeaLens på idéer snarare än prosa representerar vi dokument som outlines: listor med objekt som vardera parar ihop en diskursroll med en kort, parafraserad beskrivning av innehållet, vilket minimerar ordnivåöverlappning med den råa texten.’

Data och metoder

Papperet påstår att den nya metoden kan identifiera mänskliga idéer i AI‑genererade dokument (dvs. någon sade till en AI ‘Skriv en uppsats om detta ämne‘); och kan även identifiera AI‑idéer i mänskligt skrivande (dvs. någon sade till en AI Föreslå något för mig att skriva om).

Testresultat för fyra kombinationer av mänskliga och AI‑idéer och prosa. Alla fyra detektorer presterar starkt när idéer och prosa har samma ursprung, men avviker kraftigt när proveniens är blandad: IdeaLens känner korrekt igen 94.7% av AI‑skrivna dokument baserade på mänskliga idéer som mänskligt ursprungliga, och identifierar AI‑idéer i 68% av mänskligt skrivna berättelser, jämfört med bara 8% för Pangram 4 och 0% för ProseLens och EditLens-3B. Källa

Detektering är enklast när proveniens är tydligast – till exempel när ett mänskligt skrivet verk bygger på AI‑genererade idéer, eller när ett AI‑genererat resultat har sitt ursprung i en mänsklig idé. När dessa proveniensstyrkor varierar blir detektering svårare.

Forskarna testade denna distinktion genom att gradvis ändra hur mycket av ett dokuments underliggande plan som kommer från en person. I ett experiment fick AI‑modellerna allt mer detaljerade mänskliga planer, från knappt mer än ett ämne till en fullständig disposition.

När den mänskliga andelen ökade föll IdeaLens AI‑flaggningsfrekvens från 94.9% till 6.8%; och konventionella prose‑detektorer fortsatte överväldigande att identifiera den resulterande texten som AI:

Testresultat som visar vad som händer när successivt mer av en AI‑skriven dokuments underliggande plan tillhandahålls av en människa. IdeaLens känner i allt högre grad igen den mänskliga ursprunget för idéerna, med en AI‑flaggningsfrekvens som sjunker från 94.9% för en enbart ämnesbaserad prompt till 6.8% för en fullständig mänsklig disposition; de konventionella textdetektorerna ProseLens och Pangram klassificerar fortfarande det mesta av den resulterande skrivningen som AI.

Eftersom idéerna måste separeras från språket som används för att uttrycka dem, och det inte finns någon stor datamängd som registrerar vem som faktiskt ursprungligen skapade idéerna i ett dokument, tränade forskarna i stället IdeaLens på befintliga AI‑skrivnings etiketter – men tog bort det mesta av själva texten:

Hur IdeaLens separerar idéer från prosa under träning och testning, jämfört med den konventionella textdetektorn ProseLens. Ett exempel på en 1 321‑ordig opinionsartikel reduceras till en roll‑etiketterad disposition, med punkter kategoriserade efter deras funktion, såsom ett händelsekonto eller en utvärdering. Under träning paraphraserades dessa dispositioner ytterligare för att ta bort formuleringar ärvda från källdokumenten innan IdeaLens lärde sig av befintliga Pangram‑AI‑etiketter. För nya dokument kan den extraherade dispositionen sedan skickas direkt till IdeaLens för att uppskatta sannolikheten att idéerna är AI‑härledda. Den nedre delen av figuren visar en andra detektor – ‘ProseLens’ – som forskarna använde för jämförelse, vilken i stället får hela texten och uppskattar om prosa själv är AI‑genererad.

Som ovan visas reducerades varje dokument till en disposition som beskriver vad som sägs och vilken roll varje punkt har i dokumentet. Under träning parafraserades dessa dispositioner för att ytterligare ta bort spår av författarnas ursprungliga formuleringar. IdeaLens kan därför göra sina förutsägelser huvudsakligen från de idéer som återstår, snarare än från avslöjande kännetecken i prosan.

Tre dataset skapades för projektet: IdeaShift; IdeaShift-X; och TwiceTold. IdeaShift skapades från 500 mänskligt skrivna och AI‑genererade grunddokument som hämtades från forskarnas befintliga testkorpus. GPT-5.6 Sol omvandlade var och en till successivt mer detaljerade prompts, från ‘endast ämne’ till en fullständig disposition. GPT-5.6 användes sedan för att generera nya dokument.

IdeaShift-X använde i stället 10 000 av människor författade FineWeb2-dokument på 24 språk, och tillämpade det tidigare nämnda IdeaShift‑protokollet för att generera AI‑versioner på varje språk.

Det tredje datasetet, TwiceTold, skrevs av akademiska studenter under författarnas handledning, för att undvika möjlig användning av AI inneboende i crowdsourcing av sådan data. Femtio berättelser skrevs från grunden, men med en 500‑ordig disposition tillhandahållen av ChatGPT-5.6 Sol.

Tester

Forskarna egna detektorer bestod av IdeaLens i outline- och dokumentform; den tidigare nämnda ProseLens; ModernBERT-L-versioner av båda systemen; Qwen3.5-9B-versioner av IdeaLens; och en IdeaLens logistic-classifier-variant.

Dessa jämfördes med Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; och Rank.

För testerna mättes noggrannhet genom att kontrollera om den förutsagda AI- eller mänskliga etiketten matchade idéernas källa. IdeaLens, ProseLens och EditLens använde en global 1 % FPR-tröskel; Pangram 4:s AI-, AI‑assisterade och mänskliga etiketter binäriserades; och Fast-DetectGPT, Binoculars, MELD och Desklib använde sina standardtrösklar.

Den bredare utvärderingen använde 19 externa referensramar, inklusive 14 som täckte helt mänskligt eller helt AI‑material, och 10 som innehöll mänskligt skrivande som senare redigerats av AI. Ytterligare 50 000 dokument inom domänen testades, medan 10 000 pre‑ChatGPT C4‑dokument användes för att bedöma falska positiva:

Testresultat som jämför detektorns noggrannhet när idéer och prosa har antingen samma eller olika ursprung. IdeaLens behåller hög noggrannhet i båda scenarierna, med 95.3 % för gemensam proveniens och 81.3 % för blandad proveniens; konkurrerande detektorer presterar avsevärt sämre när idéernas källa skiljer sig från proseens källa.

Genom 51 tester hämtade från 22 referensramar var IdeaLens den enda detektorn som presterade starkt när idéerna och prosa kom från antingen samma eller olika källor, med poängen 95.3 % respektive 81.3 %.

Till jämförelse nådde ProseLens och Pangram 4 över 98 % när idéer och prosa delade en källa, men sjönk till omkring 25 % när de inte gjorde det.

Författarna kommenterar dessa resultat*:

‘Eftersom ProseLens har samma grundstruktur, träningsdokument och träningsetiketter som IdeaLens, belyser detta effekten av vår outline‑representation, som ett ModernBERT-baserat par replikerar med en annan grundstruktur.’

‘IdeaLens överför också oväntat väl till råtextinmatningar vid testtid, och uppvisar hög noggrannhet för gemensam proveniens samt avsevärt högre noggrannhet för blandad proveniens än ProseLens.’

Alla tre detektorer identifierade framgångsrikt nästan alla de ursprungliga AI‑skrivna berättelserna. På TwiceTold identifierade IdeaLens AI‑ursprungliga idéer i 68 % av de mänskligt skrivna berättelserna, jämfört med 0 % för ProseLens och 8 % för Pangram 4:

IdeaLens tilldelar liknande AI‑sannolikheter till de ursprungliga AI‑skrivna berättelserna och de mänskligt skrivna TwiceTold‑versionerna baserat på samma AI‑genererade outlines, medan ProseLens AI‑sannolikheter faller kraftigt när prosa omskrivs av människor.

Trots att den tränats på engelska generaliserade IdeaLens över IdeaShift-X:s 24 språk, och flaggade 95.3 % av dokumenten baserade på AI‑idéer – men endast 0.7 % när en detaljerad mänsklig plan levererade idéerna. På 10 000 pre‑ChatGPT mänskliga dokument över samma språk var falsk‑positiv‑frekvensen endast 0.1 %.

Författarna medger att en större datamängd skulle vara önskvärd i framtida arbete, och att brusigheten i dataset‑etiketterna kan behöva åtgärdas. Ändå kan de som vill bygga vidare på detta intressanta första resultat vända sig till GitHub‑arkivet som papperets författare har gjort tillgängligt; och de som bara är nyfikna kan klistra in ‘suspect’ tester i projektets demowebbplats och själva bedöma om metoden stämmer överens med deras egna uppskattningar, eller med andras tillvägagångssätt.

Slutsats

Om en detekteringsmetod av detta slag är viktig beror på hur acceptans, integration eller avvisning av AI kommer att utvecklas (utan tvekan olika i olika sektorer och omständigheter) under de kommande 6–12 månaderna.

Det kan vara så att en politikers publik är mer förlåtande för dennes användning av AI för att polera och presentera sina egna ursprungliga idéer, än de skulle vara för en sladdrig presentation av idéer genererade av en LLM (trots allt, statistiskt sett är publiken troligen sympatiskt inställd till att använda AI som ett enkelt presentationshjälpmedel).

Men samtidigt, vad hoppas vi på från AI om inte att den ska producera perspektiv, idéer och alternativ som vi själva skulle ha förbises eller aldrig övervägt; och ur det perspektivet, är det verkligen en så dålig idé att låta maskinintelligensen ta ratten?

Nåväl, när det gäller optik, och med tanke på AI:s berömda och växande benägenhet för fel och – på sistone – felaktigt beteende, kanske det fortfarande är för tidigt att låta LLM:er skapa policyförslag, eller i allmänhet bli en drivande kraft i idéframtagning.

*Författarnas betoningar, inte mina, men min omvandling av författarnas inline-citat till hyperlänkar, där det behövs.

Först publicerad tisdag 6 oktober 2026