Personliga språkmodeller är lätta att skapa – och svårare att upptäcka

Öppen källkods-kloner av ChatGPT kan finjusteras i stor skala och med begränsad eller ingen expertis, vilket möjliggör “privata” språkmodeller som undgår upptäckt. De flesta verktyg kan inte spåra var dessa modeller kommer från eller vad de har tränats för, vilket tillåter studenter och andra användare att generera AI-text utan att bli upptäckta; men en ny metod hävdar att den kan identifiera dessa dolda varianter genom att upptäcka delade “familjekaraktärer” i modellernas utdata.

Enligt en ny studie från Kanada kan användar-anpassade AI-chattmodeller, liknande ChatGPT, producera sociala medieinnehåll som liknar mänskligt skrivande och som kan lura avancerade upptäcktsalgoritmer och människor.

Studien hävdar:

‘En realistiskt motiverad angripare kommer sannolikt att finjustera en modell för sin specifika stil och användningsfall, eftersom det är billigt och enkelt att göra. Med minimal ansträngning, tid och pengar producerade vi finjusterade generatorer som är kapabla att producera mycket mer realistiska sociala medieinlägg, baserat på både språkliga funktioner och upptäcktsnoggrannhet, och verifierade genom mänskliga annoteringar.’

Författarna betonar att anpassade modeller av denna typ inte är begränsade till kortformigt socialt medieinnehåll:

‘Även om vi motiverades av spridningen av AI-innehåll på sociala medier och de associerade riskerna med astroturfing och påverkanskampanjer, betonar vi att de viktigaste resultaten sträcker sig över alla textdomäner.

‘Verkligen, finjustering av modeller för stil-specifik textgenerering är en allmänt tillämplig metod, och en som sannolikt redan används av många generativa AI-användare – vilket ifrågasätter om befintliga metoder för att upptäcka AI-genererad text är lika effektiva i den verkliga världen som i forskningslaboratoriet.’

Som studien observerar är metoden som används för att skapa dessa anpassade språkmodeller finjustering, där användare kuraterar en begränsad mängd av sin egen måldata och matar in den i en ökande mängd enkla och billiga online-träningsverktyg.

Till exempel erbjuder den populära repot Hugging Face stor skala modellfinjustering via en förenklad gränssnitt, med hjälp av dess AutoTrain Advanced-system, som antingen kan köras för några dollar via en online-GPU eller gratis, lokalt, om användaren har tillräcklig hårdvara:

Olika priskategorier för de tillgängliga GPU:erna i Hugging Face AutoTrain-systemet. Källa: https://huggingface.co/spaces/autotrain-projects/autotrain-advanced?duplicate=true

Andra förenklade metoder och plattformar inkluderar Axolotl, Unsloth och den mer kapabla men krävande TorchTune.

Ett exempel på användningsfall skulle vara en student som är trött på att skriva sina egna uppsatser, men fruktar att bli upptäckt av online-AI-upptäcktsverktyg, som kan använda sina egna verkliga historiska uppsatser som träningsdata för att finjustera en effektiv öppen källkodsmodell som Mistral-serien.

Även om finjustering av en modell tenderar att snedvrida dess prestanda mot den extra träningsdatan och försämra den övergripande prestandan, kan “anpassade” modeller användas för att “av-AI”-fiera den alltmer distinkta utmatningen från system som ChatGPT, på ett sätt som återspeglar användarens egen historiska stil (och, för ökad autenticitet, deras brister).

Men man kunde uteslutande använda en finjusterad modell som specifikt tränats för en smal uppgift eller ett smalt område, som en LLM finjusterad på en specifik universitetsmodul. En modell så specifik skulle ha en myopisk men långt djupare insikt i det området än en allmän LLM som ChatGPT, och skulle troligen kosta mindre än 10-20 dollar att träna.

LLM-isberget

Det är svårt att säga vad omfattningen av denna praxis är. Anekdotiskt, på olika sociala medieplattformar, har jag nyligen sett många exempel på LLM-finjustering inom företagsvärlden – definitivt fler sådana exempel än för ett år sedan; i ett fall finjusterade ett företag en språkmodell på sina egna publicerade tankesledarartiklar, som sedan kunde omvandla en oorganiserad Zoom-samtal med en ny kund till en polerad B2B-inlägg nästan i ett enda steg, på begäran.

En modell av den typen kräver parad data (före och efter exempel, i stor skala), medan skapandet av en personlig “glans” av en specifik författares karaktärsdrag är en enklare uppgift, mer lik stilöverföring.

Även om detta är en hemlig strävan (trots många rubriker och akademiska studier på ämnet), där siffror inte är tillgängliga, är det samma sunda förnuft som ledde till att TAKE IT DOWN-lagen antogs i år som gäller här: målet är möjligt och billigt, och det finns en stark sunda förnuftsförståelse att potentiella användare är mycket motiverade.

Det finns fortfarande tillräckligt med friktion kvar i de mest “avdummade” online-finjusteringssystemen så att praxisen att ohederligt träna och använda finjusterade modeller förblir en relativt nischad användningsfall – för tillfället – även om det inte är bortom den traditionella uppfinningsrikedomen hos studenter.

PhantomHunter

Detta leder oss till den viktigaste studien här – en ny metod från Kina som samlar en mängd olika tekniker i en enda ram – kallad PhantomHunter – som hävdar att den kan identifiera utmatningen från finjusterade språkmodeller som annars skulle kunna passera som original mänskligt arbete.

Systemet är utformat för att fungera även när den specifika finjusterade modellen aldrig har setts förut, och istället förlitar sig på resterande spår som lämnats av den ursprungliga basmodellen – som författarna karakteriserar som “familjekaraktärer” som överlever finjusteringsprocessen.

I tester rapporterar studien – med titeln PhantomHunter: Upptäckt av osynligt privat-tränade LLM-genererad text via familjemedveten inlärning – stark upptäcktsnoggrannhet, där systemet presterar bättre än zero-shot GPT-4-mini-utvärdering^† i att spåra tillbaka en textprov till dess modellfamilj.

Detta tyder på att ju mer en modell finjusteras, desto mer avslöjar den om sin bakgrund, och motsäger antagandet att privat finjustering alltid döljer en modells ursprung; istället kan finjusteringsprocessen lämna ett upptäckbart fingeravtryck som, om det läses rätt, avslöjar modellens ursprung – åtminstone tills vidare, med tanke på de snabba framstegen som verkar dyka upp varje vecka.

Studien hävdar*:

‘[Maskin-genererad text]-upptäckt skiljer vanligtvis LLM-genererad och mänskligt skriven text via binär klassificering. Befintliga metoder antingen lär sig gemensamma textfunktioner som delas över LLM:er med hjälp av representationinlärning eller utformar urskiljbara mått mellan mänskliga och LLM-texter baserat på LLM:ers interna signaler (t.ex. token-sannolikhet).

‘För båda kategorierna utfördes deras tester främst på data från offentligt tillgängliga LLM:er, med antagandet att användare genererar text med hjälp av offentliga, färdiga tjänster.

‘Vi hävdar att denna situation förändras på grund av den senaste utvecklingen inom den öppna källkods-LLM-gemenskapen. Med hjälp av plattformar som HuggingFace och effektiva LLM-träningsmetoder som låg-rank-anpassning (LoRA), har det blivit mycket enklare att bygga finjusterade LLM:er med anpassade privata datamängder än tidigare.

‘Till exempel har det funnits över 60 000 Llama-baserade derivatmodeller på HuggingFace. Efter privat finjustering på okända korpus kunde de inlärda egenskaperna hos basmodellerna förändras och LLMGT-upptäckarna kunde [misslyckas], vilket skapar en ny risk att illvilliga användare kan generera skadliga texter privat utan att upptäckas av LLMGT-upptäckarna.

‘En ny utmaning uppstår: Hur kan man upptäcka text genererad av privat-tränade öppen källkods-LLM:er?‘

Metod och tränning

PhantomHunter-systemet använder en familjemedveten inlärningsstrategi, som kombinerar tre komponenter: en funktionsextraherare som fångar utmatningssannlikhet från kända basmodeller; en kontrastiv encoder som tränas för att skilja mellan familjer; och (som beskrivs nedan) en blandning av experter-klassificerare som tilldelar familj-etiketter till nya textprover:

Schema för systemet. PhantomHunter bearbetar ett textprov genom att först extrahera sannlikhetsegenskaper från flera basmodeller, som sedan kodas med hjälp av CNN- och transformerlager. Källa: https://arxiv.org/pdf/2506.15683

PhantomHunter fungerar genom att passera en text genom flera kända basmodeller och spela in hur sannolikt varje modell tror att nästa ord är, vid varje steg. Dessa mönster matas sedan in i ett neuronnät som lär sig de karakteristiska egenskaperna hos varje modellfamilj.

Under tränning jämför systemet texter från samma familj och lär sig att gruppera dem tillsammans, samtidigt som det skiljer mellan texter från olika familjer, vilket hjälper till att identifiera dolda samband mellan finjusterade modeller och deras basmodeller.

MOE

För att bestämma om en text är skriven av en människa eller av AI använder PhantomHunter ett blandning av experter-system, där varje “expert” är finjusterad för att upptäcka text från en specifik modellfamilj.

När systemet gissar vilken familj texten troligen kommer från, använder det den gissningen för att bestämma hur stor vikt som ska ges till varje experts åsikt. Dessa viktade åsikter kombineras sedan för att fatta det slutliga beslutet: AI eller människa.

Träningsprocessen omfattar flera mål: att lära sig att känna igen modellfamiljer; att lära sig att skilja AI-text från mänskligt skriven text; och att lära sig att skilja olika familjer med hjälp av kontrastiv inlärning – mål som balanseras under tränning genom justerbara parametrar.

Genom att fokusera på mönster som delas över varje familj, snarare än egenskaper hos enskilda modeller, bör PhantomHunter i teorin kunna upptäcka även finjusterade modeller som den aldrig har sett förut.

Data och tester

För att utveckla data för tester koncentrerade sig författarna på de två vanligaste akademiska scenarierna: skrivande och frågesvar. För skrivande samlade de in 69 297 abstrakt från Arxiv-arkivet, indelade i primära domäner. För frågesvar samlade de in 2 062 par från HC3-databasen över tre ämnen: ELI5; finans; och medicin:

Lista över datakällor och antal, i data som samlats in för studien.

Totalt tolv modeller tränades för testet. De tre basmodellerna var LLaMA-2 7B-Chat; Mistral 7B-Instruct-v0.1; och Gemma 7B-it), från vilka nio finjusterade varianter skapades, var och en anpassad för att efterlikna en annan domän eller författarstil, med hjälp av domänspecifik data:

Statistik över utvärderingsdatabasen, där ‘FT-domän’ hänvisar till domänen som användes under finjustering och ‘bas’ indikerar ingen finjustering.

Totalt sett tränades alltså tre basmodeller med hjälp av både fullparameter- och LoRA-teknik över tre olika domäner i var och en av två användningsfall: akademiskt skrivande och frågesvar. För att återspegla verkliga upptäcktsutmaningar hölls modeller som finjusterats på datormodelldata utanför skrivtestet, medan de som finjusterats på finansiell data hölls utanför frågesvarstesterna.

Jämförbara ramverk som valdes var RoBERTa; T5-Sentinel; SeqXGPT; DNA-GPT; DetectGPT; Fast-DetectGPT; och DeTeCtive.

PhantomHunter tränades med hjälp av två typer av neuronnättslager: tre konvolutionslager med maxpooling för att fånga lokala textmönster, och två transformerlager med fyra uppmärksamhetsenheter vardera för att modellera längre relationer.

För kontrastiv inlärning, som uppmuntrar systemet att skilja mellan olika modellfamiljer, sattes temperaturparametern till 0,07.

Träningsmålet kombinerade tre förlusttermer: L1 (för familjeklassificering) och L2 (för binär upptäckt), var och en viktad vid 1,0, och L3 (för kontrastiv inlärning), viktad vid 0,5.

Modellen optimerades med hjälp av Adam med en inlärningshastighet på 2e-5 och en batchstorlek på 32. Träningsprocessen pågick i tio fulla epoker, med den bäst presterande kontrollpunkten vald med hjälp av en valideringsuppsättning. Alla experiment utfördes på en server med fyra NVIDIA A100-GPU:er.

Mätetal som användes var F1-poäng för varje testundermängd, tillsammans med sann positiv frekvens, för jämförelse med kommersiella upptäckare.

F1-poäng för upptäckt av text från osynliga finjusterade språkmodeller. De två bästa resultaten i varje kategori är i fetstil och understrukna.

Resultaten från den första testningen, visualiserad i tabellen ovan, visar att PhantomHunter presterade bättre än alla jämförbara system, med F1-poäng över 90 procent för både mänskligt skriven och maskin-genererad text, även när de utvärderades på utmatning från finjusterade modeller som uteslutits från träningsprocessen.

Författarna kommenterar:

‘Med full finjustering förbättrar PhantomHunter MacF1-poängen med 3,65 procent och 2,96 procent på båda dataseten, respektive; och med LoRA-finjustering är förbättringarna 2,01 procent och 6,09 procent, respektive.

‘Resultatet visar PhantomHunters kraftfulla upptäcktsförmåga för text genererad av osynliga finjusterade LLM:er.’

Ablationsstudier utfördes för att utvärdera rollen av varje kärnkomponent i PhantomHunter. När enskilda komponenter togs bort, som till exempel funktionsextraheraren, kontrastivkodaren eller blandningen av experter-klassificeraren, observerades en konsekvent minskning av noggrannheten, vilket indikerar att arkitekturen förlitar sig på samarbetet mellan alla delar.

Författarna undersökte också om PhantomHunter kunde generalisera bortom sin träningsfördelning, och fann att även när den tillämpades på utmatning från basmodeller som inte var närvarande under träningsprocessen fortsatte den att prestera bättre än jämförbara metoder – vilket tyder på att familj-nivåsignaturer förblir upptäckbara över finjusterade varianter.

Slutsats

Ett argument till förmån för användar-tränade generativa språkmodeller är att de åtminstone bevarar den individuella smaken och egenheterna hos en författare, i en tid då den generiska, SEO-inspirerade stilen hos AI-chattbotar hotar att göra alla språk generiska där AI blir en stor eller dominant bidragande faktor.

Med avvärdet av den akademiska uppsatsen, och med studenter som nu screencastar enorma skrivsessioner för att bevisa att de inte använde AI på sina inlämningsuppgifter, överväger fler lärare utanför Europa (där muntliga tentor är normala) muntliga tentor som ett alternativ till inlämningsuppgifter. Mer nyligen har ett återgång till handskrivet arbete föreslagits.

Det kan hävdas att båda dessa lösningar är överlägsna vad som hotar att bli en LLM-baserad upprepning av deepfake-vapenkapplöpningen; även om de kommer till en kostnad av mänskligt arbete och uppmärksamhet, som techkulturen för närvarande strävar efter att automatisera bort.

^† Vänligen se slutsektionen efter huvudresultaten i källpapperet för detaljer om detta.

* Min omvandling av författarnas inline-citationer till hyperlänkar. Författarnas textemfas, inte min.

Publicerad första gången torsdagen den 19 juni 2025