Personlige sprogmodeller er lette at lave – og sværere at opdage

Open-source-kopier af ChatGPT kan finjusteres i stor skala og med begrænset eller ingen ekspertise, hvilket faciliterer ‘private’ sprogmodeller, der undgår opdaging. De fleste værktøjer kan ikke spore, hvor disse modeller kommer fra eller hvad de er blevet trænet til at gøre, hvilket giver studerende og andre brugere mulighed for at generere AI-tekst uden at blive fanget; men en ny metode hævder, at den kan identificere disse skjulte varianter ved at spotte fælles ‘familie-karakteristika’ i modellernes output.

Ifølge en ny studie fra Canada er bruger-tilpassede AI-chat-modeller, lignende ChatGPT, i stand til at producere sociale medie-indhold, der ligner menneskeskrevet tekst, og som kan narre avancerede detektionsalgoritmer og mennesker.

Studiet siger:

‘En realistisk motiveret angriber er sandsynligvis til at finjustere en model til deres specifikke stil og brugsområde, da det er billigt og let at gøre. Med minimal indsats, tid og penge producerede vi finjusterede genereringsmodeller, der er i stand til at producere langt mere realistiske sociale medie-tweets, baseret på både sproglige funktioner og detektionsnøjagtighed, og verificerede gennem menneskelig annotation.’

Forfatterne understreger, at bruger-tilpassede modeller af denne type ikke er begrænset til kortform-sociale medie-indhold:

‘Selv om vi er motiveret af spredningen af AI-indhold på sociale medier og de associatede risici for astroturfing og påvirkningskampagner, understreger vi, at hovedresultaterne strækker sig over alle tekstdomæner.

‘Faktisk er finjustering af modeller til stil-specifik generering en generelt anvendelig metode, og en metode, der sandsynligvis allerede er i brug af mange generative AI-brugere – hvilket stiller spørgsmål ved, om eksisterende metoder til detektion af AIGT er lige så effektive i den virkelige verden som i forskningslaboratoriet.’

Som studiet observerer, er metoden, der bruges til at oprette disse tilpassede sprogmodeller, finjustering, hvor brugerne kuraterer en begrænset mængde af deres eget mål-data og indfører det i en stigende mængde af letanvendelige og billige online-træningsværktøjer.

For eksempel tilbyder det populære repository Hugging Face Large Language Model (LLM)-finjustering via en simplificeret interface, ved hjælp af deres AutoTrain Advanced-system, som enten kan køres for et par dollars gennem en online-GPU eller gratis, lokalt, hvis brugeren har tilstrækkelig hardware:

Forskellige prisstrukturer på tværs af GPU’er til Hugging Face AutoTrain-systemet. Kilde: https://huggingface.co/spaces/autotrain-projects/autotrain-advanced?duplicate=true

Andre simplificerede metoder og platforme inkluderer Axolotl, Unsloth og den mere avancerede, men krævende TorchTune.

Et eksempel på en brugs-case ville være en studerende, der er træt af at skrive sine egne essays, men frygter at blive fanget af online AI-detektionsværktøjer, som kan bruge deres egne historiske essays som træningsdata til at finjustere en meget effektiv åben kilde-model, såsom Mistral-serien.

Selv om finjustering af en model tenderer til at skæve dens præstation mod den ekstra træningsdata og forringe den samlede præstation, kan ’tilpassede’ modeller bruges til at ‘de-AI’ den stadig mere karakteristiske output fra systemer som ChatGPT, på en måde, der afspejler brugerens egen historiske stil (og, for øget autenticitet, deres mangler).

Men man kunne også udelukkende bruge en finjusteret model, der er specifikt trænet til en snæver opgave eller række af opgaver, såsom en LLM finjusteret på et bestemt universitetsmoduls kursusmateriale. En model så specifik ville have en myop, men langt dybere indsigt i det pågældende domæne end en almindelig LLM som ChatGPT, og ville sandsynligvis koste mindre end 10-20 dollars at træne.

Den skjulte LLM-iceberg

Det er svært at sige, hvad omfanget af praksis er. Anekdotisk set har jeg på diverse sociale medie-platforme for nylig set mange business-orienterede eksempler på LLM-finjustering – bestemt mange flere sådanne eksempler end for et år siden; i et tilfælde finjusterede en virksomhed en sprogmodel på deres eget publicerede thought leadership-materiale, som derefter kunne omdanne en ustruktureret Zoom-opkald med en ny kunde til en poleret B2B-post næsten i ét træk, på krav:

En model af den art kræver parret data (før og efter eksempler, i stor skala), hvorimod at skabe en personlig ‘glans’ af en bestemt forfatters karakteristika er en lettere opgave, mere lignende stil-overføring.

Selv om dette er en hemmelig jagt (trods adskillige overskrifter og akademiske studier om emnet), hvor tal ikke er tilgængelige, er den samme sunde fornuft, der fik TAKE IT DOWN-loven gennemført i år, også relevant her: det målrettede aktiviteten er mulig og billig, og der er en stærk sund fornuft-forståelse af, at potentielle brugere er højmotiverede.

Der er stadig nok friktion i de mest ‘dumbed-down’ online-finjusterings-systemer, så praksis med at utroværdigt træne og bruge finjusterede modeller forbliver en relativt niche-brugs-case – i hvert fald for øjeblikket – selv om det absolut ikke er uden for den traditionelle opfindsomhed af studerende.

PhantomHunter

Dette bringer os til den primære artikel her – en ny tilgang fra Kina, der samler en bred vifte af teknikker i en enkelt ramme – kaldet PhantomHunter – som hævder at kunne identificere outputtet fra finjusterede sprogmodeller, der ellers ville være gået under radaren som originalt menneskeskrevet arbejde.

Systemet er designet til at fungere, selv når den specifikke finjusterede model aldrig er blevet set før, og baserer sig i stedet på resterende spor efterladt af den oprindelige basis-model – som forfatterne karakteriserer som ‘familie-karakteristika’, der overlever finjusteringsprocessen.

I tests rapporterer artiklen – med titlen PhantomHunter: Detektion af usete privat-tilpassede LLM-genereret tekst via family-aware learning – stærk detektionsnøjagtighed, hvor systemet overgår zero-shot GPT-4-mini-evaluation^† i at spore en tekstprøve tilbage til dens model-familie.

Dette antyder, at jo mere en model bliver finjusteret, desto mere afslører den om sin afstamning, og modsiger antagelsen om, at privat finjustering altid maskerer en models oprindelse; i stedet kan finjusteringsprocessen efterlade et detekterbart fingeraftryk, der, hvis det læses korrekt, kan afsløre sandheden – i hvert fald indtil yderligere fremskridt, der synes at ankomme ugentligt nu.

Artiklen siger*:

‘[Maskin-genereret tekst]-detektion adskiller generelt LLM-genereret og menneskeskrevet tekst via binær klassificering. Eksisterende metoder enten lærer fælles tekstfunktioner delt mellem LLM’er ved hjælp af repræsentationslæring eller designer forskellige mål mellem menneske- og LLM-tekster baseret på LLM’ers interne signaler (f.eks. token-sandsynligheder).

‘For begge kategorier blev deres tests primært udført på data fra offentligt tilgængelige LLM’er, under antagelse af, at brugere genererer tekst ved hjælp af offentlige, standard-værktøjer.

‘Vi argumenterer for, at denne situation ændres på grund af den seneste udvikling i den åbne kilde LLM-fællesskab. Med hjælp fra platforme som HuggingFace og effektive LLM-træningsmetoder som low-rank-tilpasning (LoRA), er det blevet langt lettere at bygge finjusterede LLM’er med tilpassede private datasæt end før.

‘For eksempel har der været over 60.000 Llama-baserede afledte modeller på HuggingFace. Efter privat finjustering på ukendt korpus kunne de lærte karakteristika af basis-modellerne ændre sig, og LLMGT-detektorerne ville [fejle], hvilket skaber en ny risiko, nemlig at ondsindede brugere kan generere skadelig tekst privat uden at blive fanget af LLMGT-detektorer.

‘En ny udfordring opstår: Hvordan kan vi detektere tekst genereret af privat-tilpassede åbne kilde LLM’er?‘

Metode og træning

PhantomHunter-systemet bruger en familie-bevidst læringsstrategi, der kombinerer tre komponenter: en funktionsekstraktor, der fanger output-sandsynligheder fra kendte basis-modeller; en kontrastiv encoder trænet til at skelne mellem familier; og (som nævnt nedenfor) en blandings-eksperter-klassifikator, der tildeler familie-mærker til nye tekstprøver:

Schema for systemet. PhantomHunter behandler en tekstprøve ved først at trække sandsynlighedsfunktioner fra multiple basis-modeller, som derefter bliver kodet ved hjælp af CNN- og transformer-lag. Kilde: https://arxiv.org/pdf/2506.15683

PhantomHunter fungerer ved at sende en tekstprøve gennem flere kendte basis-modeller og optage, hvor sandsynligt hver af dem mener, at næste ord er, på hver enkelt trin. Disse mønstre bliver derefter ført ind i et neuralt netværk, der lærer at kende de karakteristiske træk ved hver model-familie.

Under træning sammenligner systemet tekster fra samme familie og lærer at gruppere dem sammen, mens det skelner mellem dem fra forskellige familier, hvilket hjælper med at identificere skjulte forbindelser mellem finjusterede modeller og deres basis-modeller.

MOE

For at afgøre, om en tekst er skrevet af en menneske eller en AI, bruger PhantomHunter en blandings-eksperter-system, hvor hver ‘ekspert’ er finjusteret til at detektere tekst fra en specifik model-familie.

Når systemet gætter, hvilken familie teksten sandsynligvis kommer fra, bruger det denne gæt til at afgøre, hvor meget vægt der skal tildeles hver eksperts mening. Disse vægtede meninger kombineres derefter for at træffe den endelige beslutning: AI eller menneske.

Træning af systemet indebærer multiple mål: at lære at genkende model-familier; at lære at skelne mellem AI-tekst og menneskeskrevet tekst; og at lære at skelne mellem forskellige familier ved hjælp af kontrastiv læring – mål, der afbalanceres under træning gennem justerbare parametre.

Ved at fokusere på mønstre, der deles på tværs af hver familie, i stedet for individuelle modellers særpræg, burde PhantomHunter i teorien være i stand til at detektere endda finjusterede modeller, den aldrig har set før.

Data og tests

For at udvikle data til tests koncentrerede forfatterne sig om de to mest almindelige akademiske scenarier: skrivning og spørgsmål-svar. For skrivning indsamlede de 69.297 abstrakter fra Arxiv-arkivet, opdelt i primære domæner. For spørgsmål-svar blev 2.062 par indsamlet fra HC3-datasættet på tværs af tre emner: ELI5; økonomi; og medicin:

Liste over datakilder og antal af disse, i data indsamlet til studiet.

I alt blev 12 modeller trænet til testen. De tre basis-modeller var LLaMA-2 7B-Chat; Mistral 7B-Instruct-v0.1; og Gemma 7B-it), hvorfra ni finjusterede varianter blev udledt, hver tilpasset til at efterligne en anden domæne eller forfatter-stil, ved hjælp af domæne-specifikke data:

Statistik over evalueringssættet, hvor ‘FT-domæne’ henviser til domænet, der blev brugt under finjustering, og ‘basis’ angiver ingen finjustering.

I alt blev tre basis-modeller finjusteret ved hjælp af både fuld-parameter og LoRA-teknikker på tværs af tre forskellige domæner i hver af to brugs-scenarier: akademisk abstrakt-skrivning og spørgsmål-svar. For at reflektere virkelige detektions-udfordringer blev modeller, der var finjusteret på computer-science-data, holdt tilbage fra skrivningstestene, mens de, der var finjusteret på økonomi-data, blev holdt tilbage fra spørgsmål-svar-evalueringerne.

Anden konkurrerende rammer, der blev valgt, var RoBERTa; T5-Sentinel; SeqXGPT; DNA-GPT; DetectGPT; Fast-DetectGPT; og DeTeCtive.

PhantomHunter blev trænet ved hjælp af to typer neurale netværkslag: tre konvolutionslag med max-pooling for at fange lokale tekst-mønstre, og to transformer-lag med fire opmærksomheds-hoveder hver til at modelere længere-rækkende relationer.

For kontrastiv læring, der opmuntrer systemet til at skelne mellem forskellige model-familier, blev temperatur-parametren sat til 0,07.

Trænings-målet kombinerede tre tab-termer: L1 (for familie-klassificering) og L2 (for binær detektion), hver vægtet til 1,0, og L3 (for kontrastiv læring), vægtet til 0,5.

Modellen blev optimeret ved hjælp af Adam med en læringsrate på 2e-5 og en batch-størrelse på 32. Træning fandt sted i ti fulde epoch, med den bedst-presterende checkpoint valgt ved hjælp af en validerings-sæt. Alle eksperimenter blev udført på en server med fire NVIDIA A100-GPU’er.

Mål, der blev brugt, var F1-scoring for hver test-under-sæt, sammen med sandt positiv rate, til sammenligning med kommercielle detektorer.

F1-scores for detektion af tekst fra usete finjusterede sprogmodeller. De to bedste resultater i hver kategori er fremhævet og understreget.

Resultaterne af den første test, visualiseret i tabellen ovenfor, viser, at PhantomHunter overgår alle baseline-systemer, og opretholder F1-scores over 90% for både menneskeskrevet og maskin-genereret tekst, selv når det evalueres på output fra finjusterede modeller, der ikke var inkluderet i træningen.

Forfatterne kommenterer:

‘Med fuld finjustering forbedrer PhantomHunter MacF1-scoren over den bedste baseline med 3,65% og 2,96% på begge datasæt, henholdsvis; og med LoRA-finjustering er forbedringerne 2,01% og 6,09% henholdsvis.

‘Resultatet demonstrerer PhantomHunters kraftfulde detektions-evne for tekster genereret af usete finjusterede LLM’er.’

Ablations-studier blev gennemført for at vurdere rollen af hver kerne-komponent i PhantomHunter. Når enkelt-komponenter blev fjernet, såsom funktionsekstraktoren, kontrastiv encoderen eller blandings-eksperter-klassifikatoren, blev der observeret en konsekvent nedgang i nøjagtighed, hvilket indikerer, at arkitekturen afhænger af samarbejdet mellem alle dele.

Forfatterne undersøgte også, om PhantomHunter kunne generalisere ud over sin trænings-distribution, og fandt ud af, at selv når den blev anvendt på output fra basis-modeller, der ikke var til stede under træning, fortsatte den med at overgå rivaliserende metoder – hvilket antyder, at familie-niveau-signaturer forbliver detekterbare på tværs af finjusterede varianter.

Konklusion

Et argument til fordel for bruger-trænet generative sprogmodeller er, at de i hvert fald bevare den enkelte forfatters smag og særpræg i en klima, hvor den generiske, SEO-inspirerede stil af AI-chatbots truer med at gøre enhver sprog generisk, hvor AI bliver en stor eller dominerende bidragsyder.

Med værdiforringen af college-essayet, og med studerende, der nu skærmbaserer kæmpe skrive-sessioner for at bevise, at de ikke brugte AI på deres indsendelser, overvejer flere lærere uden for Europa (hvor mundtlige eksaminationer er normalt) mundtlige eksaminationer som et alternativ til indsendt tekst. Mere nyligt er der blevet foreslået en tilbagevenden til håndskrevet arbejde.

Argumenterbart er begge løsninger bedre end det, der truer med at blive en LLM-baseret gentagelse af deepfake-våbenkapløbet; selv om de kommer på bekostning af menneskelig indsats og opmærksomhed, som tech-kulturen i øjeblikket stræber efter at automatisere væk.

^† Vær venlig at se slutningen efter hovedresultaterne i kilde-artiklen for detaljer om dette.

* Min konvertering af forfatternes inline-citationer til hyperlinks. Forfatternes tekst-eksponenter, ikke mine.

Først publiceret torsdag, 19. juni 2025