Personlige språkmodeller er lett å lage – og vanskeligere å oppdage

Åpne kildekoder-kloner av ChatGPT kan finjusteres i stor skala og med begrenset eller ingen ekspertise, noe som muliggjør “private” språkmodeller som unngår oppdaging. De fleste verktøy kan ikke spore hvor disse modellene kommer fra eller hva de er trent til å gjøre, noe som tillater studenter og andre brukere å generere AI-tekst uten å bli tatt; men en ny metode hevder at den kan identifisere disse skjulte variantene ved å oppdage felles “familieegenskaper” i modellenes utdata.

Ifølge en ny studie fra Canada, kan bruker-tilpassede AI-samtalemodeller, lignende ChatGPT, produsere sosiale medieinnhold som ligner menneskeskrevet tekst, og som kan narre statens avanserte detekteringsalgoritmer og mennesker alike.

Studien sier:

‘En realistisk motivert angriper er sannsynligvis å finjustere en modell for sin spesifikke stil og brukssammenheng, ettersom det er billig og enkelt å gjøre det. Med minimal innsats, tid og penger, produserte vi finjusterte generatorene som er i stand til å produsere mye mer realistiske sosiale medie-tweets, basert på både lingvistiske egenskaper og detekteringsnøyaktighet, og verifisert gjennom menneskelige annotasjoner.’

Forfatterne betoner at slike tilpassede modeller ikke er begrenset til kortformet sosialt medieinnhold:

‘Selv om motivert av spredningen av AI-innhold på sosiale medier, og de tilhørende risikoene for astroturfing og påvirkningskampanjer, betoner vi at hovedfunnene strekker seg over alle tekstområder.

‘I virkeligheten er finjustering av modeller for stilspesifikk tekstgenerering en generelt anvendelig metode, og en som sannsynligvis allerede er i bruk av mange generative AI-brukere – noe som stiller spørsmål ved om eksisterende metoder for å detektere AIGT er like effektive i den virkelige verden som i forskningslaboratoriet.’

Som studien observerer, er metoden som brukes for å lage disse tilpassede språkmodellene finjustering, der brukerne kuraterer en begrenset mengde eget måldata og fôrer det inn i en økende mengde enkle og billige online-treningssystemer.

For eksempel tilbyr det populære repositoriet Hugging Face LLM-finjustering via en forenklet grensesnitt, ved hjelp av sin AutoTrain Advanced-system, som enten kan kjøres for noen få dollar gjennom en online-GPU eller gratis, lokalt, hvis brukeren har adekvat maskinvare:

Forskjellige prisstrukturer over hele rekken av GPU-er tilgjengelig for Hugging Face AutoTrain-systemet. Kilde: https://huggingface.co/spaces/autotrain-projects/autotrain-advanced?duplicate=true

Andre forenklede metoder og plattformer inkluderer Axolotl, Unsloth og den mer avanserte, men krevende TorchTune.

Et eksempel på en brukskase ville være en student som er lei av å skrive sine egne essays, men frykter å bli tatt av online AI-detekteringsverktøy, som kan bruke sine egne historiske essays som treningsdata for å finjustere en svært effektiv åpen kildekodemodell som Mistral-serien.

Selv om finjustering av en modell tenderer til å skjeve dens ytelse mot den ekstra treningsdataen og forringe den generelle ytelsen, kan “tilpassede” modeller brukes til å “de-AI” den stadig mer karakteristiske utdataen fra systemer som ChatGPT, på en måte som reflekterer brukerens egen historiske stil (og, for økt autentisitet, deres mangler).

Men en kunne eksklusivt bruke en finjustert modell som var spesifikt trent for en smal oppgave eller en rekke oppgaver, som en LLM finjustert på kursmaterialet for et bestemt universitetsmodul. En modell så spesifikk ville ha en myop, men langt dypere innsikt i det domenet enn en all-purpose LLM som ChatGPT, og ville sannsynligvis koste mindre enn 10-20 dollar å trene.

LLM-isbreen

Det er vanskelig å si hva skalaen på denne praksisen er. Anekdotisk, på ulike sosiale medieplattformer, har jeg nylig kommet over mange forretningsorienterte eksempler på LLM-finjustering – sannsynligvis mange flere slike eksempler enn for et år siden; i ett tilfelle finjusterte et selskap en språkmodell på sine egne publiserte tankerleder-artikler, som deretter kunne konvertere en uferdig Zoom-samtale med en ny kunde til en polert B2B-innlegg nesten i ett løp, på forespørsel.

En modell av denne typen krever parret data (før og etter eksempler, i stor skala), mens å lage en personlig “glans” av en bestemt forfatters karakteristika er en enklere oppgave, mer lignende stiloverføring.

Selv om dette er en hemmelig aktivitet (til tross for tallrike overskrifter og akademiske studier på dette temaet), hvor tall er ikke tilgjengelige, er det samme sunne fornuft som førte TAKE IT DOWN-loven inn i loven i år, som gjelder her: aktiviteten er mulig og billig, og det er en sterk sunn fornuft-forståelse av at potensielle brukere er høyt motiverte.

Det er bare nok friksjon igjen i de mest “forenklede” online-finjusteringssystemene, så praksisen med å utroelige trene og bruke finjusterte modeller forblir en relativt nisjeaktig brukssak – for øyeblikket – selv om det sannsynligvis ikke er utenfor de tradisjonelle oppfinnsomhetene til studenter.

PhantomHunter

Dette fører oss til hovedstudien her – en ny tilnærming fra Kina som samler en rekke teknikker i ett enkelt rammeverk – kalt PhantomHunter – som hevder å kunne identifisere utdata fra finjusterte språkmodeller som ellers ville bli oppfattet som originalt menneskeskrevet arbeid.

Systemet er designet for å fungere selv når den spesifikke finjusterte modellen aldri har vært møtt før, og baserer seg i stedet på resterende spor etterlatt av den opprinnelige basismodellen – som forfatterne karakteriserer som “familieegenskaper” som overlever finjusteringsprosessen.

I tester rapporterer studien – med tittelen PhantomHunter: Detecting Unseen Privately-Tuned LLM-Generated Text via Family-Aware Learning – sterke detekteringsnøyaktigheter, med systemet som overgår zero-shot GPT-4-mini-evaluering^† i å spore en tekstprøve tilbake til sin modellfamilie.

Dette antyder at jo mer en modell er finjustert, jo mer avslører den om sin avstamning, og motsier antagelsen om at privat finjustering alltid skjuler en modells opphav; i stedet kan finjusteringsprosessen etterlate et merkbart fingeravtrykk som, hvis det leses riktig, kan avsløre modellens opphav – i alle fall, frem til videre fremgang som synes å ankomme ukentlig nå.

Studien sier*:

‘[Maskin-generert tekst] deteksjon skiller vanligvis LLM-generert og menneskeskrevet tekst via binær klassifikasjon. Eksisterende metoder enten lærer felles tekstegenskaper delt mellom LLM-er ved hjelp av representasjonslæring eller designer skillelige mål mellom menneske- og LLM-tekster basert på LLM-ers interne signaler (f.eks. token-sannsynlighet).

‘For begge kategorier ble testene hovedsakelig utført på data fra offentlig tilgjengelige LLM-er, med antagelse om at brukerne genererer tekst ved hjelp av offentlige, ferdige tjenester.

‘Vi argumenterer for at denne situasjonen endres på grunn av den nylige utviklingen av den åpne kildekodemodell-samfunnet. Med hjelp av plattformer som HuggingFace og effektive LLM-treningsteknikker som lav-rank-tilpasning (LoRA), har bygging av finjusterte LLM-er med tilpassede private datasett blitt mye enklere enn før.

‘For eksempel har det vært over 60 000 Llama-baserte derivatmodeller på HuggingFace. Etter privat finjustering på ukjent korpus, kunne de lærte egenskapene til basismodellene endre seg og LLMGT-detektorer ville [feile], og forme en ny risiko som påståtte brukere kan generere skadelig tekst privat uten å bli tatt av LLMGT-detektorer.

‘En ny utfordring oppstår: How to detect text generated by privately-tuned open-source LLMs?‘

Metode og trening

PhantomHunter-systemet bruker en familiebevisst læringsstrategi, som kombinerer tre komponenter: en egenskaps-ekstraktor, som fanger utdata-sannsynligheter fra kjente basismodeller; en kontrastiv encoder trent til å skille mellom familier; og (som detaljert nedenfor) en blandings-eksperter-klassifikator som tilordner familie-merker til nye tekstprøver:

Schema for systemet. PhantomHunter prosesserer en tekstprøve ved først å ekstrahere sannsynlighets-egenskaper fra flere basismodeller, som deretter blir kodet ved hjelp av CNN- og transformer-lag. Kilde: https://arxiv.org/pdf/2506.15683

PhantomHunter fungerer ved å sende en tekstprøve gjennom flere kjente basismodeller og registrere hvor sannsynlig hver enkelt modell mener neste ord er, på hver enkelt trinn. Disse mønsterne blir deretter ført inn i et neuralt nettverk som lærer å skille mellom hver modell-familie.

Under trening sammenligner systemet tekst fra samme familie og lærer å gruppere dem sammen, mens den skiller mellom tekst fra ulike familier, og hjelper å identifisere skjulte sammenhenger mellom finjusterte modeller og deres basismodeller.

MOE

For å bestemme om en tekstprøve er skrevet av en menneske eller en AI, bruker PhantomHunter en blandings-eksperter-system, hvor hver “eksperter” er finjustert til å detektere tekst fra en bestemt modell-familie.

Når systemet gjettet hvilken familie tekstprøven mest sannsynlig kommer fra, bruker den denne gjettet til å bestemme hvor mye vekt å gi hver eksperter mening. Disse vektede meninger kombineres deretter for å gjøre den endelige avgjørelsen: AI eller menneske.

Trening av systemet involverer flere mål: å lære å gjenkjenne modell-familier; å lære å skille AI-tekst fra menneskeskrevet tekst; og å lære å skille ulike familier ved hjelp av kontrastiv læring – mål som balanseres under trening gjennom justerbare parametre.

Ved å fokusere på mønster som deles over hver familie, i stedet for individuelle modell-egenskaper, bør PhantomHunter i teorien være i stand til å detektere selv finjusterte modeller det aldri har sett før.

Data og tester

For å utvikle data for tester, konsentrerte forfatterne seg om de to mest vanlige akademiske scenariene: skriving og spørsmål-svar. For skriving samlet de inn 69 297 abstrakter fra Arxiv-akademisk arkiv, delt inn i primære domener. For spørsmål-svar ble 2 062 par samlet inn fra HC3-datasettet over tre emner: ELI5; finans; og medisin:

Liste over datakilder og antall, i data samlet for studien.

I alt ble tolv modeller trent for testen. De tre basis-modellene var LLaMA-2 7B-Chat; Mistral 7B-Instruct-v0.1; og Gemma 7B-it), fra hvilke ni finjusterte varianter ble laget, hver tilpasset til å etterligne en annen domene eller forfatterstil, ved hjelp av domene-spesifikt data:

Statistikk over evaluering-datasettet, hvor ‘FT-dome’ henviser til domenet brukt under finjustering og ‘basis’ indikerer ingen finjustering.

I alt ble derfor tre basis-modeller finjustert ved hjelp av både full-parameter og LoRA-teknikker over tre ulike domener i hver av to bruksscenarier: akademisk abstrakt-skriving og spørsmål-svar. For å reflektere virkelige detekteringsutfordringer, ble modeller finjustert på data fra informatikk-fagene, holdt tilbake fra skrivingstestene, mens de finjustert på data fra finans-fagene ble holdt tilbake fra spørsmål-svartestene.

Rivaliserende rammeverk valgt var RoBERTa; T5-Sentinel; SeqXGPT; DNA-GPT; DetectGPT; Fast-DetectGPT; og DeTeCtive.

PhantomHunter ble trent ved hjelp av to typer neurale nettverkslag: tre konvolusjonslag med max-pooling for å fange lokale tekst-mønster, og to transformer-lag med fire oppmerksomhets-hoder hver for å modellere lengre-rekkeforhold.

For kontrastiv læring, som oppmuntrer systemet til å skille mellom ulike modell-familier, ble temperatur-parameteren satt til 0,07.

Trening-målet kombinerte tre tap-termer: L1 (for familie-klassifikasjon) og L2 (for binær deteksjon), hver vektet på 1,0, og L3 (for kontrastiv læring), vektet på 0,5.

Modellen ble optimert ved hjelp av Adam med en læringsrate på 2e-5 og en batch-størrelse på 32. Trening skjedde over ti fullstendige epoker, med det beste utførende checkpoint valgt ved hjelp av en valideringssett. Alle eksperimenter ble utført på en server med fire NVIDIA A100-GPU-er.

Mål brukt var F1-scoring for hver test-undergruppe, sammen med sann positiv rate, for sammenligning med kommersielle detektorer.

F1-poeng for å detektere tekst fra usette finjusterte språkmodeller. De to beste resultater i hver kategori er uthevet og understreket.

Resultatene av den innledende testen, visualisert i tabellen ovenfor, viser at PhantomHunter overgikk alle baseline-systemer, og opprettholdt F1-poeng over 90 prosent for både menneskeskrevet og maskin-generert tekst, selv når evaluert på utdata fra finjusterte modeller som var ekskludert fra trening.

Forfatterne kommenterer:

‘Med full finjustering, forbedrer PhantomHunter MacF1-poeng over den beste baseline med 3,65 prosent og 2,96 prosent på begge datasett, henholdsvis; og med LoRA-finjustering, er forbedringene 2,01 prosent og 6,09 prosent, henholdsvis.

‘Resultatet demonstrerer PhantomHunters kraftige detekterings-evne for tekst generert av usette finjusterte LLM-er.’

Ablations-studier ble gjennomført for å vurdere rollen til hver kjerne-komponent i PhantomHunter. Når enkelt-elementer ble fjernet, som for eksempel egenskaps-ekstraktoren, den kontrastive encoderen eller blandings-eksperter-klassifikatoren, ble det observert en konsekvent nedgang i nøyaktighet, noe som indikerer at arkitekturen avhenger av koordinasjonen av alle deler.

Forfatterne undersøkte også om PhantomHunter kunne generalisere utenfor sin trening-distribusjon, og fastslo at selv når den ble anvendt på utdata fra basis-modeller som ikke var til stede under trening, fortsatte den å overgå rival-metoder – noe som antyder at familie-nivå-signaturer forblir detekterbare over finjusterte varianter.

Konklusjon

Et argument til fordel for bruker-trente generative språkmodeller er at de i alle fall bevare den individuelle smaken og eksentrisiteten til en forfatter, i en klima hvor den generiske, SEO-inspirerte idiom av AI-chatboter truer med å generisere noen språk hvor AI blir en stor eller dominant bidragsyter.

Med avverdien av college-essay, og med studenter som nå screencaster enorme skrivingssesjoner for å bevise at de ikke brukte AI på sine innleveringer, overveier flere lærere utenfor Europa (hvor muntlige eksamen er normalisert) muntlige eksamen som et alternativ til innleverte tekster. Mer nylig er det blitt foreslått en tilbakevending til håndskrevet arbeid.

Argumenterbart er begge disse løsningene bedre enn hva som truer med å bli en LLM-basert gjentakelse av deepfake-våpenkappløpet; selv om de kommer på bekostning av menneskelig innsats og oppmerksomhet, som teknologikulturen for tiden prøver å automatisere bort.

^† Vennligst se slutten av hovedresultatene, i kilde-papiret, for detaljer om dette.

* Min konvertering av forfatternes inline-citater til hyperlenker. Forfatternes tekst-aksent, ikke min.

Først publisert torsdag, 19. juni 2025