Persoonlijke taalmodellen zijn gemakkelijk te maken – en moeilijker te detecteren

Open-source klonen van ChatGPT kunnen op grote schaal worden gefinetuned met beperkte of geen expertise, waardoor ‘private’ taalmodellen ontstaan die detectie ontwijken. De meeste tools kunnen niet traceren waar deze modellen vandaan komen of waarvoor ze zijn getraind, waardoor studenten en andere gebruikers AI-tekst kunnen genereren zonder te worden betrapt; maar een nieuwe methode beweert dat het deze verborgen varianten kan identificeren door gedeelde ‘familiekenmerken’ in de uitvoer van de modellen te detecteren.

Volgens een nieuwe studie uit Canada zijn gebruikersaangepaste AI-chatmodellen, vergelijkbaar met ChatGPT, in staat om socialemediainhoud te produceren die sterk lijkt op menselijke schrijfstijl, en die state-of-the-art detectiealgoritmen en mensen kunnen misleiden.

Het artikel vermeldt:

‘Een realistisch gemotiveerde aanvaller zal waarschijnlijk een model finetunen voor zijn specifieke stijl en gebruik, aangezien dit goedkoop en gemakkelijk is. Met minimale inspanning, tijd en geld hebben we gefinetuneerde generatoren gemaakt die in staat zijn om veel realistischere socialemediatweets te produceren, zowel op basis van linguïstische kenmerken als detectie nauwkeurigheid, en zijn bevestigd door menselijke annotaties.’

De auteurs benadrukken dat aangepaste modellen van dit type niet beperkt zijn tot korte socialemediainhoud:

‘Hoewel gemotiveerd door de verspreiding van AI-inhoud op sociale media en de daarmee verbonden risico’s van astroturfing en invloedcampagnes, benadrukken we dat de belangrijkste bevindingen zich uitstrekken tot alle tekstdomeinen.

‘In feite is het finetunen van modellen voor stijlspecifieke tekstgeneratie een algemeen toepasbare methode, en een die waarschijnlijk al in gebruik is bij veel generatieve AI-gebruikers – waardoor de vraag rijst of bestaande methoden voor het detecteren van AIGT zo effectief zijn in de praktijk als in het onderzoekslaboratorium.’

Zoals het artikel opmerkt, is de methode die wordt gebruikt om deze op maat gemaakte taalmodellen te maken, finetuning, waarbij gebruikers een beperkte hoeveelheid van hun eigen doeldata verzamelen en invoeren in een toenemend aantal eenvoudig te gebruiken en goedkope online trainingsgereedschappen.

Als voorbeeld biedt de populaire repository Hugging Face Large Language Model (LLM) finetuning via een vereenvoudigde interface, met behulp van het AutoTrain Advanced-systeem, dat kan worden uitgevoerd voor een paar dollar via een online GPU of gratis, lokaal, als de gebruiker voldoende hardware heeft:

Verschillende prijsstructuren voor de reeks GPUs die beschikbaar zijn voor het Hugging Face AutoTrain-systeem. Bron: https://huggingface.co/spaces/autotrain-projects/autotrain-advanced?duplicate=true

Andere vereenvoudigde methoden en platforms omvatten Axolotl, Unsloth en de krachtigere maar veeleisendere TorchTune.

Een voorbeeld van een gebruikscase zou een student zijn die moe is van het schrijven van zijn eigen essays, maar bang is om betrapt te worden door online AI-detectietools, die zijn eigen historische essays als trainingsdata kunnen gebruiken om een effectief populair open-source model zoals de Mistral-reeks te finetunen.

Hoewel het finetunen van een model de neiging heeft om de prestaties naar de extra trainingsdata te verschuiven en de algehele prestaties te verslechteren, kunnen ‘op maat gemaakte’ modellen worden gebruikt om de steeds herkenbaardere uitvoer van systemen zoals ChatGPT te ‘de-AI-en’, op een manier die de stijl van de gebruiker weerspiegelt (en, voor verhoogde authenticiteit, hun tekortkomingen).

Echter, iemand zou exclusief een gefinetuned model kunnen gebruiken dat specifiek is getraind voor een smalle taak of reeks taken, zoals een LLM dat is gefinetuned op de cursusmateriaal van een specifiek universiteitsvak. Een model zo specifiek zou een myope, maar veel diepere kennis hebben van dat domein dan een algemeen LLM zoals ChatGPT, en zou waarschijnlijk minder dan $10-20 kosten om te trainen.

Het LLM-ijsberg

Het is moeilijk te zeggen wat de omvang van deze praktijk is. Anecdotisch, op diverse socialemediaplatforms, ben ik onlangs veel bedrijfsgerichte voorbeelden van LLM-finetuning tegengekomen – zeker veel meer dan een jaar geleden; in één geval fine-tune een bedrijf een taalmodel op zijn eigen gepubliceerde thought-leadership-artikelen, die vervolgens in staat waren om een rommelige Zoom-gesprek met een nieuwe klant om te zetten in een gepolijste B2B-post bijna in één keer, op aanvraag.

Een model van die aard vereist gepaarde data (voor- en na voorbeelden, op grote schaal), terwijl het creëren van een op maat gemaakte ‘glans’ van een specifieke schrijverskenmerken een eenvoudigere taak is, meer gelijkaardig aan stijltransfer.

Hoewel dit een clandestiene onderneming is (ondanks talloze koppen en academische studies over dit onderwerp), waar cijfers niet beschikbaar zijn, is hetzelfde gezonde verstand dat de TAKE IT DOWN-wet dit jaar tot wet maakte, hier van toepassing: de doelactiviteit is mogelijk en betaalbaar, en er is een sterk gezond verstand dat potentiële gebruikers zeer gemotiveerd zijn.

Er is net genoeg wrijving overgelaten in de meest ‘gedumdde’ online finetuning-systemen dat de praktijk van oneerlijk trainen en gebruiken van gefinetuneerde modellen nog steeds een relatief niche-gebruik is – voorlopig althans – hoewel zeker niet buiten het bereik van de traditionele uitvinderszin van studenten.

PhantomHunter

Dit brengt ons bij het hoofdonderwerp van dit artikel – een nieuwe benadering uit China die een breed scala aan technieken combineert in één kader – genaamd PhantomHunter – dat beweert de uitvoer van gefinetuneerde taalmodellen te kunnen identificeren, die anders zouden doorgaan voor oorspronkelijk menselijk werk.

Het systeem is ontworpen om te functioneren, zelfs wanneer het specifieke gefinetuneerde model nooit eerder is gezien, en vertrouwt in plaats daarvan op resterende sporen die zijn achtergelaten door het oorspronkelijke basismodel – die de auteurs karakteriseren als ‘familiekenmerken’ die het finetunen overleven.

In tests meldt het artikel – getiteld PhantomHunter: Detecting Unseen Privately-Tuned LLM-Generated Text via Family-Aware Learning – een sterke detectienauwkeurigheid, waarbij het systeem de zero-shot GPT-4-mini-evaluatie^† overtrof bij het traceren van een tekstvoorbeeld naar zijn model familie.

Dit suggereert dat hoe meer een model wordt gefinetuned, hoe meer het onthult over zijn afkomst, tegen de aanname in dat privé-finetuning altijd de oorsprong van een model maskeert; in plaats daarvan kan het finetunen een detecteerbaar vingerafdruk achterlaten, die, als het correct wordt gelezen, de game weggeeft – tenminste, in afwachting van verdere vooruitgang die nu wekelijks lijkt te arriveren.

Het artikel vermeldt*:

‘[Machine Generated Text] detectie onderscheidt over het algemeen LLM-gegenereerde en door mensen geschreven tekst via binaire classificatie. Bestaande methoden leren ofwel gemeenschappelijke tekstuele kenmerken die worden gedeeld door LLM’s met behulp van representatieleer, of ontwerpen onderscheidbare metrics tussen menselijke en LLM-teksten op basis van interne signalen van LLM’s (bijv. tokenwaarschijnlijkheden).

‘Voor beide categorieën werden hun tests voornamelijk uitgevoerd op gegevens van openbaar beschikbare LLM’s, onder de veronderstelling dat gebruikers tekst genereren met behulp van openbare, standaarddiensten.

‘We betogen dat deze situatie wordt veranderd door de recente ontwikkeling van de open-source LLM-gemeenschap. Met de hulp van platforms zoals HuggingFace en efficiënte LLM-trainingsmethoden zoals low-rank-adaptatie (LoRA), is het bouwen van gefinetuneerde LLM’s met aangepaste privédatasets veel gemakkelijker geworden dan voorheen.

‘Bijvoorbeeld zijn er meer dan 60k Llama-gebaseerde afgeleide modellen op HuggingFace. Na privé-finetuning op onbekende corpus, kunnen de geleerde kenmerken van basismodellen veranderen en zouden LLMGT-detectoren [falen], waardoor een nieuw risico ontstaat dat kwaadwillige gebruikers schadelijke teksten privé kunnen genereren zonder te worden betrapt door LLMGT-detectoren.

‘Een nieuwe uitdaging doemt op: Hoe te detecteren tekst gegenereerd door privé-gefinetuneerde open-source LLM’s?‘

Methode en training

Het PhantomHunter-systeem gebruikt een familiebewuste leerstrategie, die drie componenten combineert: een kenmerkenextractor, die uitvoerwaarschijnlijkheden van bekende basismodellen vastlegt; een contrastieve encoder getraind om onderscheid te maken tussen families; en (zoals hieronder uitgelegd) een mengsel-van-experts-classificator die familie-etiketten toewijst aan nieuwe tekstvoorbeelden:

Schema voor het systeem. PhantomHunter verwerkt een tekstvoorbeeld door eerst waarschijnlijkheden van meerdere basismodellen te extraheren, die vervolgens worden gecodeerd met behulp van CNN- en transformatoren. Bron: https://arxiv.org/pdf/2506.15683

PhantomHunter werkt door een stuk tekst door meerdere bekende basismodellen te sturen en te registreren hoe waarschijnlijk elk model denkt dat het volgende woord is, bij elke stap. Deze patronen worden vervolgens ingevoerd in een neurale netwerk dat de onderscheidende kenmerken van elke model familie leert.

Tijdens de training vergelijkt het systeem teksten uit dezelfde familie en leert om ze samen te groeperen, terwijl het onderscheid maakt tussen die uit verschillende families, waardoor verborgen verbindingen tussen gefinetuneerde modellen en hun basismodellen kunnen worden geïdentificeerd.

MOE

Om te bepalen of een stuk tekst door een mens of door AI is geschreven, gebruikt PhantomHunter een mengsel-van-experts-systeem, waarbij elke ‘expert’ is afgestemd op het detecteren van tekst van een specifieke model familie.

Als het systeem eenmaal heeft gegokt van welke familie de tekst waarschijnlijk afkomstig is, gebruikt het die gok om te beslissen hoeveel gewicht te geven aan elke expert’s mening. Deze gewogen meningen worden vervolgens gecombineerd om de definitieve oproep te doen: AI of mens.

De training van het systeem omvat meerdere doelstellingen: leren om model families te herkennen; leren om AI-tekst van menselijke tekst te onderscheiden; en leren om verschillende families te onderscheiden met behulp van contrastief leren – doelstellingen die tijdens de training worden gebalanceerd via instelbare parameters.

Door zich te concentreren op patronen die worden gedeeld door elke familie, in plaats van de eigenaardigheden van individuele modellen, zou PhantomHunter in theorie in staat moeten zijn om zelfs gefinetuneerde modellen te detecteren die het nog nooit eerder heeft gezien.

Gegevens en tests

Om gegevens voor tests te ontwikkelen, richtten de auteurs zich op de twee meest voorkomende academische scenario’s: schrijven en vraagbeantwoorden. Voor schrijven verzamelden ze 69.297 abstracts uit het Arxiv-academische archief, onderverdeeld in primaire domeinen. Voor vraagbeantwoorden werden 2.062 paren gecureerd uit de HC3-dataset over drie onderwerpen: ELI5; financiën; en geneeskunde:

Lijst van gegevensbronnen en -aantallen, in gegevens die zijn gecureerd voor de studie.

In totaal werden twaalf modellen getraind voor de test. De drie basismodellen waren LLaMA-2 7B-Chat; Mistral 7B-Instruct-v0.1; en Gemma 7B-it), waarvan negen gefinetuneerde varianten werden gemaakt, elk aangepast om een andere domein of auteursstijl na te bootsen, met behulp van domeinspecifieke gegevens:

Statistieken van de evaluatiedataset, waarbij ‘FT Domein’ verwijst naar het domein dat tijdens finetuning werd gebruikt en ‘basis’ aangeeft dat er geen finetuning plaatsvond.

In totaal werden dus drie basismodellen gefinetuned met behulp van zowel full-parameter- als LoRA-technieken over drie verschillende domeinen in elk van twee gebruiksscenario’s: academisch abstract schrijven en vraagbeantwoorden. Om realistische detectie-uitdagingen weer te geven, werden modellen die waren gefinetuned op computerwetenschappelijke gegevens, uit de schrijftests weggehouden, terwijl modellen die waren gefinetuned op financiële gegevens, uit de Q&A-evaluaties werden weggehouden.

Andere kaders die werden geselecteerd, waren RoBERTa; T5-Sentinel; SeqXGPT; DNA-GPT; DetectGPT; Fast-DetectGPT; en DeTeCtive.

PhantomHunter werd getraind met behulp van twee soorten neurale netwerklaag: drie convolutionele lagen met max-pooling om lokale tekstpatronen te detecteren, en twee transformatoren met vier aandachtshoofden om langere relaties te modelleren.

Voor contrastief leren, dat het systeem aanmoedigt om onderscheid te maken tussen verschillende model families, werd de temperatuur-parameter ingesteld op 0,07.

De trainingsdoelstelling combineerde drie verliestermen: L1 (voor familieclassificatie) en L2 (voor binaire detectie), elk gewogen op 1,0, en L3 (voor contrastief leren), gewogen op 0,5.

Het model werd geoptimaliseerd met Adam met een leer tempo van 2e-5 en een batchgrootte van 32. De training vond plaats voor tien volledige epochs, met het beste presterende controlepunt geselecteerd met behulp van een validatieset. Alle experimenten werden uitgevoerd op een server met vier NVIDIA A100-GPUs.

De gebruikte metrics waren F1-scoring voor elke testsubset, samen met true positieve rate, voor vergelijking met commerciële detectoren.

F1-scores voor het detecteren van tekst van ongezien gefinetuneerde taalmodellen. De twee beste resultaten in elke categorie zijn vetgedrukt en onderstreept. ‘BFE’ verwijst naar basiswaarschijnlijkheidskenmerkenextractie, ‘CL’ naar contrastief leren en ‘MoE’ naar de mengsel-van-experts-module.

De resultaten van de initiële test, weergegeven in de tabel hierboven, laten zien dat PhantomHunter alle baseline-systemen overtrof, met F1-scores boven de 90% voor zowel menselijke als machinegegenereerde tekst, zelfs wanneer deze werden geëvalueerd op uitvoer van gefinetuneerde modellen die waren uitgesloten van training.

De auteurs merken op:

‘Met volledige finetuning verbetert PhantomHunter de MacF1-score met 3,65% en 2,96% op beide datasets, respectievelijk; en met LoRA-finetuning zijn de verbeteringen 2,01% en 6,09% respectievelijk.

‘Het resultaat toont PhantomHunter’s krachtige detectiecapaciteit voor teksten gegenereerd door ongezien gefinetuneerde LLM’s.’

Ablatie-studies werden uitgevoerd om de rol van elk kerncomponent in PhantomHunter te beoordelen. Toen individuele elementen werden verwijderd, zoals de kenmerkenextractor, de contrastieve encoder of de mengsel-van-experts-classificator, werd een consistente daling in nauwkeurigheid waargenomen, wat aangeeft dat de architectuur afhankelijk is van de coördinatie van alle onderdelen.

De auteurs onderzochten ook of PhantomHunter kon generaliseren tot buiten zijn trainingsverdeling, en stelden vast dat het, zelfs wanneer het werd toegepast op uitvoer van basismodellen die tijdens de training afwezig waren, nog steeds de concurrentie overtrof – wat suggereert dat familie-niveau-handtekeningen detecteerbaar blijven over gefinetuneerde varianten.

Conclusie

Een argument ten gunste van gebruikersgetrainde generatieve taalmodellen is dat deze tenminste de individuele smaak en eigenaardigheden van een auteur behouden, in een klimaat waar de generieke, SEO-geïnspireerde idioom van AI-chatbots dreigt te genereren elke taal waar AI een belangrijke of dominante bijdrage aan levert.

Met de devaluatie van het college-essay, en met studenten die nu screencasten van enorme schrijfsessies om te bewijzen dat ze geen AI hebben gebruikt voor hun inzendingen, overwegen meer docenten buiten Europa (waar mondelinge examens zijn genormaliseerd) face-to-face-examens als alternatief voor ingediende teksten. Nog onlangs is een terugkeer naar handgeschreven werk voorgesteld.

Beide oplossingen zijn argumenteerbaar superieur aan wat dreigt te worden een LLM-gebaseerde herhaling van de deepfake-wapenwedloop; hoewel ze komen met een kostenpost van menselijke inspanning en aandacht, die technologiecultuur momenteel probeert weg te automatiseren.

^† Zie het einde van het artikel, na de hoofdresultaten, in het bronartikel, voor details hierover.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks. De nadruk van de auteurs, niet de mijne.

Publicatie op donderdag 19 juni 2025