Hoe lang duurt het nog voordat er hard wordt opgetreden tegen het decensureren van AI-modellen?

Wie oud genoeg is om de warez-scene van ongeveer 1995–2010 te herinneren, toen enorme verzamelingen gekraakte software en gekopieerde films zich opstapelden op dvd’s — op straat in grote hoeveelheden gekocht of door gelegenheidskopieerders verzameld nadat snel breedband reusachtige downloads mogelijk maakte — zal in de opkomende wereld van ‘gedecensureerde’ open-source-AI-modellen iets bekends herkennen.

Uit de ‘gouden tijd’ van informele straathandel in software en films. Foto: Shankar.s, ‘Pirated DVDs at PP street market’.

Voordat softwareverhuur een normaal consumentenmodel werd, ontstond een kleine elite van liefhebbers die programma’s kraakte en ze verspreidde via warez-nieuwsgroepen en later torrentgroepen. Sommige beperkingen waren lastig en andere eenvoudig te omzeilen, maar na publicatie was de inbreuk vrijwel altijd onuitwisbaar.

Hetzelfde gebeurt nu met open-source grote taalmodellen. Hun aangeleerde veiligheidsfilters worden routinematig en op grote schaal verwijderd, waarna de gedecensureerde modellen op zo veel plaatsen worden gedeeld dat het sluiten van de oorspronkelijke bron hun beschikbaarheid niet meer beïnvloedt.

Weldoener of kwaadwillende?

De vraag is hoe men deze activiteiten wil bekijken. Anders dan in de warez-scene wordt niemand zo direct van inkomsten beroofd als kleinere softwaremakers twintig of dertig jaar geleden wellicht werden.

De oorspronkelijke licentievoorwaarden worden in zulke gevallen vaak geschonden.* Anders dan bij gedeeltelijke gewichtsuitgaven van producenten zoals Black Forest Labs gebruiken de oorspronkelijke distributeurs een ‘mindere’ versie echter niet als verkooproute naar een sterker model dat alleen via API beschikbaar is; ze brengen het volledige model uit.

Bijna niemand kan de eerste uitgaven lokaal draaien, omdat ze zelfs voor goed uitgeruste GPU’s met 16–24 GB VRAM te veel parameters bevatten.

Daarom worden ze snel verkleind door modelkwantisatie en omzetting van gewichten naar lichtere indelingen zoals GGUF, AWQ, PTQ, EXL2 of Apples MLX, zodat ze op consumentenhardware werken.

Deze versies presteren minder goed dan de volledige originelen, die doorgaans commercieel vanuit GPU-farms worden aangeboden, maar de gebruiker heeft er wel controle over en kan ze persoonlijk aanpassen op manieren die bij het ‘betere’ model niet mogelijk zijn.

Precies zoals u het wilt

Sommige aanpassingen zijn duidelijk legitiem en vallen gewoonlijk binnen de licentie, zoals fijnafstemming waarbij de gewichten worden gericht op een taak of domein dat de gebruiker toevoegt. Met voldoende opslagruimte kunnen meerdere exemplaren van één open model voor verschillende taken worden afgestemd, als een verzameling gespecialiseerd gereedschap in plaats van één volledig ‘Zwitsers zakmes’.

Modellen met compatibele instellingen maar verschillende trainingsgegevens kunnen ook worden samengevoegd. Extra mogelijkheden kunnen met lichte LoRA-filters worden toegevoegd zonder het risico dat fijnafstemming de oorspronkelijke capaciteiten van het basismodel aantast.

De wijziging die veel gebruikers het meest interesseert en inmiddels eenvoudiger is dan de voorgaande methoden, is echter het verwijderen van veiligheidsfilters of vangrails.

Dit kan modellen opleveren die pornografische inhoud genereren of helpen bij malwareontwikkeling, maar verwijdert ook beperkingen die veel gebruikers overdreven en vaak foutgevoelig vinden.

Een van de vele komische voorbeelden waarin Llama-2-7b-chat redelijke verzoeken om veiligheidsredenen weigert; het voorbeeld staat op de bron-URL.

Heretic

Met Heretic, de software die het decensureren van modellen onlangs ingrijpend heeft veranderd, kan zelfs de bloemrijke en omslachtige schrijfstijl waar modellen toe neigen worden teruggeschroefd.

Heretic decensureert gpt-oss op een bijzonder krachtige machine die zelden in een gemiddeld huishouden staat, maar die voor de benodigde tijd goedkoop online kan worden gehuurd.

Heretic zoekt automatisch naar een ‘abliteration’ die weigeringen onderdrukt terwijl de schade aan het oorspronkelijke gedrag wordt beperkt. Zo wordt een relatief moeilijke taak voor de eindgebruiker teruggebracht tot één opdracht.

Heretic profiteert van een zwaardere GPU dan consumenten thuis hebben. Gebruikers hoeven het werk echter niet zelf uit te voeren, net zoals zij in 2002 software niet persoonlijk hoefden te kraken. Zoals in de warez-tijd voeren meestal niet-commerciële liefhebbers met toegang tot de hardware of bereidheid om tokens te besteden de jailbreak uit en verspreiden zij het model.

In het vizier

Wanneer een ‘twijfelachtige’ digitale handeling plotseling niet meer moeilijk is, komt dat vaak door een sprong in mogelijkheden van de ene dag op de andere — denk aan Napster of PopCornTime — die zowel de activiteit als de ‘officiële’ belangstelling om haar te beperken opschaalt.

Samen met de groeiende populariteit en het gebruiksgemak van platforms zoals Ollama brengt Heretic gedecensureerde modellen binnen bereik van niet-technische gebruikers, ook al bestaat nog geen volledig waterdichte methode.

Dat brengt ons terug bij de vraag of deze activiteit een ‘probleem’ vormt. Een nieuw artikel op arXiv suggereert, gezien recente inperkingen van technologische consumentenvrijheden, dat decensurering meer aandacht zal krijgen en wereldwijd tot meer verbodswetgeving zal leiden.

Het nieuwe artikel, een rapport van 10a Labs, plaatst de beweging in een negatief daglicht en presenteert de gebruikelijke minderheid aan misbruiksgevallen die volgens de geschiedenis en huidige trends tot beperkingen zal leiden.

Het onderzoek volgt wat er gebeurt nadat gedecensureerde modellen worden uitgebracht en herverdeeld. Het vond 1.643 GitHub-toepassingen die ongecensureerde modellen integreren, aanbevelen of standaard gebruiken.

Ze lopen uiteen van algemene chatbots en documenthulpmiddelen tot NSFW-rollenspellen, verhalen en expliciete diensten, plus hacking-, offensieve beveiligings-, fraude- en malwaretoepassingen. De studie classificeert 25 procent als ‘uitdrukkelijk kwaadaardig’.

Van de toepassingen was 37 procent een algemene ongecensureerde chatbot; cyberbeveiliging en documentverwerking vertegenwoordigden elk 16 procent. Kleinere categorieën omvatten spraakassistenten, NSFW-rollenspellen, creatief schrijven, programmeren en ander gebruik. Ongeveer 25 procent kon uitdrukkelijk kwaadaardig worden genoemd.

De nieuwe Britse webbeperkingen en het nu gepauzeerde plan om ook omzeilende VPN-toegang te beperken, de Californische eis vanaf 2027 dat de meeste besturingssystemen leeftijdscategorieën verzamelen, het EU-systeem voor leeftijdscontrole bij inhoud voor volwassenen en het Australische verbod op socialemedia-accounts voor jongeren onder zestien passen allemaal in hetzelfde patroon: meer aandacht leidt tot meer toezicht, regelgeving en mogelijk gedeeltelijke of volledige verboden.

Dat zou hier niet kunnen gebeuren

Jawel, dat kan wel degelijk, deels vanwege het hoge percentage schadelijk gebruik dat de auteurs schatten en mogelijk omdat controles extra beperkingen zouden opleggen aan de trend naar lokaal draaiende AI. Overheden en instellingen kunnen die trend als bedreiging zien, zeker wanneer modellen van hun teugels zijn bevrijd.

Door decensurering neer te zetten als iets dat NSFW-uitvoer en kwaadaardig hacken ‘mogelijk maakt’, ontstaat een valse tweedeling: omdat de technologie slecht kan worden gebruikt, moet ze worden gereguleerd. In de praktijk lijkt door de talloze toepassingen geen realistische regeling mogelijk behalve een totaalverbod.

Als het decensureren van een taalmodel bijvoorbeeld fictieve inhoud over seksueel kindermisbruik mogelijk maakt, is strenge regelgeving politiek eenvoudig te verdedigen. Tegenstanders kunnen stilzwijgend worden afgeschilderd als voorstanders van de schadelijke in plaats van de redelijke toepassingen.

Daarbij wordt genegeerd dat een fijnafgestemd of door LoRA aangepast model ieder gewenst domein veel effectiever kan produceren, doordat de basisgewichten zo sterk naar de taak verschuiven dat aangeleerde bescherming toch volledig wordt ondermijnd.

Alles draait om gemak

Gebruiksgemak zorgt voor grootschalige invoering, en die invoering zet regeringen onder druk om wetgeving te maken — vanuit publieke groepen, industrielobby’s of andere regeringen.

Fijnafstemming en LoRA kunnen vrijwel zeker beter gerichte resultaten leveren dan alleen het ontgrendelen van een open basismodel, maar ze vereisen discipline en inspanning.

Zodra een gedecensureerd en gekwantiseerd model met een paar klikken lokaal draait — vermoedelijk doordat de gebruiker een vooraf ‘bevrijd’ model downloadt in plaats van het zelf met Heretic te kraken — verlaat de activiteit de technische niche en komt ze in het publieke domein, waar misbruik waarschijnlijk politiek strijdmateriaal wordt.

Deze zomer leidde NVIDIA een groep grote technologiepartners die met een open brief overheidsbeperkingen voor open modellen probeerde voor te zijn. De brief stelde opnieuw dat misbruik door een minderheid het mogelijke algemene nut van een technologie niet in gevaar mag brengen. Dat standpunt is de afgelopen jaren echter impopulair gebleken.

* Er wordt vaak getwijfeld of modelmakers oprecht gebruikersactiviteiten willen beperken; veiligheidsmaatregelen worden zelfs afgedaan als ‘theater’.