Hoe lang duurt het nog voordat er echt wordt opgetreden tegen het ontcensureren van AI-modellen?

Als je oud genoeg bent om je de warezscene van ongeveer 1995–2010 te herinneren, toen enorme verzamelingen gekraakte software en geripte films (op straat in het groot gekocht of samengesteld door gelegenheidsillegale downloaders, nadat snel breedbandinternet grote downloads op grote schaal mogelijk maakte) zich opstapelden in talloze overvolle dvd-collecties, roept de opkomende wereld van ‘ontcensureerde’ open-sourcemodellen voor AI misschien een gevoel van herkenning op.

Uit de ‘gouden eeuw’ van de informele straatverkoop van software en films. Met dank aan – Shankar.s. ‘Illegale dvd’s op de PP-straatmarkt’ – Bron / Licentie

In die tijd, voordat softwareverhuur een gangbaar consumentenmodel werd, ontstond een kleine maar elitaire groep softwareliefhebbers uit de ‘scene’ die applicaties kraakte. Die werden vervolgens verspreid via warez-nieuwsgroepen en later via torrentgroepen. Het kon lastig of eenvoudig zijn om die beperkingen te omzeilen, maar eenmaal verspreid waren de inbreuken meestal onomkeerbaar.

Dit is wat er nu gebeurt met open-source grote taalmodellen (LLM’s): op grote schaal worden de tijdens de training ingebouwde veiligheidsfilters ervan verwijderd. Vervolgens worden deze ontcensureerde modellen op zoveel plekken gedeeld dat zelfs het sluiten van de oorspronkelijke bron van de ‘crack’ niets verandert aan hun beschikbaarheid.

Weldoener of boosdoener

De vraag is: hoe wil je deze activiteiten bekijken? Anders dan bij de warezscene wordt niemand hierdoor zo nadrukkelijk van inkomsten beroofd als kleinere softwaremakers naar verluidt 20-30 jaar geleden.

In zulke gevallen* worden de oorspronkelijke licentievoorwaarden inderdaad vaak geschonden. Maar anders dan bij de gedeeltelijke vrijgaven van modelgewichten door producenten van generatieve AI-modellen zoals Black Forest Labs, zien de oorspronkelijke distributeurs versies van ‘lagere kwaliteit’ niet als een opstapje naar krachtigere modellen die uitsluitend via een API beschikbaar zijn; ze geven de volledige modellen rechtstreeks vrij.

In de meeste gevallen kan vrijwel niemand deze eerste versies lokaal uitvoeren, omdat ze zelfs voor goed uitgeruste videokaarten met 16-24 GB VRAM gewoon te veel parameters bevatten.

Daarom worden de eerste versies al snel omgezet in afgeslankte versies die op consumentenhardware kunnen draaien, via kwantisering van modellen en het omzetten van gewichten naar lichtere varianten zoals GGUF, AWQ, PTQ, EXL2 of het op Apple gerichte MLX.

Hoewel deze versies niet zo goed presteren als de oorspronkelijke, volledige modellen (die doorgaans commercieel worden aangeboden vanuit allerlei GPU-datacenters), heeft de gebruiker er ten minste zelf de controle over en kunnen ze worden aangepast aan die specifieke gebruiker, op manieren die met het ‘betere’ model niet mogelijk zijn.

Helemaal naar eigen wens

Sommige aanpassingen zijn overduidelijk legitiem en vallen doorgaans binnen de voorwaarden van de oorspronkelijke licentie, zoals fijnafstemming. Daarmee worden de gewichten van een model specifiek afgestemd op een doeltaak of domein dat de gebruiker eraan heeft toegevoegd. Als er voldoende schijfruimte is, kan iemand zelfs meerdere exemplaren van een open-sourcemodel fijnafstemmen voor uiteenlopende taken, als een reeks gespecialiseerde, traditionele hulpmiddelen – in plaats van het ‘Zwitserse zakmes’ van een oorspronkelijk model met alle gewichten.

Daarnaast kunnen modellen met compatibele instellingen maar verschillende trainingsgegevens met elkaar worden samengevoegd. Ook kunnen via lichte LoRA-filters extra mogelijkheden aan een model worden toegevoegd, zonder het risico te lopen de oorspronkelijke mogelijkheden van het basismodel te ondermijnen door fijnafstemming.

De aanpassing die veel gebruikers echter het meest interesseert en inmiddels eenvoudiger is dan alle bovenstaande methoden, is het verwijderen van de eerder genoemde veiligheidsfilters, oftewel de beschermingsmaatregelen.

Hoewel dit inderdaad modellen mogelijk maakt die pornografische inhoud en malware kunnen genereren, verdwijnen daarmee ook beperkingen die veel gebruikers zien als buitensporig streng (en vaak foutgevoelig).

Een van de vele hilarische voorbeelden van Llama-2-7b-chat, dat op grond van veiligheidsregels redelijke verzoeken weigert; te vinden op de bron-URL. Bron

Heretic

Bij Heretic, de software die het ontcensureren van modellen onlangs revolutionair heeft veranderd, is het zelfs mogelijk om de mate van ‘bloemrijke’ en uitvoerige bewoordingen waartoe modellen geneigd zijn te verlagen.

Heretic gaat aan de slag met het verwijderen van de censuur uit gpt-oss. Hier draait het weliswaar op een zeer krachtige machine die waarschijnlijk niet bij de gemiddelde consument thuis staat, maar die kan voor de benodigde duur goedkoop online worden gehuurd. Bron

Belangrijker is dat Heretic – dat automatisch zoekt naar een abliteratie die weigeringen onderdrukt en tegelijk de oorspronkelijke werking van het model zo min mogelijk aantast – het relatief lastige verwijderen van censuur voor de eindgebruiker terugbrengt tot één enkele opdracht.

Zoals je op de bovenstaande schermafbeelding kunt zien, werkt Heretic doorgaans beter met een krachtigere GPU dan je waarschijnlijk bij consumenten thuis aantreft. Gebruikers hoeven het echter niet op hun eigen apparatuur uit te voeren, net zomin als ze in 2002 zelf software hoefden te kraken. Net als in de warez-tijd voeren aanbieders uit de scene (doorgaans niet-commerciële hobbyisten) die over zulke apparatuur beschikken of bereid zijn wat tokens aan het probleem te besteden, de jailbreak uit en brengen ze het model zonder censuur vervolgens in de scene uit.

In het vizier

Wanneer een digitale handeling met een ‘dubieus’ karakter ineens niet langer moeilijk is, komt dat meestal door een plotselinge sprong in de mogelijkheden (denk aan Napster of PopCornTime), waardoor zowel de activiteit zelf als de officiële belangstelling om die aan banden te leggen plotseling sterk toeneemt.

In combinatie met de groeiende populariteit en het gebruiksgemak van platforms als Ollama maakt Heretic toegang tot modellen zonder censuur steeds toegankelijker voor niet-technische gebruikers, ook al is er nog geen methode die echt ‘foutbestendig voor beginners’ is.

En daarmee kom ik terug op mijn eerdere vraag: vormt deze activiteit wel of geen ‘probleem’? Een artikel dat gisteren op arXiv verscheen, doet me vermoeden dat het verwijderen van censuur steeds meer aandacht zal krijgen, gezien recente ontwikkelingen waarbij de vrijheden van technologieconsumenten worden teruggedraaid en ingeperkt. Dat zal wereldwijd waarschijnlijk leiden tot meer wetgeving die zulke activiteiten verbiedt.

Het nieuwe artikel, een rapport van 10a Labs, schetst de beweging om censuur te verwijderen in een negatief daglicht en voert de gebruikelijke minderheid van misbruikgevallen aan die, zo leert de geschiedenis en voorspellen de huidige trends, tot beperkingen zullen leiden.

Het onderzoek volgt wat er gebeurt nadat modellen zonder censuur zijn uitgebracht en verder verspreid, en bracht 1.643 GitHub-applicaties in kaart die ongecensureerde modellen integreren, aanbevelen of standaard gebruiken.

De modellen in kwestie lopen uiteen van chatbots voor algemene doeleinden en tools voor documentverwerking tot rollenspel en verhalen voor volwassenen, diensten met expliciete inhoud, tools voor hacken en offensieve beveiliging, en toepassingen voor fraude en het genereren van malware. Volgens het onderzoek was 25% van de uitgebrachte modellen ‘uitdrukkelijk kwaadaardig’:

Overzicht van het gebruik van ongecensureerde AI-modellen na hun uitgave. Het onderzoek bracht 1.643 GitHub-applicaties in kaart die modellen waarvan de veiligheidsbeperkingen zijn verwijderd integreren, aanbevelen of standaard gebruiken. Daaruit bleek dat 37% ongecensureerde chatbots voor algemene doeleinden waren, terwijl cyberbeveiliging en documentverwerking elk 16% voor hun rekening namen. Daarnaast waren er kleinere categorieën, waaronder spraakassistenten, rollenspel voor volwassenen, creatief schrijven, programmeren en andere toepassingen. Volgens het artikel kon ongeveer 25% van de geïdentificeerde applicaties als ‘uitdrukkelijk kwaadaardig’ worden aangemerkt. Bron

In het licht van de onlangs ingevoerde beperkingen op internettoegang in het Verenigd Koninkrijk (en het inmiddels opgeschorte voornemen om ook de VPN-toegang te beperken waarmee deze worden omzeild), de Californische verplichting die vanaf 2027 geldt voor de meeste besturingssystemen om de leeftijdscategorieën van gebruikers te verzamelen en aan applicaties door te geven, het Europese plan voor leeftijdsverificatie om toegang te krijgen tot online-inhoud voor volwassenen, en het Australische verbod op sociale-media-accounts voor jongeren onder de zestien, lijkt het nieuwe artikel in een patroon te passen: meer aandacht leidt uiteindelijk tot meer toezicht en regelgeving, en mogelijk tot selectieve of volledige verboden.

Dat zou hier niet kunnen gebeuren

Jawel, dat kan hier zeker gebeuren, deels vanwege het hoge percentage kwaadwillig gebruik dat de auteurs van het nieuwe onderzoek inschatten en, naar je zou kunnen betogen, omdat regelgeving de groeiende trend naar lokaal draaiende AI verder zou beperken. Overheden en instellingen kunnen die trend zien als een bedreiging, zeker wanneer de modellen niet langer aan banden zijn gelegd.

Door activiteiten rond het opheffen van censuur neer te zetten als het ‘faciliteren’ van NSFW-uitvoer en kwaadwillig hacken, kan het opheffen van censuur ten onrechte als een zwart-witkwestie worden voorgesteld: omdat het voor slechte doeleinden kan worden gebruikt, moet het worden gereguleerd. In de praktijk lijkt er geen realistische manier te zijn om zo’n functionaliteit überhaupt te reguleren, behalve door deze volledig te verbieden, omdat er zoveel mogelijke toepassingen zijn.

Ook wanneer het opheffen van censuur bij een LLM een model bijvoorbeeld in staat zou stellen fictie over CSAM te genereren, lijkt strenge regulering een vanzelfsprekende keuze: iedereen die zich daartegen verzet, kan stilzwijgend worden afgeschilderd als iemand die de kwaadaardige toepassingen van een model zonder censuur steunt, in plaats van de redelijke toepassingen ervan.

Dit doet geen recht aan het feit dat een fijn afgestemd model of een model waarop LoRA is toegepast veel effectiever inhoud kan genereren binnen elk specifiek domein dat de gebruiker wil opleggen, omdat de basisgewichten van het model zo sterk in de richting van die taak worden vervormd dat eventuele ingebouwde beschermingen toch volledig teniet worden gedaan.

Alles draait om gebruiksgemak

Gebruiksgemak leidt tot grootschalige ingebruikname, en die grootschalige ingebruikname zet overheden onder druk om wetgeving op te stellen (door druk van publieke belangengroepen, lobbyisten uit de sector of intergouvernementele druk).

Hoewel fijn afstemmen en LoRA vrijwel zeker betere, gerichtere resultaten kunnen opleveren dan alleen het ontgrendelen van een FOSS-basismodel, vergen deze methoden een zekere mate van discipline en inspanning om toe te passen.

Wanneer een model zonder censuur of een gekwantiseerd model lokaal draaien echt nog maar een paar klikken kost (omdat de gebruiker vrijwel zeker een model zal downloaden dat al ‘bevrijd’ is, in plaats van het zelf met Heretic te kraken), verdwijnt deze activiteit uit de obscuriteit van de geekwereld en komt ze in het publieke domein terecht, waar het misbruik ervan waarschijnlijk politieke twistpunten zal opleveren.

Deze zomer leidde NVIDIA een groep zwaargewichtpartners uit de technologiesector die overheidsbeperkingen voor opensourcemodellen voor wilden zijn, met een open brief waarin opnieuw wordt betoogd dat misbruik van een technologie door een minderheid niet ten koste mag gaan van het mogelijke algemene nut ervan. Maar de afgelopen jaren bleek dit een impopulair standpunt.

* Of modelmakers oprecht zijn in hun uitgesproken wens om de activiteiten van gebruikers te beperken, wordt vaak in twijfel getrokken; beschermingsmaatregelen worden zelfs afgedaan als ‘toneel’.