Hvor længe går der, før der for alvor slås ned på afcensurering af AI-modeller?

Hvis du er gammel nok til at huske warez-scenen fra cirka 1995 til 2010, hvor store samlinger af crackede programmer og kopierede film (købt i store mængder på gaden eller samlet af hobby-pirater, når højhastighedsbredbånd gjorde store downloads i stort omfang mulige) hobede sig op i adskillige overfyldte dvd-samlinger, vil den spirende scene for »afcensurerede« open source-AI-modeller måske vække genkendelse.

Fra »guldalderen« for uformel gadehandel med software og film. Kreditering – Shankar.s. »Piratkopierede dvd’er på PP street market« – Kilde / Licens

Dengang, før softwareudlejning blev almindeligt blandt forbrugere, opstod en lille, men elitepræget gruppe af softwareentusiaster fra »scenen«, som crackede programmer, der derefter blev frigivet i det fri på »warez«-nyhedsgrupper og senere i torrentgrupper. Det kunne være besværligt eller let at omgå begrænsningerne, men når først crackene var blevet frigivet, var de som regel umulige at fjerne.

Det er det, der nu sker med open source-store sprogmodeller (LLM’er), som rutinemæssigt og i stor skala får fjernet deres indbyggede sikkerhedsfiltre. Derefter bliver disse ucensurerede modeller delt så mange steder, at selv en lukning af den oprindelige kilde til »cracket« ikke gør nogen forskel for modellernes tilgængelighed.

Velgører eller skadevolder

Spørgsmålet er: Hvordan vil du se på disse aktiviteter? I modsætning til warez-scenen bliver ingen frataget indtægter i samme åbenlyse grad, som mindre softwareproducenter muligvis blev det for 20-30 år siden.

Det er ganske vist ofte de oprindelige licensvilkår, der overtrædes i sådanne tilfælde*; men i modsætning til udgivelser med delvise modelvægte fra producenter af generativ AI-modeller som Black Forest Labs behandler de oprindelige distributører ikke versioner af »lavere kvalitet« som en vej til mersalg af mere kapable modeller, der kun er tilgængelige via API’er; de frigiver de fulde modeller direkte.

I de fleste tilfælde kan næsten ingen køre disse første udgivelser lokalt, fordi de har alt for mange parametre til selv veludstyrede grafikkort med 16-24 GB VRAM.

Derfor omdannes de første udgivelser hurtigt til slankere versioner, der kan køre på forbrugerhardware, ved hjælp af modelkvantisering og konvertering af vægtene til lettere formater som GGUF, AWQ, PTQ, EXL2 eller det Apple-orienterede MLX.

Selvom de ikke yder lige så godt som de oprindelige, fuldt udbyggede modeller (som typisk stilles til rådighed kommercielt fra forskellige GPU-farme), er de i det mindste under brugerens kontrol og kan tilpasses den enkelte bruger på måder, som den »bedre« model ikke kan.

Få det, som du vil have det

Nogle af disse tilpasninger er helt klart legitime og falder som regel inden for rammerne af den oprindelige licens, eksempelvis finjustering, så modellens vægte målrettes en bestemt opgave eller et bestemt fagområde, som brugeren har tilført modellen. Hvis der er plads nok på harddisken, kan man endda finjustere flere instanser af en open source-model til en række forskellige opgaver – som et sæt specialiserede, traditionelle værktøjer i stedet for den oprindelige model med alle vægte, der fungerer som en »schweizerkniv«.

Derudover kan modeller med kompatible indstillinger, men forskellige træningsdata, flettes sammen; alternativt kan ekstra funktioner føjes til en model via letvægtsfiltre som LoRA uden at risikere at svække basismodellens oprindelige funktioner gennem finjustering.

Den ændring, der imidlertid interesserer mange brugere mest, og som er blevet lettere end alle de ovennævnte metoder, er fjernelsen af de førnævnte sikkerhedsfiltre eller sikkerhedsbarrierer.

Det giver ganske vist mulighed for modeller, der kan generere pornografisk indhold og indhold om udvikling af malware, men det fjerner også et sæt begrænsninger, som mange brugere opfatter som overdrevent restriktive og ofte fejlbehæftede.

Et af mange morsomme eksempler på, at Llama-2-7b-chat afviser rimelige anmodninger af sikkerhedshensyn. Eksemplet findes på kildens URL. Kilde

Heretic

Med Heretic, softwaren, der på det seneste har revolutioneret afcensurering af modeller, er det endda muligt at reducere modellernes tendens til at skrive »blomstrende« og omstændelig prosa.

Heretic går i gang med at afcensurere gpt-oss, men her kører det ganske vist på en maskine med så gode specifikationer, at den næppe findes i den gennemsnitlige forbrugers hjem – den kan dog lejes billigt online i den tid, processen kræver. Kilde

Vigtigere er det, at Heretic – som automatisk søger efter en abliterering, der undertrykker afvisninger og samtidig begrænser skaden på modellens oprindelige adfærd – set fra slutbrugerens perspektiv reducerer den forholdsvis krævende opgave med at afcensurere en model til blot én enkelt kommando.

Som du kan se på skærmbilledet ovenfor, har Heretic typisk fordel af en kraftigere GPU, end man sandsynligvis finder i et almindeligt hjem. Brugerne behøver dog ikke at køre programmet på deres egen hardware, ligesom de heller ikke selv behøvede at cracke software tilbage i 2002. Som i warez-tiden står de oprindelige aktører i scenen – almindelige, som regel ikke-kommercielle entusiaster, der har adgang til den slags hardware eller er villige til at bruge nogle tokens på opgaven – for jailbreaket og frigiver den afcensurerede model i miljøet.

I skudlinjen

Når det bliver let at udføre en digital handling, der betragtes som »tvivlsom«, skyldes det som regel et pludseligt spring i mulighederne fra den ene dag til den anden (tænk på Napster eller PopCornTime), som på én gang øger både omfanget af selve aktiviteten og den »officielle« interesse i at begrænse den.

Sammen med den stigende popularitet og brugervenlighed hos platforme som Ollama er Heretic ved at gøre adgang til afcensurerede modeller mulig for ikke-tekniske brugere, selv om en helt »idiotsikker« metode endnu ikke findes.

Det bringer mig tilbage til mit tidligere spørgsmål om, hvorvidt denne aktivitet udgør et »problem«. En artikel, der blev offentliggjort på arXiv i går, peger efter min mening på, at afcensurering sandsynligvis vil få stadig større opmærksomhed og føre til flere tilfælde af restriktiv lovgivning verden over, baseret på de helt nylige tendenser til at rulle teknologiske forbrugerfriheder tilbage og slå ned på dem.

Den nye artikel, en rapport fra 10a Labs, fremstiller bevægelsen for afcensurering i et negativt lys og fremhæver det sædvanlige mindretal af tilfælde med misbrug, som historien viser, og de nuværende tendenser varsler, vil føre til begrænsninger.

Undersøgelsen følger, hvad der sker, efter at afcensurerede modeller frigives og deles videre, og identificerede 1.643 GitHub-applikationer, der integrerer, anbefaler eller som standard bruger ucensurerede modeller.

Modellerne spænder fra chatbots til generelle formål og værktøjer til dokumentbehandling til rollespil og historiefortælling med NSFW-indhold, tjenester med eksplicit indhold, værktøjer til hacking og offensiv sikkerhed samt svindelapplikationer og malwaregeneratorer. Ifølge undersøgelsen blev 25 % af udgivelserne klassificeret som »udtrykkeligt ondsindede«:

Fordeling af, hvordan ucensurerede AI-modeller bruges efter udgivelsen. Undersøgelsen gennemgik 1.643 GitHub-applikationer, der integrerer, anbefaler eller som standard bruger modeller, hvis sikkerhedsbegrænsninger er blevet fjernet. Den viste, at 37 % var ucensurerede chatbots til generelle formål, mens cybersikkerhedsværktøjer og dokumentbehandlingsværktøjer hver stod for 16 %. Derudover fandtes mindre kategorier inden for stemmeassistenter, NSFW-rollespil, kreativ skrivning, programmering og andre anvendelser. Artiklen fandt, at omkring 25 % af de identificerede applikationer kunne klassificeres som »udtrykkeligt ondsindede«. Kilde

Set i lyset af Storbritanniens nyligt indførte begrænsninger for internetadgang (og landets nu indstillede planer om også at begrænse VPN-adgang, der omgår dem), Californiens krav fra 2027 om, at de fleste operativsystemer skal indsamle brugernes aldersgrupper og videregive dem til applikationer, EU’s ordning for aldersverifikation ved adgang til voksent indhold på nettet og Australiens forbud mod konti på sociale medier for børn under 16 år, ser den nye artikel ud til at passe ind i et mønster, hvor øget opmærksomhed i sidste ende fører til mere tilsyn og regulering og muligvis til selektive eller fuldstændige forbud.

Det kunne ikke ske her

Jo, det kunne bestemt ske her, delvis på grund af den høje andel af skadelig brug, som forfatterne til den nye undersøgelse anslår, og måske også fordi kontrolforanstaltninger ville lægge yderligere begrænsninger på den voksende tendens til at køre AI lokalt, hvilket regeringer og institutioner kan opfatte som en trussel – især når modellerne slippes fri.

Ved at fremstille aktiviteter, hvor censuren fjernes, som noget, der ‘muliggør’ NSFW-output og ondsindet hacking, kan man fremstille fjernelse af censur som et falsk enten-eller: Fordi det kan bruges til skadelige formål, må det underlægges regulering. I praksis ser der ikke ud til at være nogen realistisk måde at regulere en sådan funktionalitet overhovedet på, bortset fra at forbyde den helt, da der er så mange mulige anvendelser.

I tilfælde, hvor fjernelse af censuren fra en LLM kunne gøre det muligt for en model at generere (for eksempel) CSAM-fiktion, ville restriktiv regulering også fremstå som en oplagt løsning, eftersom enhver, der modsætter sig den, stiltiende kan fremstilles som værende ’tilhænger af’ en model uden censurs ondsindede anvendelser snarere end dens rimelige anvendelser.

Det overser dog, at en finjusteret model eller en model påvirket af LoRA langt mere effektivt kan producere indhold inden for et bestemt område, som brugeren måtte ønske at påtvinge den, fordi modellens basisvægte bliver så forvrængede i retning af opgaven, at det alligevel fuldstændig undergraver enhver indbygget beskyttelse.

Alt handler om brugervenlighed

Brugervenlighed er det, der får udbredelsen til at vokse, og det er den brede udbredelse, der skaber pres på regeringer for at lovgive (enten fra offentlige interessegrupper, lobbyister fra erhvervslivet eller gennem mellemstatsligt pres).

Selvom finjustering og LoRA’er næsten helt sikkert kan give mere målrettede resultater end blot at låse en FOSS-grundmodel op, kræver disse metoder en vis grad af disciplin og indsats at gennemføre.

Når det virkelig kun kræver et par klik at køre en model uden censur eller en kvantiseret model lokalt (fordi brugeren næsten helt sikkert vil downloade en model, hvor censuren allerede er fjernet, frem for selv at knække den med Heretic), forlader aktiviteten nørderiets obskure verden og bliver en del af den offentlige debat, hvor misbrug af den sandsynligvis vil blive politiske kastebolde.

I sommer gik NVIDIA i spidsen for en række tunge teknologipartnere, der forsøgte at komme myndighedsbegrænsninger på open source-modeller i forkøbet, med et åbent brev, der endnu en gang argumenterer for, at et mindretals misbrug af en teknologi ikke bør bringe dens potentielle almene nytte i fare. Men denne holdning har vist sig upopulær i de senere år.

* Det bliver ofte betvivlet, om modelskaberne oprigtigt ønsker at begrænse brugernes aktiviteter, og selv beskyttelsesforanstaltninger i form af sikkerhedsbarrierer er blevet affejet som ‘teater’.