Hur länge dröjer det innan myndigheterna slår till på allvar mot avcensurering av AI-modeller?

Om du är gammal nog att minnas warezscenen från ungefär 1995–2010, då stora samlingar av knäckt programvara och piratkopierade filmer (köpta i grossistled direkt på gatan eller samlade ihop av hobbypirater när bredband med hög hastighet gjorde stora nedladdningar i stor skala möjliga) växte sig så omfattande att de fyllde flera dignande DVD-samlingar, kan den framväxande scenen kring ”avcensurerade” AI-modeller med öppen källkod väcka igenkänning.

Från den ”gyllene eran” av vardaglig gatuhandel med programvara och filmer. Bild: Shankar.s. ”Piratkopierade DVD-skivor på PP Street Market” – Källa / Licens

På den tiden, innan programuthyrning blev vanligt bland konsumenter, växte en liten men elitpräglad grupp programvaruentusiaster inom ”scenen” fram. De knäckte program som sedan spreds fritt i ”warez”-diskussionsgrupper och, senare, i torrentgrupper. Sådana begränsningar kunde vara besvärliga eller enkla att kringgå, men när de väl hade kringgåtts och släppts ut i det fria var det vanligtvis omöjligt att återkalla dem.

Det här är vad som nu händer med stora språkmodeller (LLM:er) med öppen källkod: deras inbyggda säkerhetsfilter avlägsnas rutinmässigt och i stor skala. Därefter delas de avcensurerade modellerna på så många platser att det inte längre spelar någon roll för modellernas tillgänglighet om den ursprungliga källan till ”knäckningen” stängs ned.

Välgörare eller missdådare

Frågan är: hur vill du se på den här verksamheten? Till skillnad från inom warezscenen är det ingen som uttryckligen berövas inkomster i samma utsträckning som mindre programvarutillverkare möjligen blev för 20–30 år sedan.

Visst bryter man ofta mot de ursprungliga licensvillkoren i sådana fall*; men till skillnad från utgivningar med endast delar av modellvikterna från generativa AI-modellutvecklare som Black Forest Labs använder de ursprungliga distributörerna inte versioner av ”lägre kvalitet” som lockbete för att sälja mer kapabla modeller som bara går att använda via API. De släpper i stället hela modellerna direkt.

I de flesta fall kan nästan ingen köra de ursprungliga utgåvorna lokalt, eftersom de har alldeles för många parametrar för att fungera ens på välutrustade grafikkort med exempelvis 16–24 GB grafikminne (VRAM).

Därför omvandlas de ursprungliga utgåvorna snabbt till nedbantade versioner som kan köras på konsumenthårdvara genom kvantisering av modeller och konvertering av vikterna till lättare format, såsom GGUF, AWQ, PTQ, EXL2 eller det Apple-inriktade MLX.

Även om de inte presterar lika bra som de ursprungliga, fullstora modellerna (som vanligtvis tillhandahålls kommersiellt från olika GPU-farmer), är de åtminstone under användarens kontroll och kan anpassas efter den enskilda användaren på sätt som den ”bättre” modellen inte kan.

Få det på ditt sätt

Vissa av dessa anpassningar är uppenbart legitima och ryms vanligtvis inom villkoren för den ursprungliga licensen, till exempel finjustering, så att en modells vikter särskilt inriktas mot en uppgift eller ett område som användaren har matat in i modellen. Om hårddiskutrymmet räcker kan man till och med finjustera flera instanser av en modell med öppen källkod för olika uppgifter, som en uppsättning specialiserade traditionella verktyg, i stället för att använda den ursprungliga modellen med alla vikter som en ”schweizisk armékniv”.

Dessutom kan modeller med kompatibla inställningar men olika träningsdata slås samman. Alternativt kan man lägga till nya funktioner i en modell med hjälp av lätta LoRA-filter, utan att riskera att undergräva basmodellens ursprungliga förmågor genom finjustering.

Den ändring som intresserar många användare mest, och som har blivit enklare än alla metoderna ovan, är dock att ta bort de tidigare nämnda säkerhetsfiltren, eller skyddsräckena.

Även om detta onekligen gör det möjligt att få modeller att generera pornografiskt innehåll och instruktioner för utveckling av skadlig programvara, tar det också bort begränsningar som många användare uppfattar som överdrivet restriktiva och ofta felbenägna.

Ett av många dråpliga exempel på hur Llama-2-7b-chat av säkerhetsskäl vägrar att svara på rimliga förfrågningar. Exemplet finns på källans webbadress. Källa

Heretic

Med Heretic, programvaran som på senare tid har revolutionerat avcensurering av modeller, går det till och med att sänka graden av blomstrande och omständlig prosa som modellerna tenderar att använda.

Heretic sätter i gång med att avcensurera gpt-oss, men här körs det visserligen på en mycket välutrustad dator som knappast finns hemma hos den genomsnittliga konsumenten – även om den kan hyras billigt på nätet under den tid processen tar. Källa

Än viktigare är att Heretic – som automatiskt söker efter en abliterering som undertrycker vägranden, samtidigt som skadorna på modellens ursprungliga beteende minimeras – gör den relativt krävande uppgiften att avcensurera till ett enda kommando ur slutanvändarens perspektiv.

Som du kan se på skärmbilden ovan gynnas Heretic av en kraftfullare GPU än den som sannolikt finns hemma hos en konsument. Användarna behöver dock inte köra programmet på sin egen dator, lika lite som de behövde knäcka programvara själva 2002. Precis som under warez-eran utför de som tillhandahåller material till scenen (entusiaster som i regel gör det på fritiden och utan kommersiella intressen), med tillgång till sådan maskinvara eller en vilja att lägga några token på uppgiften, jailbreakningen och släpper den avcensurerade modellen vidare i scenen.

I skottlinjen

När det blir lätt att utföra en ”tvivelaktig” digital handling beror det oftast på ett plötsligt språng i tillgänglig teknik (tänk på Napster eller PopCornTime), som snabbt ökar både omfattningen av själva aktiviteten och det ”officiella” intresset för att försöka begränsa den.

I kombination med den ökande populariteten och användarvänligheten hos plattformar som Ollama gör Heretic det allt lättare även för den som saknar tekniska kunskaper att få tillgång till avcensurerade modeller, även om det ännu inte finns någon helt ”idiotsäker” metod.

Det för mig tillbaka till min tidigare fråga: utgör den här verksamheten ett ”problem” eller inte? En artikel som dök upp på arXiv i går pekar för mig, utifrån några mycket aktuella tendenser till inskränkningar i och hårdare tag mot teknikrelaterade konsumentfriheter, på att avcensurering sannolikt kommer att få allt större uppmärksamhet och leda till fler lagstiftningsinitiativ världen över som förbjuder sådan verksamhet.

Den nya artikeln, en rapport från 10a Labs, framställer avcensureringsrörelsen i negativ dager och lyfter fram den sedvanliga minoriteten av missbruksfall som, historien visar och den aktuella utvecklingen förutspår, kommer att leda till begränsningar.

Studien undersöker vad som händer efter att avcensurerade modeller har släppts och spridits vidare. Den identifierade 1 643 GitHub-applikationer som integrerar, rekommenderar eller som standard använder ocensurerade modeller.

Modellerna i fråga sträcker sig från allmänna chattbotar och verktyg för dokumenthantering till rollspel och berättande med vuxet innehåll (NSFW), tjänster med explicit innehåll, verktyg för hackning och offensiv säkerhet samt bedrägeriapplikationer och skadeprogramsgeneratorer. Studien klassificerade 25 % av lanseringarna som ”uttryckligen skadliga”:

Översikt över hur ocensurerade AI-modeller används efter lanseringen. Studien kartlade 1 643 GitHub-applikationer som integrerar, rekommenderar eller som standard använder modeller vars säkerhetsbegränsningar har tagits bort. Den fann att 37 % var ocensurerade chattbotar för allmänna ändamål, medan verktyg för cybersäkerhet respektive dokumenthantering stod för 16 % vardera. Därutöver fanns mindre kategorier inom bland annat röstassistenter, rollspel med vuxet innehåll (NSFW), kreativt skrivande, programmering och annan användning. Artikeln fann att omkring 25 % av de identifierade applikationerna kunde klassificeras som ”uttryckligen skadliga”. Källa

Mot bakgrund av Storbritanniens nyligen införda begränsningar av åtkomsten till webben (och den nu pausade avsikten att även begränsa VPN-åtkomsten som gör det möjligt att kringgå dem), Kaliforniens krav från 2027 på att de flesta operativsystem ska samla in användarnas åldersspann och lämna uppgifterna till applikationer, EU:s system för åldersverifiering vid åtkomst till vuxeninnehåll på nätet och Australiens förbud mot konton på sociala medier för personer under 16 år, verkar den nya artikeln passa in i ett mönster där ökad uppmärksamhet till slut leder till ökad tillsyn och reglering, och möjligen till selektiva eller fullständiga förbud.

Det skulle inte kunna hända här

Jo, det skulle definitivt kunna hända här, delvis på grund av den höga andelen skadlig användning enligt författarnas uppskattning i den nya studien och, kan man hävda, eftersom regleringar skulle innebära ytterligare begränsningar av den växande trenden mot AI som körs lokalt. Den trenden kan uppfattas som ett hot av regeringar och institutioner – i ännu högre grad när modellerna släpps fria från sina tyglar.

Genom att framställa avcensureringsaktiviteter som att de ”möjliggör” NSFW-innehåll och skadlig hacking kan avcensurering framställas som ett falskt binärt val: eftersom den kan användas till dåliga saker måste den regleras. I praktiken verkar det inte finnas något realistiskt sätt att reglera en sådan funktion över huvud taget annat än att förbjuda den helt, eftersom det finns så många möjliga användningsområden.

När avcensurering av en LLM skulle kunna göra det möjligt för en modell att generera exempelvis fiktion som skildrar sexuella övergrepp mot barn, verkar en restriktiv reglering vara ett självklart val. Den som motsätter sig den kan nämligen indirekt framställas som någon som ”stödjer” en avcensurerad modells skadliga användning snarare än dess rimliga användning.

Detta bortser från att en finjusterad modell eller en modell som påverkats av LoRA mycket effektivare kan skapa innehåll inom vilket specifikt ämnesområde användaren än vill styra den mot, eftersom modellens grundvikter blir så förvrängda i riktning mot uppgiften att de ändå fullständigt undergräver alla skydd som tränats in.

Allt om enkelhet

Användarvänlighet är det som driver användning i stor skala, och det är den storskaliga användningen som ökar trycket på regeringar att lagstifta (från påtryckningsgrupper bland allmänheten, branschens lobbyister eller genom påtryckningar mellan regeringar).

Även om finjustering och LoRA nästan säkert kan ge bättre målinriktade resultat än att bara låsa upp en grundmodell med öppen källkod, kräver de här metoderna en viss disciplin och ansträngning att genomföra.

När det väl verkligen bara krävs några få klick för att köra en avcensurerad, kvantiserad modell lokalt (eftersom användaren nästan säkert kommer att ladda ner en modell som redan har ”befriats” snarare än att själv knäcka den med Heretic), lämnar aktiviteten nördarnas undanskymda värld och blir en angelägenhet för allmänheten, där missbruk sannolikt blir politiska slagträn.

I somras ledde NVIDIA en grupp tunga teknikpartner i arbetet med att förekomma statliga begränsningar av modeller med öppen källkod. Det skedde genom ett öppet brev som än en gång argumenterar för att en minoritets missbruk av en teknik inte bör äventyra dess potential att gagna alla. Under de senaste åren har detta dock visat sig vara en impopulär ståndpunkt.

* Det ifrågasätts ofta om modellskapare verkligen menar allvar med sin uttalade önskan att begränsa användarnas aktiviteter, och skyddsräcken har till och med avfärdats som ”teater”.