Hvor lenge er det til en reell aksjon mot avsensurering av KI-modeller?

Hvis du er gammel nok til å huske warez-miljøet fra omtrent 1995–2010, da store samlinger av crackede programmer og rippede filmer (kjøpt i store kvanta på gata eller samlet av hobby-pirater etter at høyhastighetsbredbånd gjorde store nedlastinger i høyt tempo mulig) fylte opp flere overlessede DVD-samlinger, kan det gryende miljøet for «avsensurerte» KI-modeller med åpen kildekode virke kjent.

Fra «gullalderen» for uformell gatehandel med programvare og filmer. Foto: Shankar.s. «Pirated DVDs at PP street market» – Kilde / Lisens

Den gangen, før programvareleie ble vanlig forbrukermodell, vokste det fram en liten, men elitepreget gruppe programvareentusiaster i «scene»-miljøet som knekte kopibeskyttelsen i programmer. Deretter ble programmene sluppet ut i «warez»-diskusjonsgrupper og senere torrentgrupper. Slike begrensninger kunne være svært krevende eller enkle å omgå, men når de først var omgått og programvaren sluppet løs, var det som regel ugjenkallelig.

Det er dette som skjer nå med store språkmodeller (LLM-er) med åpen kildekode: De blir rutinemessig og i stor skala fratatt sine innebygde sikkerhetsfiltre. Deretter blir disse avsensurerte modellene delt så mange steder at det ikke lenger spiller noen rolle for tilgangen til dem om den opprinnelige kilden til «cracken» stenges ned.

Velgjører eller skadevolder

Spørsmålet er: Hvordan ønsker du å se på denne virksomheten? I motsetning til i warez-miljøet er det ingen som blir like direkte fratatt inntekter som mindre programvareprodusenter angivelig ble for 20–30 år siden.

Det er ingen tvil om at de opprinnelige lisensvilkårene ofte brytes i slike tilfeller*. Men i motsetning til utgivelser der bare deler av modellvektene er tilgjengelige fra produsenter av generativ KI, som Black Forest Labs, bruker ikke de opprinnelige distributørene «versjoner av lavere kvalitet» som en vei til mersalg av mer kapable modeller som bare er tilgjengelige via API. De slipper modellene i sin helhet.

I de fleste tilfeller kan nesten ingen kjøre disse første utgivelsene lokalt, fordi de har altfor mange parametere til å kunne kjøres selv på godt utstyrte grafikkort med for eksempel 16–24 GB VRAM.

Derfor konverteres de første utgivelsene raskt til nedstrippede versjoner som kan kjøres på forbrukerutstyr, ved hjelp av kvantisering av modeller og konvertering av vektene til lettere varianter som GGUF, AWQ, PTQ, EXL2 eller den Apple-sentrerte MLX.

Disse modellene yter riktignok ikke like godt som de opprinnelige, fullverdige modellene (som vanligvis tilbys kommersielt fra ulike GPU-farmer), men brukeren har i det minste kontroll over dem og kan tilpasse dem til sine spesifikke behov på måter som ikke er mulig med den «bedre» modellen.

På dine egne premisser

Noen av disse tilpasningene er helt klart legitime og ligger vanligvis innenfor rammene av den opprinnelige lisensen, for eksempel finjustering, slik at modellens vekter i større grad rettes mot en bestemt oppgave eller et fagområde som brukeren har tilført modellen. Hvis det er nok plass på harddisken, kan man til og med finjustere flere instanser av en modell med åpen kildekode for ulike oppgaver, omtrent som et utvalg spesialiserte, tradisjonelle verktøy – i stedet for den opprinnelige modellen med alle vektene, som en «sveitsisk lommekniv».

Modeller med kompatible innstillinger, men ulike treningsdata, kan dessuten slås sammen. Alternativt kan man legge til ekstra funksjoner i en modell ved hjelp av lette LoRA-filtre, uten å risikere å svekke grunnmodellens opprinnelige egenskaper gjennom finjustering.

Endringen som interesserer mange brukere mest, og som har blitt enklere enn alle metodene ovenfor, er imidlertid å fjerne de nevnte sikkerhetsfiltrene, eller sikkerhetsmekanismene.

Dette gjør riktignok at modellene kan lage pornografisk innhold og bidra til utvikling av skadevare, men det fjerner også et sett med begrensninger som mange brukere oppfatter som overdrevent strenge og ofte feilutsatte.

Ett av mange morsomme eksempler på at Llama-2-7b-chat avslo rimelige forespørsler av sikkerhetshensyn. Eksemplet finnes på kilde-URL-en. Kilde

Heretic

Med Heretic, programvaren som nylig har revolusjonert avsensurering av modeller, er det til og med mulig å senke nivået av «blomstrende» og omfattende prosa som modellene har en tendens til å produsere.

Heretic går i gang med å avsensurere gpt-oss, men det krever riktignok en maskin med svært kraftige spesifikasjoner, som neppe finnes hjemme hos gjennomsnittsforbrukeren. En slik maskin kan imidlertid leies billig på nettet så lenge prosessen varer. Kilde

Enda viktigere er det at Heretic – som automatisk leter etter en abliterering som undertrykker avslag, samtidig som den begrenser skade på modellens opprinnelige atferd – gjør den relativt krevende oppgaven med å avsensurere modellen til en enkel kommando sett fra sluttbrukerens ståsted.

Som skjermbildet ovenfor viser, har Heretic gjerne nytte av en kraftigere GPU enn det man sannsynligvis finner hjemme hos forbrukere. Brukerne trenger imidlertid ikke å kjøre programmet på egen maskinvare, like lite som de måtte knekke programvare selv i 2002. Som på warez-tiden utfører sceneaktører høyere opp i distribusjonskjeden – uformelle, som regel ikke-kommersielle entusiaster med tilgang til slik maskinvare eller vilje til å bruke noen tokens på oppgaven – jailbreakingen og slipper den avsensurerte modellen ut i miljøet.

I søkelyset

Når en «tvilsom» digital aktivitet plutselig blir enkel å utføre, skyldes det som regel et sprang i kapasitet over natten (tenk på Napster eller PopCornTime) som brått skalerer opp både selve aktiviteten og den «offisielle» interessen for å begrense den.

Sammen med den økende populariteten og brukervennligheten til plattformer som Ollama er Heretic i ferd med å gjøre tilgang til avsensurerte modeller mulig også for ikke-tekniske brukere, selv om en virkelig «idiotsikker» metode ennå ikke er tilgjengelig.

Det bringer meg tilbake til det tidligere spørsmålet mitt: Om denne aktiviteten utgjør et «problem». En artikkel som dukket opp på arXiv i går, tyder på at avsensurering sannsynligvis vil få stadig større oppmerksomhet. Det bygger jeg på flere helt ferske tendenser til å begrense og slå ned på teknologiforbrukernes frihet, noe som kan føre til flere tilfeller av restriktiv lovgivning verden over.

Den nye artikkelen, en rapport fra 10a Labs, framstiller avsensureringsbevegelsen i et negativt lys og trekker fram den vanlige minoriteten av misbrukstilfeller som, historien viser og dagens utvikling varsler, vil føre til innstramminger.

Studien undersøker hva som skjer etter at avsensurerte modeller lanseres og distribueres videre, og identifiserte 1 643 GitHub-applikasjoner som integrerer, anbefaler eller som standard bruker usensurerte modeller.

Modellene det er snakk om, spenner fra allsidige chatboter og verktøy for dokumentbehandling til NSFW-rollespill og historiefortelling, tjenester for eksplisitt innhold, verktøy for hacking og offensiv sikkerhet, samt svindelapplikasjoner og skadevaregeneratorer. Studien klassifiserte 25 % av utgivelsene som «uttrykkelig ondsinnede»:

Oversikt over hvordan usensurerte AI-modeller brukes etter lansering. Studien kartla 1 643 GitHub-applikasjoner som integrerer, anbefaler eller som standard bruker modeller der sikkerhetsbegrensningene er fjernet. Den fant at 37 % var allsidige, usensurerte chatboter, mens verktøy for cybersikkerhet og dokumentbehandling utgjorde 16 % hver. I tillegg kom mindre kategorier innen stemmeassistenter, NSFW-rollespill, kreativ skriving, programmering og annen bruk. Artikkelen fant at rundt 25 % av de identifiserte applikasjonene kunne klassifiseres som «uttrykkelig ondsinnede». Kilde

Sett i lys av Storbritannias nylig innførte begrensninger på nettilgang (og landets nå stansede planer om også å begrense VPN-tilgangen som omgår dem), Californias krav fra 2027 om at de fleste operativsystemer skal samle inn brukernes aldersgrupper og oppgi dem til apper, EUs ordning for aldersverifisering ved tilgang til voksent innhold på nettet og Australias forbud mot kontoer på sosiale medier for barn under 16 år, ser den nye artikkelen ut til å passe inn i et mønster der økt oppmerksomhet til slutt fører til mer tilsyn og regulering, og muligens selektive eller fullstendige forbud.

Det kan skje her også

Jo, det kan definitivt skje her, delvis på grunn av den høye andelen skadelig bruk, slik forfatterne av den nye studien anslår, og kanskje også fordi kontrolltiltak ville legge ytterligere begrensninger på den økende trenden mot lokalt kjørende AI, som kan oppfattes som en trussel av myndigheter og institusjoner – særlig når modellene slippes fri fra tøylene.

Ved å framstille avsensurering som «tilrettelegging» for NSFW-innhold og ondsinnet hacking kan avsensurering presenteres som et falskt enten-eller: Siden det kan brukes til skadelige formål, må det underlegges regulering. I praksis ser det ikke ut til å finnes noen realistisk måte å regulere en slik funksjonalitet i det hele tatt uten å forby den fullstendig, siden det finnes så mange mulige bruksområder.

Dessuten vil restriktiv regulering virke som en selvfølge i tilfeller der avsensurering av en LLM kan gjøre det mulig for en modell å generere (for eksempel) fiktivt materiale med seksuelle overgrep mot barn. Alle som motsetter seg slik regulering, kan nemlig indirekte framstilles som om de «støtter» en avsensurert models ondsinnede bruk, snarere enn dens rimelige bruksområder.

Dette ser bort fra at en finjustert eller LoRA-påvirket modell langt mer effektivt kan generere innhold innenfor et hvilket som helst spesifikt domene brukeren måtte ønske å påtvinge den, ettersom modellens grunnvekter blir så forvrengt i retning av oppgaven at de uansett undergraver fullstendig enhver innebygd beskyttelse.

Alt handler om brukervennlighet

Brukervennlighet er det som utløser utbredt bruk, og utbredt bruk er det som legger press på myndighetene til å vedta lover (enten fra offentlige pressgrupper, lobbyister i næringslivet eller gjennom press mellom regjeringer).

Selv om finjustering og LoRA-er nesten helt sikkert kan gi mer målrettede resultater enn bare å låse opp en FOSS-grunnmodell, krever disse metodene en viss disiplin og innsats å gjennomføre.

Når det å kjøre en avsensurert/kvantisert modell lokalt virkelig blir et spørsmål om noen få klikk (siden brukeren nesten helt sikkert vil laste ned en modell som allerede er «frigjort», i stedet for å knekke den selv med Heretic), går aktiviteten ut av nerdenes obskure verden og inn i offentligheten, der misbruk av den sannsynligvis vil bli et politisk stridstema.

Denne sommeren ledet NVIDIA en gruppe tungvektere blant teknologipartnere i et forsøk på å komme myndighetenes restriksjoner på modeller med åpen kildekode i forkjøpet, gjennom et åpent brev som nok en gang argumenterer for at misbruk av en teknologi fra et mindretall ikke bør sette dens potensielle nytte for allmennheten i fare. Men de siste årene har dette vist seg å være et upopulært standpunkt.

* Det stilles ofte spørsmål ved om modellskaperne oppriktig mener sitt erklærte ønske om å begrense brukernes aktivitet, og sikkerhetstiltak blir til og med avfeid som «spill for galleriet».