Hvor lang tid før et reelt nedslag mot avsensurering av AI-modeller?

Hvis du er gammel nok til å huske warez‑scenen fra omtrent 1995–2010, da enorme samlinger av knekt programvare og ripede filmer (kjøpt engros fra gaten, eller samlet av uformelle pirater når høyhastighets‑bredbånd gjorde enorme og høy‑volum nedlastinger mulige) fylte opp flere knirkende DVD‑samlinger, kan den nye scenen for «avsensurert» åpen‑kilde‑AI‑modeller høres kjent ut.

Fra den «gyldne æra» av uformell gatehandel med programvare og filmer. Kreditt – Shankar.s. «Piraterte DVD‑er på PP‑gate‑markedet» – Kilde / Lisens

Den gangen, før programvareutleie ble en vanlig forbrukermodell, oppsto en liten men elite gruppe av «scene»-programvareentusiaster som knekte applikasjoner, som deretter ble sluppet løs i de ville «warez»-nyhetsgruppene, og senere i torrent‑grupper. Disse restriksjonene kunne være tungvint eller trivielle å omgå, men bruddene var vanligvis uutslettelige når de først var ute i det fri.

Dette er det som skjer nå med åpne kildekode‑store språkmodeller (LLM‑er), som rutinemessig og i stor skala blir frarøvet sine innebygde sikkerhetsfiltre, hvoretter disse avsensurerte modellene blir delt på så mange steder at selv å stenge ned den opprinnelige kilden til «knekking» ikke påvirker modellens tilgjengelighet.

Gavmild eller ondskapsfull

Spørsmålet er: i hvilket lys vil du betrakte disse aktivitetene? I motsetning til warez‑scenen blir ingen like åpenbart fratatt inntekt som mindre programvareprodusenter antagelig ble for 20–30 år siden.

Det er klart at de opprinnelige lisensvilkårene ofte blir brutt i slike tilfeller*; men i motsetning til delvise vekt‑utgivelser fra genAI‑modellprodusenter som Black Forest Labs, behandler ikke de opprinnelige distributørene «lavere kvalitet»-versjoner som oppsalg til mer kapable kun‑API‑modeller; de slipper de fullstendige modellene direkte.

I de fleste tilfeller kan nesten ingen kjøre disse første utgivelsene lokalt, fordi de er for store i parametere selv for kraftige GPU‑kort med 16–24 GB VRAM.

Dermed blir de første utgivelsene raskt konvertert til slankede versjoner som kan kjøres på forbruker‑maskinvare, via modellkvantisering, og konvertering av vekter til lettere iterasjoner som GGUF, AWQ, PTQ, EXL2 eller den Apple‑sentrerte MLX.

Selv om disse ikke er like ytelsessterke som de originale full‑størrelsesmodellene (som vanligvis vil bli levert kommersielt fra ulike GPU‑farmer), er de i det minste under brukerens kontroll, og kan tilpasses den enkelte bruker på måter som den «bedre» modellen ikke kan.

Ha det på din måte

Noen av disse metodene er åpenbart legitime, og vanligvis innenfor rammen av den opprinnelige lisensen, som fin‑justering, slik at en modells vekter spesifikt tilpasses en måloppgave eller -domene som brukeren har injisert i den. I et slikt tilfelle, forutsatt at harddiskplassen tillater det, kan man til og med fin‑justere flere forekomster av en åpen kildekode‑modell for et mangfold av oppgaver, som en rekke dedikerte, tradisjonelle verktøy – i stedet for «Sveitsisk lommekniv»-modellen med full vekt.

I tillegg kan modeller med kompatible innstillinger, men ulikt treningsdata, slås sammen; eller ekstra funksjoner kan overlagres på en modell via lette LoRA‑filtre, uten å risikere å undergrave den opprinnelige modellens evner gjennom fin‑justering.

Imidlertid er modifikasjonen som interesserer flest brukere mest, og som har blitt enklere enn noen av de ovennevnte metodene, fjerning av de nevnte sikkerhetsfiltrene eller rekkverk.

Selv om dette åpenbart gjør det mulig for modeller som kan generere pornografisk innhold og utvikle skadelig programvare, fjerner det også det mange brukere oppfatter som et altfor restriktivt (og ofte feilutsatt) sett med begrensninger.

Et av mange morsomme eksempler på at Llama-2-7b-chat avviser rimelige forespørsler av sikkerhetsgrunner, tilgjengelig på kildeadressen. Kilde

Heretic

I tilfelle av Heretic, programvaren som nylig har revolusjonert avsensurering av modeller, er det til og med mulig å senke nivået av «blomstrende» og omstendelig prosa som modeller har en tendens til.

Heretic begynner å avsensurere gpt‑oss, selv om det ærlig talt skjer på en svært kraftig maskin som sannsynligvis ikke vil pryde den gjennomsnittlige forbrukerens hjem – selv om den kan leies billig på nettet for den nødvendige varigheten av prosessen. Kilde – https://github.com/p-e-w/heretic Kilde

Enda viktigere er at Heretic – som automatisk leter etter en avblokkering som undertrykker avslag, samtidig som den minimerer skade på modellens opprinnelige oppførsel – reduserer den relativt utfordrende oppgaven med avsensurering til kun én enkel kommando fra sluttbrukerens perspektiv.

Som du kan se fra skjermbildet ovenfor, drar Heretic nytte av en kraftigere GPU enn det som sannsynligvis finnes i en forbruker‑hjem; likevel trenger brukerne ikke å kjøre den på hjemme‑maskinvare, akkurat som de ikke måtte knekte programvare personlig tilbake i 2002; på samme måte som i warez‑dagene, utfører leverandører i scenen (uformelle, vanligvis ikke‑kommersielle entusiaster) med tilgang til slik maskinvare, eller vilje til å bruke noen tokens på problemet, jailbreaken og slipper den avsensurerte modellen inn i scenen.

I sikte

Når en «tvilsom» digital handling slutter å være vanskelig, skjer det vanligvis gjennom et overnaturlig sprang i kapasitet (tenk på Napster eller PopCornTime) som plutselig øker både aktiviteten i seg selv og nivået av «offisiell» interesse for å dempe den.

Kombinert med den økende populariteten og brukervennligheten til plattformer som Ollama, begynner Heretic å gjøre avsensurert modelltilgang tilgjengelig for den ikke‑tekniske brukeren, selv om en virkelig «idiotsikret» metode ennå ikke er fullt ut tilgjengelig.

Og det fører meg tilbake til mitt tidligere spørsmål om denne aktiviteten utgjør et «problem». Et papir som dukket opp på Arxiv i går indikerer for meg, basert på noen svært nylige trender i innstramming og nedslag på teknologisk forbrukerfrihet, at avsensurering sannsynligvis vil få økende oppmerksomhet, noe som fører til flere tilfeller av restriktiv lovgivning verden over.

Det nye papiret, en rapport fra 10a Labs, fremstiller avsensurering som negativt, og gir de vanlige få misbrukstilfellene som, historien antyder, og nåværende trender forutsier, vil føre til innskrenkninger.

Studien sporer hva som skjer etter at avsensurerte modeller blir sluppet og redistribuert, og identifiserte 1 643 GitHub‑applikasjoner som integrerer, anbefaler eller som standard bruker usensurerte modeller.

Modellene i spørsmålet spenner fra generelle chat‑bot‑er og dokumentbehandlingsverktøy til NSFW‑rollespill og historiefortelling; eksplisitte innholdstjenester; hacking‑ og offensiv‑sikkerhetsverktøy; samt svindel‑applikasjoner og malware‑generatorer, med 25 % av utgivelsene klassifisert av studien som «eksplicit ondsinnet»:

Oversikt over hvordan usensurerte AI‑modeller blir brukt etter utgivelse. Studien sporet 1 643 GitHub‑applikasjoner som integrerer, anbefaler eller som standard bruker modeller der sikkerhetsrestriksjonene er fjernet, og fant at 37 % var generelle usensurerte chat‑bot‑er, mens cybersikkerhets‑ og dokumentbehandlingsverktøy hver sto for 16 %, sammen med mindre kategorier som stemmeassistenter, NSFW‑rollespill, kreativ skriving, koding og andre bruksområder. Papiret fant at omtrent 25 % av de identifiserte applikasjonene kunne klassifiseres som «eksplicit ondsinnet». Kilde

I lys av Storbritannias nylig innførte restriksjoner på nett‑tilgang (og dens nå midlertidig stoppede intensjon om også å begrense VPN‑tilgang som omgår dem); Californias 2027‑krav om at de fleste operativsystemer skal samle inn brukernes aldersintervall og gi dem til applikasjoner; EUs ordning for aldersverifisering for tilgang til voksen‑nettinnhold; og Australias forbud mot sosiale‑mediekontoer for personer under seksten år; ser det nye papiret ut til å passe inn i mønsteret der økt oppmerksomhet til slutt fører til økt tilsyn, regulering og muligens selektive eller fullstendige forbud.

Det kunne ikke skjedd her

Nei, det kan absolutt skje her, delvis på grunn av den høye andelen ondsinnet bruk, som forfatterne av den nye studien anslår; og, muligens, fordi kontroller vil pålegge ytterligere restriksjoner på den økende trenden mot lokalt kjørende AI, som kan oppfattes av regjeringer og institusjoner som en trussel – enda mer når modellene er frigjort fra sine begrensninger.

Ved å fremstille avsensurering som «fremmende» NSFW‑utdata og ondsinnet hacking, kan man presentere avsensurering som et falskt binært forslag: siden den kan brukes til dårlige formål, må den underlegges regulering. I praktiske termer ser det ikke ut til å finnes noen realistisk måte å regulere en slik funksjon på annet enn å forby den fullstendig, siden det finnes så mange mulige bruksområder.

I tillegg, i tilfeller hvor avsensurering av en LLM kan la en modell generere (for eksempel) CSAM‑fiktion, vil restriktiv regulering virke som et selvsagt valg, siden enhver som motsetter seg det kan bli stiltiende fremstilt som «til støtte» for en avsensurert modells ondsinnede bruk, snarere enn dens rimelige bruk.

Dette overser faktum at en fin‑justert eller LoRA‑påvirket modell kan langt mer effektivt produsere ethvert spesifikt domene brukeren ønsker å pålegge, siden modellens basisvekter blir så forvrengt mot oppgaven at de fullstendig undergraver eventuelle innebygde beskyttelser.

Alt om enkelhet

Brukervennlighet er det som utløser adopsjon i stor skala, og adopsjon i stor skala er det som legger press på myndighetene for å lovgi (enten fra offentlige interessegrupper, bransjelobbyer eller gjennom mellomstatlig press).

Selv om fin‑justering og LoRA‑er nesten helt sikkert kan oppnå bedre målrettede resultater enn bare å låse opp en FOSS‑grunnmodell, krever disse metodene en viss grad av disiplin og innsats for å gjennomføre.

Når kjøring av en avsensurert/kvantisert modell lokalt virkelig blir en sak som krever noen få klikk (siden brukeren nesten helt sikkert vil laste ned en «for‑frigjort» modell i stedet for å knekte den selv med Heretic), forlater aktiviteten geek‑obskuriteten og går inn i det offentlige rom, hvor misbrukene sannsynligvis vil bli politiske fotballer.

I sommer ledet NVIDIA en gruppe av tunge teknologipartnere i å forhindre myndighetsrestriksjoner på åpne kildekodemodeller, i et åpent brev som igjen argumenterer for at minoritetsmisbruk av en teknologi ikke bør sette den i fare som en potensiell generell fordel. Men dette har vist seg å være et upopulært standpunkt de siste årene.

* Hvorvidt modellskapere er oppriktige i sitt erklærte ønske om å begrense brukernes aktivitet blir ofte stilt spørsmål ved, med rekkverksbeskyttelser til og med avfeid som «teater».