Quanto manca a una vera stretta sulla rimozione della censura dai modelli di IA?

Se avete abbastanza anni da ricordare la scena warez, all’incirca dal 1995 al 2010, quando vaste raccolte di software craccato e film rippati (acquistati in blocco per strada oppure messi insieme da pirati occasionali, una volta che la banda larga ad alta velocità aveva reso possibili download ingenti e su larga scala) si accumulavano in numerose collezioni di DVD stracolme, la scena emergente dei modelli di IA open source «decensurati» potrebbe suonarvi familiare.

Dall’«età dell’oro» del commercio informale di software e film per strada. Credito – Shankar.s. «DVD piratati al mercato di PP street» – Fonte / Licenza

All’epoca, prima che il noleggio di software diventasse una pratica comune tra i consumatori, emerse un piccolo ma d’élite gruppo di appassionati di software della «scena», dediti a craccare applicazioni, che venivano poi diffuse nei newsgroup «warez» e, in seguito, nei gruppi di torrent. Aggirare quelle restrizioni poteva essere arduo o facile, ma una volta che le violazioni venivano diffuse, di solito erano irreversibili.

È ciò che sta accadendo ora con i modelli linguistici di grandi dimensioni (LLM) open source, ai quali vengono regolarmente rimossi, su larga scala, i filtri di sicurezza integrati durante l’addestramento. In seguito, questi modelli decensurati finiscono per essere condivisi in così tanti luoghi che persino la chiusura della fonte originaria della «crack» non ne modifica la disponibilità.

Benefattori o malfattori

La domanda è: da quale prospettiva volete considerare queste attività? A differenza di quanto avveniva nella scena warez, nessuno viene privato del proprio reddito in modo altrettanto esplicito di quanto, a ragione, si potrebbe dire sia accaduto ai piccoli produttori di software 20-30 anni fa.

In questi casi*, è certo che spesso i termini della licenza originale vengono violati; tuttavia, a differenza dei rilasci parziali dei pesi dei produttori di modelli di IA generativa come Black Forest Labs, i distributori originali non trattano le versioni di «qualità inferiore» come un modo per spingere verso modelli più capaci, accessibili solo tramite API: rilasciano direttamente i modelli completi.

Nella maggior parte dei casi, quasi nessuno può eseguire localmente queste versioni iniziali, perché hanno semplicemente troppi parametri, persino per schede GPU ben equipaggiate con 16-24 GB di VRAM.

Le versioni iniziali vengono quindi rapidamente convertite in versioni più compatte, in grado di funzionare sull’hardware dei consumatori, attraverso la quantizzazione dei modelli e la conversione dei pesi in formati più leggeri come GGUF, AWQ, PTQ, EXL2 o MLX, orientato ai prodotti Apple.

Anche se non sono altrettanto performanti dei modelli originali completi (che di solito vengono messi a disposizione a fini commerciali tramite varie GPU farm), restano almeno sotto il controllo dell’utente e possono essere personalizzati per rispondere alle esigenze specifiche di quest’ultimo, cosa che il modello «migliore» non consente.

A modo tuo

Alcune di queste possibilità sono palesemente legittime e di solito rientrano nei termini della licenza originale, come il fine-tuning, che permette di orientare specificamente i pesi di un modello verso un’attività o un ambito di destinazione che l’utente vi ha inserito. In tal caso, se lo spazio su disco lo consente, si possono persino sottoporre a fine-tuning più istanze di un modello open source per una varietà di attività, ottenendo una serie di strumenti tradizionali dedicati, invece del «coltellino svizzero» rappresentato da un modello originale con tutti i suoi pesi.

Inoltre, è possibile unire modelli con impostazioni compatibili ma addestrati su dati diversi; oppure aggiungere a un modello capacità supplementari tramite filtri LoRA leggeri, senza rischiare di compromettere le capacità originali del modello di base con il fine-tuning.

Tuttavia, la modifica che interessa maggiormente molti utenti e che è diventata più semplice di tutti i metodi descritti sopra è la rimozione dei filtri di sicurezza menzionati in precedenza, o dei guardrail.

È vero che così i modelli possono generare contenuti pornografici e materiale utile allo sviluppo di malware, ma vengono eliminate anche le restrizioni che molti utenti considerano eccessivamente limitanti e spesso soggette a errori.

Uno dei numerosi esempi esilaranti in cui Llama-2-7b-chat rifiuta richieste ragionevoli per motivi di sicurezza, disponibile all’URL della fonte. Fonte

Heretic

Nel caso di Heretic, il software che di recente ha rivoluzionato la rimozione della censura dai modelli, è possibile anche ridurre il livello di prosa «fiorita» e prolissa a cui i modelli tendono.

Heretic si mette al lavoro per de-censurare gpt-oss, anche se, va detto, qui viene eseguito su una macchina con specifiche tecniche molto elevate, che difficilmente si trova nelle case dei consumatori medi; è però possibile noleggiarne una online a basso costo per il tempo necessario a completare il processo. Fonte

Quel che conta di più è che Heretic — che cerca automaticamente un’abliterazione capace di sopprimere i rifiuti riducendo al minimo i danni al comportamento originale del modello — riduce, dal punto di vista dell’utente finale, il compito relativamente complesso di de-censurare un modello a un semplice comando.

Come si vede dallo screenshot qui sopra, Heretic tende a trarre vantaggio da una GPU più potente di quelle che si trovano in genere nelle case dei consumatori. Tuttavia, gli utenti non devono eseguirlo sul proprio hardware domestico, così come nel 2002 non dovevano craccare personalmente i software: come ai tempi del warez, i fornitori a monte della scena — appassionati non professionisti, di solito non commerciali — che dispongono di hardware di questo tipo o sono disposti a spendere qualche token per il lavoro, effettuano il jailbreak e distribuiscono nella scena il modello de-censurato.

Nel mirino

Quando un’azione digitale «discutibile» smette di essere difficile, di solito è grazie a un improvviso salto di capacità, come nel caso di Napster o PopCornTime, che fa crescere rapidamente sia l’attività stessa sia il livello di interesse «ufficiale» nel limitarla.

Insieme alla crescente popolarità e facilità d’uso di piattaforme come Ollama, Heretic sta iniziando a rendere accessibili i modelli de-censurati anche agli utenti non tecnici, benché non sia ancora disponibile un metodo davvero «a prova di inesperto».

E questo mi riporta alla domanda che mi ero posto prima: questa attività costituisce o no un «problema»? Un articolo apparso ieri su Arxiv mi induce a pensare, sulla base di tendenze molto recenti a ridimensionare e reprimere le libertà dei consumatori nel settore tecnologico, che la de-censura attirerà sempre più attenzione, portando a un numero crescente di provvedimenti legislativi restrittivi in tutto il mondo.

Il nuovo articolo, un rapporto di 10a Labs, presenta il movimento della de-censura sotto una luce negativa e propone la consueta minoranza di casi di abuso che, come suggerisce la storia e preannunciano le tendenze attuali, porteranno a restrizioni.

Lo studio ha analizzato cosa succede dopo la distribuzione e la ridistribuzione dei modelli de-censurati e ha individuato 1.643 applicazioni su GitHub che integrano, consigliano o usano per impostazione predefinita modelli non censurati.

I modelli in questione spaziano dai chatbot generalisti e dagli strumenti per l’elaborazione di documenti ai giochi di ruolo e alla narrazione NSFW; ai servizi per contenuti espliciti; agli strumenti per l’hacking e la sicurezza offensiva; e alle applicazioni per le frodi e ai generatori di malware. Secondo lo studio, il 25% delle versioni pubblicate è classificato come «esplicitamente dannoso»:

Ripartizione degli utilizzi dei modelli IA non censurati dopo la loro distribuzione. Lo studio ha esaminato 1.643 applicazioni su GitHub che integrano, consigliano o usano per impostazione predefinita modelli privati delle restrizioni di sicurezza, rilevando che il 37% erano chatbot generalisti non censurati. Gli strumenti per la cybersicurezza e quelli per l’elaborazione di documenti rappresentavano ciascuno il 16%, affiancati da categorie meno numerose, tra cui assistenti vocali, giochi di ruolo NSFW, scrittura creativa, programmazione e altri utilizzi. Lo studio ha rilevato che circa il 25% delle applicazioni individuate poteva essere classificato come «esplicitamente dannoso». Fonte

Alla luce delle restrizioni introdotte di recente dal Regno Unito sull’accesso al web (e dell’intenzione, ora sospesa, di limitare anche l’accesso tramite VPN che consente di aggirarle); dell’obbligo previsto in California per il 2027, secondo cui la maggior parte dei sistemi operativi dovrà raccogliere le fasce d’età degli utenti e comunicarle alle applicazioni; del programma dell’UE per verificare l’età di chi accede a contenuti online per adulti; e del divieto australiano di account sui social media per i minori di 16 anni; il nuovo articolo sembra inserirsi in una tendenza per cui l’aumento dell’attenzione finisce per tradursi in una maggiore sorveglianza e regolamentazione, e forse in divieti selettivi o totali.

Non potrebbe succedere qui

No, potrebbe senz’altro succedere qui, in parte a causa dell’elevata percentuale di usi malevoli stimata dagli autori del nuovo studio e, si potrebbe sostenere, perché i controlli imporrebbero ulteriori restrizioni alla tendenza crescente verso un’IA eseguita localmente, che può essere percepita da governi e istituzioni come una minaccia, tanto più quando i modelli vengono liberati dai loro vincoli.

Presentando le attività di rimozione dei filtri come un modo per «agevolare» la generazione di contenuti NSFW e gli attacchi informatici malevoli, si può far apparire la rimozione dei filtri come una falsa alternativa binaria: dato che può essere usata per fare del male, deve essere sottoposta a regolamentazione. In pratica, non sembra esserci alcun modo realistico per regolamentare una funzionalità del genere in assoluto , se non vietandola del tutto, visto il gran numero di possibili casi d’uso.

Inoltre, nei casi in cui rimuovere i filtri di un LLM potrebbe consentire a un modello di generare, per esempio, materiale di abuso sessuale su minori (CSAM) di fantasia, una regolamentazione restrittiva sembrerebbe una proposta destinata a passare senza difficoltà, perché chiunque vi si opponga potrebbe essere tacitamente dipinto come sostenitore degli usi nefasti di un modello senza filtri, anziché dei suoi usi ragionevoli.

Questo però ignora il fatto che un modello messo a punto con il fine-tuning o modificato tramite LoRA può generare con molta più efficacia contenuti in qualsiasi ambito specifico che l’utente voglia imporre, perché i pesi di base del modello si alterano a tal punto a favore dell’attività da compromettere completamente comunque tutte le protezioni integrate durante l’addestramento.

Tutto ruota intorno alla facilità d’uso

La facilità d’uso è ciò che innesca l’adozione su larga scala, e l’adozione su larga scala è ciò che spinge i governi a legiferare (sia per effetto della pressione dei gruppi di cittadini, delle attività di lobbying del settore o delle pressioni intergovernative).

Sebbene il fine-tuning e le LoRA possano quasi certamente offrire risultati più mirati rispetto al semplice sblocco di un modello di base FOSS, questi metodi richiedono un certo livello di disciplina e impegno per essere messi in pratica.

Quando eseguire localmente un modello senza filtri e quantizzato diventa davvero una questione di pochi clic (poiché quasi certamente l’utente scaricherà un modello «già liberato», anziché sbloccarlo da sé con Heretic), questa attività esce dall’ambito ristretto degli appassionati di tecnologia ed entra nel dibattito pubblico, dove è probabile che i suoi abusi diventino terreno di scontro politico.

Quest’estate NVIDIA ha guidato un gruppo di partner tecnologici di primo piano nel prevenire eventuali restrizioni governative sui modelli open source, con una lettera aperta che ribadisce come gli abusi di una tecnologia da parte di una minoranza non dovrebbero comprometterne il potenziale beneficio generale. Negli ultimi anni, però, questa posizione si è rivelata impopolare.

* Spesso ci si chiede se i creatori dei modelli siano sinceri nel dichiarare di voler limitare le attività degli utenti, e le protezioni di sicurezza vengono persino liquidate come «teatro».