La ‘Lingua Assurda’ Che Potrebbe Sovvertire i Sistemi di Moderazione della Sintesi di Immagini

Una nuova ricerca dell’Università di Columbia suggerisce che le salvaguardie che impediscono ai modelli di sintesi di immagini come DALL-E 2, Imagen e Parti di produrre immagini dannose o controverse sono suscettibili a un tipo di attacco avversario che coinvolge ‘parole inventate’.

L’autore ha sviluppato due approcci che possono potenzialmente annullare le misure di moderazione del contenuto in un sistema di sintesi di immagini e ha scoperto che sono notevolmente robusti anche attraverso diverse architetture, indicando che la debolezza è più che solo sistemica e può essere legata a alcuni dei principi fondamentali della sintesi di testo-immagine.

Il primo, e il più forte dei due, è chiamato prompting macaronico. Il termine ‘macaronico’ originariamente si riferisce a una miscela di più lingue, come ad esempio l’Esperanto o l’Unwinese. Forse l’esempio più diffuso nella cultura sarebbe l’Urdu-inglese, un tipo di ‘code mixing’ comune in Pakistan, che combina liberamente nomi inglesi e suffissi urdu.

Compositional macaronic prompting in DALL-E 2. Source: https://arxiv.org/pdf/2208.04135.pdf

In alcuni degli esempi sopra, frazioni di parole significative sono state incollate insieme, utilizzando l’inglese come ‘scaffold’. Altri esempi nel paper utilizzano più lingue in un’unica prompt.

Il sistema risponderà in modo semanticamente significativo a causa della relativa mancanza di curation nelle fonti web su cui il sistema è stato addestrato. Tali fonti avranno spesso etichette multilingue (ad esempio, da set di dati non specificamente progettati per un compito di sintesi di immagini), e ogni parola ingerita, in qualsiasi lingua, diventerà un ‘token’; ma allo stesso modo, parti di quelle parole diventeranno ‘subwords’ o token frazionari. Nel Natural Language Processing (NLP), questo tipo di ‘stemming’ aiuta a distinguere l’etimologia di parole derivate più lunghe che possono sorgere in operazioni di trasformazione, ma crea anche un enorme set di ‘Lego’ lessicale che il prompting ‘creativo’ può sfruttare.

Monolingual portmanteau words are also effective in obtaining images through indirect or non-prosaic language, with very similar results often obtainable across differing architectures, such as DALL-E 2 and DALL-E Mini (Craiyon).

Nel secondo tipo di approccio, chiamato evocative prompting, alcune delle parole congiunte sono simili nel tono alla corrente più giovane del ‘latinismo scolastico’ dimostrato in Monty Python’s Life of Brian (1979).

It’s no joke – faux Latin often succeeds in evincing a meaningful response from DALL-E 2.

L’autore afferma:

‘Un ovvio problema con questo metodo è l’elusione dei filtri di contenuto basati su prompt blacklisted. In principio, il prompting macaronico potrebbe fornire un modo facile e apparentemente affidabile per bypassare tali filtri al fine di generare contenuti dannosi, offensivi, illegali o altrimenti sensibili, inclusi immagini violente, odiose, razziste, sessiste o pornografiche, e forse immagini che violano la proprietà intellettuale o ritraggono individui reali.

‘Le aziende che offrono la generazione di immagini come servizio hanno messo molta cura nel prevenire la generazione di tali output in conformità con la loro politica di contenuto. Di conseguenza, il prompting macaronico dovrebbe essere sistematicamente indagato come minaccia ai protocolli di sicurezza utilizzati per la generazione di immagini commerciali.’

L’autore suggerisce una serie di rimedi contro questa vulnerabilità, alcuni dei quali ammette potrebbero essere considerati eccessivamente restrittivi.

La prima possibile soluzione è la più costosa: curare con maggiore attenzione le immagini di training, con più controllo umano e meno algoritmi. Tuttavia, il paper ammette che ciò non impedirebbe al sistema di sintesi di immagini di creare una congiunzione offensiva tra due concetti di immagini che di per sé sono potenzialmente innocui.

In secondo luogo, il paper suggerisce che i sistemi di sintesi di immagini potrebbero eseguire la loro output effettiva attraverso un sistema di filtri, intercettando eventuali associazioni problematiche prima che vengano servite all’utente. È possibile che DALL-E 2 attualmente operi un tale filtro, anche se OpenAI non ha divulgato esattamente come funziona la moderazione del contenuto di DALL-E 2.

Infine, l’autore considera la possibilità di un ‘dizionario whitelist’, che consentirebbe solo parole verificate e approvate per recuperare e renderizzare concetti, ma ammette che ciò potrebbe rappresentare una restrizione eccessivamente severa sull’utilità del sistema.

Sebbene il ricercatore abbia sperimentato solo con cinque lingue (inglese, tedesco, francese, spagnolo e italiano) nella creazione di prompt-assemblaggi, ritiene che questo tipo di ‘attacco avversario’ potrebbe diventare ancora più ‘criptico’ e difficile da contrastare estendendo il numero di lingue, dato che modelli iperscalabili come DALL-E 2 sono addestrati su più lingue (semplicemente perché è più facile utilizzare input leggermente filtrati o ‘grezzi’ piuttosto che considerare la grande spesa per curarli, e perché la dimensione aggiuntiva è probabile che aumenti l’utilità del sistema).

Il paper è intitolato Attacchi Avversari sulla Generazione di Immagini con Parole Inventate, e proviene da Raphaël Millière dell’Università di Columbia.

Lingua Criptica in DALL-E 2

È stato suggerito in precedenza che il nonsenso che DALL-E 2 produce ogni volta che tenta di rappresentare la lingua scritta potrebbe essere di per sé un ‘vocabolario nascosto’. Tuttavia, la ricerca precedente su questa lingua misteriosa non ha offerto alcun modo per sviluppare stringhe nonce che possano evocare immagini specifiche.

Tra i lavori precedenti, il paper afferma:

‘[Esso] non offre un metodo affidabile per trovare stringhe nonce che possano evocare immagini specifiche. La maggior parte del testo nonsenso incluso da DALL-E 2 nelle immagini non sembra essere associata in modo affidabile a concetti visivi specifici quando trascritta e utilizzata come prompt. Ciò limita la fattibilità di questo approccio come mezzo per eludere la moderazione di contenuti dannosi o offensivi; di conseguenza, non è un rischio particolarmente preoccupante per l’uso improprio dei modelli di generazione di immagini guidati dal testo.’

Invece, i due metodi dell’autore sono elaborati come mezzi con cui il nonsenso può evocare immagini significative e correlate mentre bypassa l’etichetta convenzionale che si sta sviluppando nella progettazione di prompt.

Ad esempio, l’autore considera la parola per ‘uccelli’ nelle cinque lingue che rientrano nell’ambito del paper: Vögel in tedesco, uccelli in italiano, oiseaux in francese, e pájaros in spagnolo.

Con il byte-pair encoding (BPE) utilizzato dall’implementazione di CLIP integrato in DALL-E 2, le parole vengono tokenizzate in inglese non accento, e possono essere ‘creativamente combinate’ per formare parole nonce che sembrano essere nonsenso per noi, ma conservano il loro significato incollato per DALL-E 2, consentendo al sistema di esprimere l’intento percepito:

Nell’esempio sopra, due delle ‘parole straniere’ per uccello sono incollate in una stringa nonsenso. Grazie al peso frazionario dei sub-parole, il significato è conservato.

L’autore sottolinea che risultati significativi possono anche essere ottenuti senza aderire ai confini della segmentazione delle sub-parole, presumibilmente perché DALL-E 2 (l’oggetto principale dello studio) ha generalizzato abbastanza da far sì che i confini delle sub-parole si confondano senza distruggere il loro significato.

Per dimostrare ulteriormente gli approcci sviluppati, il paper offre esempi di prompting macaronico attraverso diversi domini, utilizzando l’elenco di parole token illustrate di seguito (con parole ibride nonsenso a destra).

L’autore afferma che gli esempi seguenti da DALL-E 2 non sono stati ‘selezionati’:

Lingua Franca

Il paper osserva anche che diversi esempi funzionano altrettanto bene, o almeno molto simili, sia in DALL-E 2 che in DALL-E Mini (ora Craiyon), e che ciò è sorprendente, poiché DALL-E 2 è un modello di diffusione e DALL-E Mini non lo è; i due sistemi sono addestrati su set di dati diversi; e DALL-E Mini utilizza un BART tokenizer invece del tokenizer CLIP favorito da DALL-E 2.

Risultati sorprendentemente simili da DALL-E Mini, confrontati con l’immagine precedente, che presentava risultati da DALL-E 2 con lo stesso input ‘nonsenso’.

Come si vede nella prima delle immagini sopra, il prompting macaronico può anche essere assemblato in frasi sintatticamente corrette al fine di generare scene più complesse. Tuttavia, ciò richiede l’uso dell’inglese come ‘scaffold’ per assemblare i concetti, rendendo la procedura più probabile da essere intercettata dai sistemi di censura standard in un framework di sintesi di immagini.

Il paper osserva che l’ibridazione lessicale, l’incollaggio di parole per evocare contenuti correlati da un sistema di sintesi di immagini, può anche essere realizzato in una sola lingua, utilizzando parole portmanteau.

Prompting Evocativo

L’approccio di ‘prompting evocativo’ presentato nel paper dipende dall’evocazione di una risposta più ampia dal sistema con parole che non sono strettamente basate su sub-parole o sub-token o etichette parzialmente condivise.

Un tipo di prompting evocativo è il pseudo-latinismo, che può, tra gli altri usi, generare immagini di medicine fittizie, anche senza specificare che DALL-E 2 debba recuperare il concetto di ‘medicina’:

Il prompting evocativo funziona anche particolarmente bene con prompt nonsensicali che si riferiscono a possibili località geografiche e funziona in modo abbastanza affidabile attraverso le diverse architetture di DALL-E 2 e DALL-E Mini:

Le parole utilizzate per questi prompt a DALL-E 2 e DALL-E Mini sono redolenti di nomi reali, ma sono in se stesse assolutamente nonsenso. Tuttavia, i sistemi hanno ‘catturato l’atmosfera’ delle parole.

Sembra esserci una certa sovrapposizione tra il prompting macaronico e quello evocativo. Il paper afferma:

‘Sembra che le differenze nei dati di training, nella dimensione del modello e nell’architettura del modello possano far sì che modelli diversi analizzino prompt come voiscellpajaraux e eidelucertlagarzard in modo ‘macaronico’ o ‘evocativo’, anche quando questi modelli sono stati dimostrati essere sensibili a entrambi i metodi di prompting.’

Il paper conclude:

‘Mentre varie proprietà di questi modelli – inclusa la dimensione, l’architettura, la procedura di tokenizzazione e i dati di training – possono influenzare la loro vulnerabilità agli attacchi avversari basati sul testo, le prove preliminari discusse in questo lavoro suggeriscono che alcuni di questi attacchi possano funzionare in modo abbastanza affidabile attraverso i modelli.’

Arguably il più grande ostacolo alla vera sperimentazione intorno a questi metodi è il rischio di essere contrassegnati e banditi dal sistema host. DALL-E 2 richiede un numero di telefono associato a ogni account utente, limitando il numero di ‘account burner’ che sarebbero probabilmente necessari per testare veramente i confini di questo tipo di hacking lessicale, in termini di elusione dei metodi di moderazione esistenti. Attualmente, la principale salvaguardia di DALL-E 2 rimane la volatilità dell’accesso.

Pubblicato per la prima volta il 9 agosto 2022.