Järjetön kieli, joka voisi kiertää kuvasynteesijärjestelmien sisällönvalvonnan

Columbian yliopiston uusi tutkimus viittaa siihen, että DALL-E 2:n, Imagenin ja Partin kaltaisten kuvasynteesimallien haitallisten tai kiistanalaisten kuvien tuottamista estävät suojaukset ovat alttiita hyökkäyksille, joissa käytetään keksittyjä sanoja.

Tutkija on kehittänyt kaksi lähestymistapaa, jotka voivat mahdollisesti ohittaa kuvasynteesijärjestelmän sisällönvalvonnan. Ne toimivat hämmästyttävän luotettavasti myös eri arkkitehtuureissa. Tämä viittaa siihen, ettei heikkous ole vain järjestelmäkohtainen, vaan se saattaa liittyä tekstistä kuviksi synteesin perustavanlaatuisiin periaatteisiin.

Ensimmäistä ja vahvempaa lähestymistapaa kutsutaan makaroniseksi kehotteistamiseksi. Termi ”makaroninen” alun perin tarkoittaa useiden kielten sekoitusta, kuten esperantossa tai Unwinesessa. Ehkä kulttuurisesti laajimmin levinnyt esimerkki on urdun ja englannin sekoitus, Pakistanissa yleinen kielten sekoittamisen muoto, jossa yhdistetään varsin vapaasti englannin substantiiveja ja urdun jälkiliitteitä.

Koostava makaroninen kehotteistaminen DALL-E 2:ssa. Lähde: https://arxiv.org/pdf/2208.04135.pdf

Joissakin yllä olevissa esimerkeissä merkityksellisten sanojen osia on liimattu yhteen käyttäen englantia tukirakenteena. Tutkimuksen muissa esimerkeissä käytetään useita kieliä yhden kehotteen sisällä.

Järjestelmä vastaa semanttisesti mielekkäästi, koska sen koulutuksessa käytettyjä verkkolähteitä on kuratoitu suhteellisen vähän. Tällaisissa lähteissä on usein valmiiksi monikielisiä tunnisteita, esimerkiksi aineistoissa, joita ei ole suunniteltu nimenomaan kuvasynteesiä varten. Jokaisesta järjestelmään syötetystä sanasta tulee kielestä riippumatta token, ja myös sanojen osista tulee osasanoja tai osittaisia tokeneita. Luonnollisen kielen käsittelyssä tällainen vartalointi auttaa erottamaan muunnosoperaatioissa syntyvien pitkien johdannaissanojen etymologiaa. Se luo kuitenkin myös valtavan sanastollisen Lego-sarjan, jota luova kehotteistaminen voi hyödyntää.

Yksikielisillä sulautumasanoilla voidaan myös saada kuvia epäsuoran tai tavanomaisesta proosasta poikkeavan kielen avulla. Hyvin samankaltaisia tuloksia saadaan usein eri arkkitehtuureissa, kuten DALL-E 2:ssa ja DALL-E Minissä (Craiyon).

Toisessa lähestymistavassa, jota kutsutaan evokatiiviseksi kehotteistamiseksi, jotkin yhdistelmäsanat muistuttavat sävyltään lapsellisempaa koulupoikalatinaa, jota esitellään elokuvassa Monty Pythonin Brianin elämä (1979).

Tämä ei ole vitsi: keinotekoinen latina saa usein DALL-E 2:n antamaan merkityksellisen vastauksen.

Tutkija toteaa:

”Tämän menetelmän ilmeinen huolenaihe on kiellettyjen kehotteiden listoihin perustuvien sisältösuodattimien kiertäminen. Periaatteessa makaroninen kehotteistaminen voisi tarjota helpon ja näennäisen luotettavan tavan ohittaa tällaiset suodattimet haitallisen, loukkaavan, laittoman tai muuten arkaluonteisen sisällön tuottamiseksi. Tähän sisältyvät väkivaltaiset, vihamieliset, rasistiset, seksistiset tai pornografiset kuvat sekä mahdollisesti immateriaalioikeuksia loukkaavat tai todellisia henkilöitä esittävät kuvat.

”Kuvantuotantoa palveluna tarjoavat yritykset ovat panostaneet paljon tällaisten tuotosten estämiseen sisältökäytäntöjensä mukaisesti. Siksi makaronista kehotteistamista pitäisi tutkia järjestelmällisesti uhkana kaupallisessa kuvantuotannossa käytetyille turvallisuusprotokollille.”

Tutkija ehdottaa useita keinoja haavoittuvuuden korjaamiseksi ja myöntää, että joitakin niistä voitaisiin pitää liian rajoittavina.

Ensimmäinen mahdollinen ratkaisu on kallein: koulutuksessa käytetyt lähdekuvat kuratoitaisiin huolellisemmin käyttäen enemmän ihmisten ja vähemmän algoritmien valvontaa. Tutkimuksessa kuitenkin myönnetään, ettei tämä estäisi kuvasynteesijärjestelmää muodostamasta loukkaavaa yhdistelmää kahdesta itsessään mahdollisesti harmittomasta kuvakäsitteestä.

Toiseksi tutkimus ehdottaa, että kuvasynteesijärjestelmät voisivat suodattaa varsinaiset tuotoksensa ja pysäyttää ongelmalliset yhdistelmät ennen niiden toimittamista käyttäjälle. DALL-E 2 saattaa jo käyttää tällaista suodatinta, mutta OpenAI ei ole kertonut tarkasti, miten sen sisällönvalvonta toimii.

Lopuksi tutkija tarkastelee sanaston sallittujen sanojen listaa. Vain tarkastetut ja hyväksytyt sanat saisivat hakea käsitteitä ja tuottaa niistä kuvia. Hän kuitenkin myöntää, että tämä voisi rajoittaa järjestelmän hyödyllisyyttä kohtuuttomasti.

Vaikka tutkija kokeili kehoteyhdistelmien muodostamisessa vain viittä kieltä — englantia, saksaa, ranskaa, espanjaa ja italiaa — hän uskoo tällaisen hyökkäyksen voivan muuttua entistä vaikeaselkoisemmaksi ja hankalammin torjuttavaksi kielten määrän kasvaessa. DALL-E 2:n kaltaiset valtavat mallit on koulutettu useilla kielillä, koska kevyesti suodatettua tai raakaa syötettä on helpompaa käyttää kuin maksaa sen huolellisen kuratoinnin valtavat kustannukset ja koska lisäulottuvuudet todennäköisesti parantavat järjestelmän hyödyllisyyttä.

Tutkimuksen nimi on Adversarial Attacks on Image Generation With Made-Up Words, ja sen on kirjoittanut Raphaël Millière Columbian yliopistosta.

DALL-E 2:n arvoituksellinen kieli

On aiemmin ehdotettu, että DALL-E 2:n kirjoitettua kieltä kuvatessaan tuottama siansaksa voisi itsessään olla ”piilotettu sanasto”. Aiempi tätä salaperäistä kieltä käsitellyt tutkimus ei kuitenkaan ole tarjonnut keinoa kehittää keksittyjä merkkijonoja, jotka tuottaisivat tietynlaisia kuvia.

Aiemmasta työstä tutkimus toteaa:

”Se ei tarjoa luotettavaa menetelmää sellaisten keksittyjen merkkijonojen löytämiseksi, jotka tuottaisivat tietynlaisia kuvia. Suurin osa DALL-E 2:n kuviin sisällyttämästä siansaksasta ei näytä liittyvän luotettavasti tiettyihin visuaalisiin käsitteisiin, kun teksti kirjoitetaan uudelleen ja käytetään kehotteena. Tämä rajoittaa lähestymistavan käyttökelpoisuutta haitallisen tai loukkaavan sisällön valvonnan kiertämiseen. Siksi se ei ole erityisen huolestuttava riski tekstiohjattujen kuvantuotantomallien väärinkäytölle.”

Sen sijaan tutkijan kaksi menetelmää kuvaavat, miten merkityksetön teksti voi tuottaa siihen liittyviä mielekkäitä kuvia samalla kun ohitetaan tavanomaiset käytännöt, joista on kehittymässä kehotesuunnittelua.

Esimerkkinä tutkija tarkastelee lintua tarkoittavia sanoja tutkimuksen kattamissa viidessä kielessä: saksan Vögel, italian uccelli, ranskan oiseaux ja espanjan pájaros.

Tavuparikoodausta (BPE) käyttävä tokenisointi CLIP-toteutuksessa, joka on integroitu DALL-E 2:een, muuntaa sanat aksentittomaksi englanniksi. Niitä voidaan yhdistellä luovasti keksityiksi sanoiksi, jotka vaikuttavat meistä siansaksalta mutta säilyttävät yhteen liitetyn merkityksensä DALL-E 2:lle. Näin järjestelmä voi ilmaista havaitsemansa tarkoituksen:

Yllä olevassa esimerkissä kaksi vieraskielistä lintua tarkoittavaa sanaa on liimattu yhteen merkityksettömäksi merkkijonoksi. Osasanojen osittaisen painoarvon ansiosta merkitys säilyy.

Tutkija korostaa, että mielekkäitä tuloksia voidaan saada myös noudattamatta osasanojen segmentoinnin rajoja. Oletettavasti DALL-E 2, tutkimuksen ensisijainen kohde, on yleistänyt riittävän hyvin, jotta osasanojen rajat voivat hämärtyä merkityksen tuhoutumatta.

Havainnollistaakseen kehitettyjä lähestymistapoja tutkimus esittää makaronisen kehotteistamisen esimerkkejä eri aihealueilta käyttäen alla kuvattua tokensanojen luetteloa. Merkityksettömät yhdistelmäsanat ovat oikeassa reunassa.

Tutkijan mukaan seuraavia DALL-E 2:n esimerkkejä ei ole valikoitu parhaiden tulosten perusteella:

Yhteinen kieli

Tutkimuksessa havaitaan myös, että useat tällaiset esimerkit toimivat yhtä hyvin tai ainakin hyvin samankaltaisesti sekä DALL-E 2:ssa että DALL-E Minissä (nykyisin Craiyon). Tämä on yllättävää, sillä DALL-E 2 on diffuusiomalli ja DALL-E Mini ei ole. Järjestelmät on koulutettu eri aineistoilla, ja DALL-E Mini käyttää BART-tokenisoijaa DALL-E 2:n suosiman CLIP-tokenisoijan sijaan.

DALL-E Minin tulokset ovat huomattavan samankaltaisia kuin edellisen kuvan DALL-E 2:n tulokset samasta merkityksettömästä syötteestä.

Kuten yllä olevista ensimmäisistä kuvista näkyy, makaroniset kehotteet voidaan myös koota kieliopillisesti toimiviksi lauseiksi monimutkaisempien näkymien tuottamiseksi. Tämä kuitenkin vaatii englannin käyttämistä käsitteiden yhdistämisen tukirakenteena, mikä lisää todennäköisyyttä, että kuvasynteesijärjestelmän tavanomaiset sensuurijärjestelmät pysäyttävät menettelyn.

Tutkimuksessa huomautetaan, että sanastollinen hybridisointi eli sanojen liimaaminen yhteen aiheeseen liittyvän sisällön saamiseksi kuvasynteesijärjestelmästä onnistuu myös yhden kielen sisällä käyttämällä sulautumasanoja.

Evokatiivinen kehotteistaminen

Tutkimuksen evokatiivinen kehotteistaminen perustuu laajemman vastauksen herättämiseen järjestelmässä sanoilla, jotka eivät pohjaudu tiukasti osasanoihin, osatokeneihin tai osittain yhteisiin tunnisteisiin.

Yksi evokatiivisen kehotteistamisen muoto on pseudolatina. Sillä voidaan esimerkiksi tuottaa kuvia kuvitteellisista lääkkeistä jopa ilman erillistä ohjetta, että DALL-E 2:n pitäisi hakea lääkkeen käsite:

Evokatiivinen kehotteistaminen toimii erityisen hyvin myös merkityksettömillä kehotteilla, jotka liittyvät väljästi mahdollisiin maantieteellisiin paikkoihin. Se toimii varsin luotettavasti DALL-E 2:n ja DALL-E Minin erilaisissa arkkitehtuureissa:

DALL-E 2:lle ja DALL-E Minille annettujen kehotteiden sanat tuovat mieleen todellisia nimiä mutta ovat itsessään täysin merkityksettömiä. Järjestelmät ovat silti tavoittaneet sanojen tunnelman.

Makaroninen ja evokatiivinen kehotteistaminen näyttävät osittain limittyvän. Tutkimuksessa todetaan:

”Koulutusaineiston, mallin koon ja arkkitehtuurin erot näyttävät voivan johtaa siihen, että eri mallit tulkitsevat voiscellpajaraux- ja eidelucertlagarzard-tyyppisiä kehotteita joko makaronisesti tai evokatiivisesti, vaikka mallien on osoitettu reagoivan kumpaankin kehotteistamistapaan.”

Tutkimus päättää:

”Vaikka mallien monet ominaisuudet — kuten koko, arkkitehtuuri, tokenisointimenettely ja koulutusaineisto — voivat vaikuttaa niiden alttiuteen tekstipohjaisille hyökkäyksille, tässä työssä käsitelty alustava näyttö viittaa siihen, että jotkin näistä hyökkäyksistä voivat silti toimia melko luotettavasti eri malleissa.”

Todellisen kokeilun suurin este näillä menetelmillä lienee riski, että palvelun järjestelmä havaitsee toiminnan ja estää käyttäjän pääsyn. DALL-E 2 edellyttää jokaiseen käyttäjätiliin liitettyä puhelinnumeroa, mikä rajoittaa sellaisten kertakäyttötilien määrää, joita todennäköisesti tarvittaisiin tämänkaltaisen sanastollisen hakkeroinnin ja nykyisten valvontamenetelmien kiertämisen rajojen perusteelliseen testaamiseen. DALL-E 2:n ensisijainen suoja on tällä hetkellä käyttöoikeuden epävarmuus.

Julkaistu ensimmäisen kerran 9. elokuuta 2022.