De ‘onzin-taal’ die beeldsynthesemoderatiesystemen kan omzeilen

Nieuw onderzoek van Columbia University suggereert dat de beveiligingen die voorkomen dat beeldsynthesemodellen zoals DALL-E 2, Imagen en Parti schadelijke of controversiële beelden produceren, kwetsbaar zijn voor een soort adversariële aanval met verzonnen woorden.

De auteur heeft twee benaderingen ontwikkeld die mogelijk de inhoudsmoderatie van een beeldsynthesesysteem kunnen omzeilen. Ze blijken opvallend robuust, zelfs bij verschillende architecturen. Dit wijst erop dat de zwakte meer is dan alleen systeemgebonden en mogelijk samenhangt met enkele fundamentele principes van tekst-naar-beeldsynthese.

De eerste en sterkste benadering heet macaronic prompting. De term macaronisch verwijst oorspronkelijk naar een mengeling van meerdere talen, zoals in Esperanto of Unwinese. Misschien is het cultureel meest verspreide voorbeeld Urdu-Engels, een vorm van taalvermenging die gebruikelijk is in Pakistan en vrijelijk Engelse zelfstandige naamwoorden en Urdu-achtervoegsels combineert.

Compositorische macaronic prompting in DALL-E 2. Bron: https://arxiv.org/pdf/2208.04135.pdf

In sommige voorbeelden hierboven zijn delen van betekenisvolle woorden aan elkaar geplakt, met Engels als steigerwerk. Andere voorbeelden in het artikel gebruiken meerdere talen binnen één prompt.

Het systeem reageert semantisch betekenisvol door het relatieve gebrek aan curatie van de webbronnen waarop het is getraind. Zulke bronnen bevatten vaak al meertalige labels, bijvoorbeeld uit datasets die niet specifiek voor beeldsynthese zijn ontworpen. Elk opgenomen woord wordt, ongeacht de taal, een token. Ook delen van die woorden worden subwoorden of gedeeltelijke tokens. In natuurlijke taalverwerking (NLP) helpt dit soort stamreductie de etymologie van langere afgeleide woorden te onderscheiden die bij transformatiebewerkingen kunnen ontstaan. Het schept echter ook een enorme lexicale Lego-set die creatieve prompting kan benutten.

Eentalige porte-manteauwoorden zijn ook effectief om beelden te verkrijgen via indirecte of niet-alledaagse taal. Vaak zijn zeer vergelijkbare resultaten mogelijk met verschillende architecturen, zoals DALL-E 2 en DALL-E Mini (Craiyon).

Bij de tweede benadering, evocatieve prompting, lijken sommige samengestelde woorden qua toon op de kinderlijkere variant van schooljongenslatijn die wordt gedemonstreerd in Monty Python’s Life of Brian (1979).

Het is geen grap: namaaklatijn lokt vaak een betekenisvolle reactie uit van DALL-E 2.

De auteur stelt:

“Een duidelijke zorg bij deze methode is het omzeilen van inhoudsfilters op basis van verboden prompts. In principe zou macaronic prompting een eenvoudige en ogenschijnlijk betrouwbare manier kunnen bieden om zulke filters te omzeilen en schadelijke, aanstootgevende, illegale of anderszins gevoelige inhoud te genereren. Dit omvat gewelddadige, haatdragende, racistische, seksistische of pornografische beelden, en mogelijk beelden die intellectuele eigendom schenden of echte personen afbeelden.

“Bedrijven die beeldgeneratie als dienst aanbieden, hebben veel zorg besteed aan het voorkomen van dergelijke resultaten in overeenstemming met hun inhoudsbeleid. Daarom moet macaronic prompting systematisch worden onderzocht als bedreiging voor de veiligheidsprotocollen van commerciële beeldgeneratie.”

De auteur stelt een aantal oplossingen voor deze kwetsbaarheid voor en erkent dat sommige als te beperkend kunnen worden beschouwd.

De eerste mogelijke oplossing is de duurste: de bronbeelden voor training zorgvuldiger cureren, met meer menselijk en minder algoritmisch toezicht. Het artikel erkent echter dat dit niet voorkomt dat het beeldsynthesesysteem een aanstootgevende combinatie maakt van twee beeldconcepten die afzonderlijk mogelijk onschuldig zijn.

Ten tweede stelt het artikel voor dat beeldsynthesesystemen hun daadwerkelijke resultaten door een filtersysteem halen om problematische associaties tegen te houden voordat ze aan de gebruiker worden getoond. Mogelijk gebruikt DALL-E 2 momenteel zo’n filter, maar OpenAI heeft niet precies bekendgemaakt hoe de inhoudsmoderatie werkt.

Tot slot overweegt de auteur een woordenlijst met uitsluitend toegestane woorden. Alleen gecontroleerde en goedgekeurde woorden zouden concepten mogen oproepen en weergeven. Hij erkent echter dat dit het nut van het systeem buitensporig sterk zou kunnen beperken.

Hoewel de onderzoeker bij het samenstellen van prompts slechts vijf talen gebruikte — Engels, Duits, Frans, Spaans en Italiaans — denkt hij dat dit soort aanval nog cryptischer en moeilijker te bestrijden kan worden door meer talen toe te voegen. Zeer grote modellen zoals DALL-E 2 worden op meerdere talen getraind, omdat licht gefilterde of ruwe invoer eenvoudiger te gebruiken is dan de enorme kosten van curatie te dragen en omdat de extra dimensionaliteit het systeem waarschijnlijk nuttiger maakt.

Het artikel heet Adversarial Attacks on Image Generation With Made-Up Words en is van Raphaël Millière van Columbia University.

Cryptische taal in DALL-E 2

Er is eerder geopperd dat de wartaal die DALL-E 2 produceert wanneer het geschreven taal probeert af te beelden, zelf een “verborgen woordenschat” zou kunnen zijn. Eerder onderzoek naar deze mysterieuze taal bood echter geen manier om verzonnen tekenreeksen te ontwikkelen die specifieke beelden oproepen.

Over het eerdere werk zegt het artikel:

“Het biedt geen betrouwbare methode om verzonnen tekenreeksen te vinden die specifieke beelden oproepen. De meeste wartaal die DALL-E 2 in beelden opneemt, lijkt niet betrouwbaar verbonden met specifieke visuele concepten wanneer deze wordt overgeschreven en als prompt gebruikt. Dit beperkt de bruikbaarheid van deze benadering om moderatie van schadelijke of aanstootgevende inhoud te omzeilen. Daardoor is het geen bijzonder zorgwekkend risico voor misbruik van tekstgestuurde beeldgeneratiemodellen.”

De twee methoden van de auteur beschrijven daarentegen hoe onzin gerelateerde en betekenisvolle beelden kan oproepen, terwijl de gebruikelijke conventies worden omzeild die nu uitgroeien tot prompt engineering.

Als voorbeeld bekijkt de auteur het woord voor vogels in de vijf talen binnen het onderzoek: Vögel in het Duits, uccelli in het Italiaans, oiseaux in het Frans en pájaros in het Spaans.

Met de byte-pair encoding (BPE)-tokenisatie van de implementatie van CLIP die is geïntegreerd in DALL-E 2, worden de woorden getokeniseerd tot Engels zonder accenttekens. Ze kunnen creatief worden gecombineerd tot verzonnen woorden die voor ons wartaal lijken, maar voor DALL-E 2 hun aaneengeplakte betekenis behouden. Zo kan het systeem de waargenomen bedoeling uitdrukken:

In het bovenstaande voorbeeld zijn twee anderstalige woorden voor vogel aan elkaar geplakt tot een onzinnige tekenreeks. Dankzij het gedeeltelijke gewicht van de subwoorden blijft de betekenis behouden.

De auteur benadrukt dat betekenisvolle resultaten ook mogelijk zijn zonder de grenzen van subwoordsegmentatie te respecteren. Vermoedelijk heeft DALL-E 2, het voornaamste onderzoeksobject, voldoende gegeneraliseerd om subwoordgrenzen te laten vervagen zonder hun betekenis te vernietigen.

Om de ontwikkelde benaderingen verder te demonstreren, geeft het artikel voorbeelden van macaronic prompting binnen verschillende domeinen. Daarvoor gebruikt het de onderstaande lijst tokenwoorden, met de onzinnige hybride woorden helemaal rechts.

De auteur stelt dat de volgende voorbeelden van DALL-E 2 niet selectief op hun goede resultaat zijn uitgekozen:

Lingua franca

Het artikel merkt ook op dat meerdere voorbeelden even goed, of minstens zeer vergelijkbaar, werken in zowel DALL-E 2 als DALL-E Mini (nu Craiyon). Dit is verrassend, want DALL-E 2 is een diffusiemodel en DALL-E Mini niet. De systemen zijn op verschillende datasets getraind en DALL-E Mini gebruikt een BART-tokenizer in plaats van de CLIP-tokenizer die DALL-E 2 verkiest.

Opvallend vergelijkbare resultaten van DALL-E Mini ten opzichte van de vorige afbeelding, met resultaten van dezelfde onzinnige invoer in DALL-E 2.

Zoals in de eerste afbeeldingen hierboven te zien is, kan macaronic prompting ook worden samengesteld tot syntactisch correcte zinnen om complexere scènes te genereren. Daarvoor moet Engels echter als steigerwerk dienen om de concepten samen te voegen. Daardoor zal de procedure waarschijnlijk eerder worden onderschept door standaardcensuursystemen in een beeldsynthesekader.

Het artikel merkt op dat lexicale hybridisering — het samenplakken van woorden om gerelateerde inhoud van een beeldsynthesesysteem op te roepen — ook binnen één taal mogelijk is met porte-manteauwoorden.

Evocatieve prompting

De evocatieve prompting uit het artikel berust op het oproepen van een bredere reactie met woorden die niet strikt gebaseerd zijn op subwoorden, subtokens of gedeeltelijk gedeelde labels.

Een vorm hiervan is pseudolatijn. Daarmee zijn onder meer beelden van fictieve medicijnen te genereren, zelfs zonder te specificeren dat DALL-E 2 het concept geneesmiddel moet oproepen:

Evocatieve prompting werkt ook bijzonder goed met onzinnige prompts die in brede zin naar mogelijke geografische plaatsen verwijzen. Het werkt vrij betrouwbaar in de verschillende architecturen van DALL-E 2 en DALL-E Mini:

De woorden in deze prompts voor DALL-E 2 en DALL-E Mini doen denken aan echte namen, maar zijn op zichzelf volkomen onzinnig. Toch hebben de systemen de sfeer van de woorden opgepikt.

Er lijkt enige overlap te zijn tussen macaronic en evocatieve prompting. Het artikel stelt:

“Verschillen in trainingsdata, modelgrootte en modelarchitectuur lijken ertoe te kunnen leiden dat modellen prompts zoals voiscellpajaraux en eidelucertlagarzard op macaronische of evocatieve wijze verwerken, zelfs wanneer is aangetoond dat deze modellen op beide promptmethoden reageren.”

Het artikel concludeert:

“Hoewel verschillende modeleigenschappen — waaronder omvang, architectuur, tokenisatieprocedure en trainingsdata — hun kwetsbaarheid voor tekstgebaseerde adversariële aanvallen kunnen beïnvloeden, suggereert het voorlopige bewijs in dit werk dat sommige aanvallen toch vrij betrouwbaar bij meerdere modellen kunnen werken.”

Het grootste obstakel voor werkelijk experimenteren met deze methoden is wellicht het risico dat het hostsysteem de activiteit signaleert en de gebruiker blokkeert. DALL-E 2 vereist een gekoppeld telefoonnummer voor elk gebruikersaccount. Dat beperkt het aantal wegwerpaccounts dat waarschijnlijk nodig zou zijn om de grenzen van dit soort lexicaal hacken en het omzeilen van bestaande moderatiemethoden echt te testen. Momenteel blijft de voornaamste beveiliging van DALL-E 2 de onzekerheid van toegang.

Voor het eerst gepubliceerd op 9 augustus 2022.