A ‘Língua de Nonsense’ que Pode Subverter os Sistemas de Moderação de Síntese de Imagens

Nova pesquisa da Universidade de Columbia sugere que os salvaguardas que impedem que os modelos de síntese de imagens, como o DALL-E 2, Imagen e Parti, produzam imagens prejudiciais ou controversas são suscetíveis a um tipo de ataque adversarial que envolve “palavras inventadas”.

O autor desenvolveu duas abordagens que podem potencialmente anular as medidas de moderação de conteúdo em um sistema de síntese de imagens e descobriu que elas são surpreendentemente robustas, mesmo em diferentes arquiteturas, indicando que a fraqueza é mais do que apenas sistêmica e pode estar relacionada a alguns dos princípios fundamentais da síntese de texto para imagem.

A primeira abordagem, e a mais forte das duas, é chamada de prompting macarrônico. O termo “macarrônico” originalmente se refere a uma mistura de múltiplas línguas, como encontrado em Esperanto ou Unwinese. Talvez o exemplo mais difundido culturalmente seja Urdu-English, um tipo de “mistura de códigos” comum no Paquistão, que mistura livremente substantivos em inglês e sufixos em urdu.

Prompting macarrônico composicional no DALL-E 2. Fonte: https://arxiv.org/pdf/2208.04135.pdf

Em alguns dos exemplos acima, frações de palavras significativas foram coladas juntas, usando o inglês como uma “estrutura”. Outros exemplos no artigo usam múltiplas línguas em uma única prompt.

O sistema responderá de forma semanticamente significativa devido à falta relativa de curadoria nas fontes da web em que o sistema foi treinado. Tais fontes geralmente terão chegado completas com rótulos multilíngues (ou seja, de conjuntos de dados não especificamente projetados para uma tarefa de síntese de imagens), e cada palavra ingerida, em qualquer língua, se tornará um “token”; mas, da mesma forma, partes dessas palavras se tornarão “subpalavras” ou tokens fracionários. No Processamento de Linguagem Natural (NLP), esse tipo de “stemming” ajuda a distinguir a etimologia de palavras derivadas mais longas que podem surgir em operações de transformação, mas também cria um enorme “conjunto de Lego” lexical que o “prompting criativo” pode aproveitar.

Palavras portmanteau monolíngues também são eficazes para obter imagens por meio de linguagem indireta ou não prosaica, com resultados muito semelhantes frequentemente obtidos em diferentes arquiteturas, como DALL-E 2 e DALL-E Mini (Craiyon).

Na segunda abordagem, chamada de prompting evocativo, algumas das palavras conjugadas são semelhantes em tom ao “latim de escola” demonstrado em Monty Python’s Life of Brian (1979).

Não é brincadeira – o latim falso frequentemente consegue uma resposta significativa do DALL-E 2.

O autor afirma:

‘Uma preocupação óbvia com este método é a circumvenção de filtros de conteúdo baseados em prompts blacklisteados. Em princípio, o prompting macarrônico poderia fornecer uma maneira fácil e aparentemente confiável de bypassar esses filtros para gerar conteúdo prejudicial, ofensivo, ilegal ou sensível, incluindo imagens violentas, odiosas, racistas, sexistas ou pornográficas, e talvez imagens que violam propriedade intelectual ou retratam indivíduos reais.

‘As empresas que oferecem geração de imagens como um serviço colocaram muito cuidado em prevenir a geração de tais saídas de acordo com sua política de conteúdo. Consequentemente, o prompting macarrônico deve ser sistematicamente investigado como uma ameaça aos protocolos de segurança usados para a geração de imagens comerciais.’

O autor sugere uma série de soluções contra essa vulnerabilidade, algumas das quais ele admite que podem ser consideradas excessivamente restritivas.

A primeira solução possível é a mais cara: curar as imagens de treinamento de origem com mais supervisão humana e menos algorítmica. No entanto, o artigo admite que isso não impediria o sistema de síntese de imagens de criar uma conjunção ofensiva entre dois conceitos de imagem que, por si só, são potencialmente inofensivos.

Em segundo lugar, o artigo sugere que os sistemas de síntese de imagens poderiam executar sua saída real por meio de um sistema de filtro, interceptando quaisquer associações problemáticas antes que sejam apresentadas ao usuário. É possível que o DALL-E 2 atualmente opere um filtro desses, embora a OpenAI não tenha divulgado exatamente como a moderação de conteúdo do DALL-E 2 funciona.

Finalmente, o autor considera a possibilidade de uma “lista de palavras permitidas”, que apenas permitiria palavras aprovadas e verificadas para recuperar e renderizar conceitos, mas admite que isso poderia representar uma restrição excessivamente severa na utilidade do sistema.

Embora o pesquisador tenha experimentado apenas cinco línguas (inglês, alemão, francês, espanhol e italiano) na criação de prompts, ele acredita que esse tipo de “ataque adversarial” poderia se tornar ainda mais “críptico” e difícil de deter, estendendo o número de línguas, dado que modelos de grande escala, como o DALL-E 2, são treinados em múltiplas línguas (simplesmente porque é mais fácil usar entrada levemente filtrada ou “bruta” do que considerar o enorme custo de curá-la, e porque a dimensionalidade extra provavelmente adiciona à utilidade do sistema).

O artigo é intitulado Ataques Adversariais em Geração de Imagens com Palavras Inventadas e vem de Raphaël Millière, da Universidade de Columbia.

Língua Críptica no DALL-E 2

Já foi sugerido anteriormente que o nonsense que o DALL-E 2 produz sempre que tenta retratar linguagem escrita poderia ser, em si mesmo, um ‘vocabulário oculto’. No entanto, a pesquisa anterior sobre essa linguagem misteriosa não ofereceu nenhuma maneira de desenvolver cadeias de nonce que possam invocar imagens específicas.

Do trabalho anterior, o artigo afirma:

‘[Ele] não oferece um método confiável para encontrar cadeias de nonce que evoquem imagens específicas. A maioria do texto nonsense incluído pelo DALL-E 2 em imagens não parece estar associada de forma confiável a conceitos visuais específicos quando transcrito e usado como prompt. Isso limita a viabilidade dessa abordagem como uma maneira de contornar a moderação de conteúdo prejudicial ou ofensivo; como tal, não é um risco particularmente preocupante para o mau uso de modelos de geração de imagens orientados por texto.’

Em vez disso, as duas abordagens do autor são elaboradas como meios pelos quais o nonsense pode invocar imagens relacionadas e significativas, enquanto contornam a etiqueta convencional que agora está se desenvolvendo em engenharia de prompts.

Por exemplo, o autor considera a palavra para “pássaros” nas cinco línguas que estão no escopo do artigo: Vögel em alemão, uccelli em italiano, oiseaux em francês, e pájaros em espanhol.

Com a codificação de pares de bytes (BPE) usada pela implementação do CLIP que está integrado ao DALL-E 2, as palavras são tokenizadas em inglês sem acentos e podem ser “criativamente combinadas” para formar palavras nonsense que parecem ser bobagens para nós, mas retêm seu significado colado para o DALL-E 2, permitindo que o sistema expresse a intenção percebida:

No exemplo acima, duas das “palavras estrangeiras” para pássaro são coladas em uma string nonsense. Graças ao peso fracionário dos subpalavras, o significado é retido.

O autor enfatiza que resultados significativos também podem ser obtidos sem aderir aos limites da segmentação de subpalavras, presumivelmente porque o DALL-E 2 (o estudo principal do artigo) generalizou o suficiente para permitir que os limites das subpalavras sejam borrados sem destruir seu significado.

Para demonstrar ainda mais as abordagens desenvolvidas, o artigo oferece exemplos de prompting macarrônico em diferentes domínios, usando a lista de palavras de token ilustrada abaixo (com palavras híbridas nonsense na extrema direita).

O autor afirma que os seguintes exemplos do DALL-E 2 não são “selecionados”:

Língua Franca

O artigo também observa que vários desses exemplos funcionam igualmente bem, ou pelo menos muito semelhantes, em ambos o DALL-E 2 e o DALL-E Mini (agora Craiyon), e que isso é surpreendente, pois o DALL-E 2 é um modelo de difusão e o DALL-E Mini não é; os dois sistemas são treinados em conjuntos de dados diferentes; e o DALL-E Mini usa um tokenizador BART em vez do tokenizador CLIP favorecido pelo DALL-E 2.

Resultados surpreendentemente semelhantes do DALL-E Mini, em comparação com a imagem anterior, que apresentou resultados do mesmo ‘nonsense’ de entrada do DALL-E 2.

Como visto na primeira das imagens acima, o prompting macarrônico também pode ser montado em frases sintaticamente corretas para gerar cenas mais complexas. No entanto, isso requer usar o inglês como uma “estrutura” para montar os conceitos, tornando o procedimento mais provável de ser interceptado por sistemas de censura padrão em um quadro de síntese de imagens.

O artigo observa que a hibridização lexical, a “colagem” de palavras para invocar conteúdo relacionado de um sistema de síntese de imagens, também pode ser realizada em uma única língua, por meio do uso de palavras portmanteau.

Prompting Evocativo

A abordagem de “prompting evocativo” apresentada no artigo depende de “evocar” uma resposta mais ampla do sistema com palavras que não são estritamente baseadas em subpalavras ou subtokens ou rótulos parcialmente compartilhados.

Um tipo de prompting evocativo é o pseudolatim, que pode, entre outros usos, gerar imagens de medicamentos fictícios, mesmo sem especificar que o DALL-E 2 deve recuperar o conceito de “medicamento”:

O prompting evocativo também funciona particularmente bem com prompts nonsense que se relacionam amplamente a possíveis locais geográficos e funciona de forma bastante confiável em diferentes arquiteturas do DALL-E 2 e DALL-E Mini:

As palavras usadas para esses prompts para o DALL-E 2 e o DALL-E Mini são redolentes de nomes reais, mas são, em si mesmas, completa bobagem. No entanto, os sistemas ‘capturaram a atmosfera’ das palavras.

Parece haver alguma sobreposição entre o prompting macarrônico e o prompting evocativo. O artigo afirma:

‘Parece que as diferenças nos dados de treinamento, tamanho do modelo e arquitetura do modelo podem fazer com que diferentes modelos analisem prompts como voiscellpajaraux e eidelucertlagarzard de forma “macarrônica” ou “evocativa”, mesmo quando esses modelos são comprovados para serem responsivos a ambos os métodos de prompting.’

O artigo conclui:

‘Embora várias propriedades desses modelos – incluindo tamanho, arquitetura, procedimento de tokenização e dados de treinamento – possam influenciar sua vulnerabilidade a ataques adversariais baseados em texto, as evidências preliminares discutidas neste trabalho sugerem que alguns desses ataques podem, no entanto, funcionar de forma razoavelmente confiável em diferentes modelos.’

Arguindo que o maior obstáculo para a experimentação real em torno desses métodos é o risco de ser sinalizado e banido pelo sistema hospedeiro. O DALL-E 2 exige um número de telefone associado a cada conta de usuário, limitando o número de “contas de queimada” que provavelmente seriam necessárias para testar verdadeiramente os limites desse tipo de hacking lexical, em termos de subverter os métodos de moderação existentes. Atualmente, a principal salvaguarda do DALL-E 2 permanece a volatilidade de acesso.

Publicado pela primeira vez em 9 de agosto de 2022.