O Desafio da ‘Categorização Racial’ para Sistemas de Síntese de Imagens Baseados em CLIP

Nova pesquisa nos EUA descobriu que um dos populares modelos de visão computacional por trás da série DALL-E, bem como muitos outros modelos de geração e classificação de imagens, exibe uma tendência comprovada para hipodescendência – a regra de categorização racial (também conhecida como a regra da ‘gotinha’) que categoriza uma pessoa com mesmo uma pequena extensão de linhagem genética ‘mista’ (ou seja, não-caucasiana) inteiramente em uma classificação racial ‘minoritária’.

Desde que a hipodescendência caracterizou alguns dos capítulos mais feios da história humana, os autores do novo artigo sugerem que tais tendências na pesquisa e implementação de visão computacional devem receber maior atenção, não menos porque o quadro de apoio em questão, baixado quase um milhão de vezes por mês, pode disseminar e promover ainda mais vieses raciais em quadros downstream.

A arquitetura estudada no novo trabalho é Contrastive Language Image Pretraining (CLIP), um modelo de aprendizado de máquina multimodal que aprende associações semânticas treinando pares de imagem/legenda extraídos da internet – uma abordagem semi-supervisionada que reduz o custo significativo de rotulagem, mas que provavelmente refletirá o viés das pessoas que criaram as legendas.

Do artigo:

‘Nossos resultados fornecem evidências de hipodescendência no espaço de incorporação do CLIP, um viés aplicado mais fortemente a imagens de mulheres. Os resultados também indicam que o CLIP associa imagens com rótulos raciais ou étnicos com base na desviação do Branco, com o Branco como o padrão.

O artigo também descobre que a associação de valência de uma imagem (sua tendência a ser associada a coisas ‘boas’ ou ‘ruins’) é notadamente mais alta para rótulos raciais ‘minoritários’ do que para rótulos caucasianos, e sugere que os vieses do CLIP refletem o corpus de literatura centrado nos EUA (Wikipedia em inglês) no qual o quadro foi treinado.

Comentando sobre as implicações do aparente apoio do CLIP à hipodescendência, os autores afirmam*:

‘[Entre] os primeiros usos do CLIP foi treinar o modelo de geração de imagem zero-shot DALL-E. Uma versão maior, não pública, da arquitetura CLIP foi usada no treinamento do DALL-E 2. Compatível com as descobertas da presente pesquisa, os Riscos e Limitações descritos no cartão do modelo DALL-E 2 nota que ele “produz imagens que tendem a superrepresentar pessoas que são brancas”.

‘Tais usos demonstram o potencial para que os vieses aprendidos pelo CLIP se espalhem além do espaço de incorporação do modelo, à medida que suas características são usadas para guiar a formação de semântica em outros modelos de IA de ponta.

‘Além disso, devido em parte aos avanços realizados pelo CLIP e modelos semelhantes para associar imagens e texto no ambiente zero-shot, arquiteturas multimodais foram descritas como a base para o futuro de aplicações de internet amplamente usadas, incluindo motores de busca.

‘Nossos resultados indicam que atenção adicional ao que tais modelos aprendem com a supervisão de linguagem natural é justificada.’

O artigo é intitulado Evidências de Hipodescendência em IA Semântica Visual, e vem de três pesquisadores da Universidade de Washington e da Universidade de Harvard.

CLIP e Más Influências

Embora os pesquisadores atestem que seu trabalho é a primeira análise de hipodescendência no CLIP, trabalhos anteriores demonstraram que o fluxo de trabalho do CLIP, dependente como é de treinamento largamente não supervisionado de dados derivados da web, sub-representa mulheres, pode produzir conteúdo ofensivo, e pode demonstrar viés semântico (como sentimento anti-muçulmano) em seu codificador de imagem.

O artigo original que apresentou o CLIP concordou que, em um ambiente zero-shot, o CLIP associa apenas 58,3% das pessoas com o rótulo racial branco no conjunto de dados FairFace. Observando que o FairFace foi rotulado com possível viés por trabalhadores da Amazon Mechanical Turk, os autores do novo artigo afirmam que ‘uma substancial minoria de pessoas que são percebidas por outros humanos como brancas são associadas a uma raça diferente de branco pelo CLIP.’

Eles continuam:

‘O inverso não parece ser verdadeiro, pois indivíduos que são percebidos como pertencentes a outras raças ou grupos étnicos no conjunto de dados FairFace são associados a esses rótulos pelo CLIP. Este resultado sugere a possibilidade de que o CLIP tenha aprendido a regra da “hipodescendência”, como descrita por cientistas sociais: indivíduos com ancestralidade multirracial são mais propensos a serem percebidos e categorizados como pertencentes ao grupo parental minoritário ou menos favorecido do que ao grupo parental majoritário ou favorecido.

‘Em outras palavras, o filho de um pai preto e uma mãe branca é percebido como mais preto do que branco; e o filho de um pai asiático e uma mãe branca é percebido como mais asiático do que branco.’

O artigo tem três descobertas centrais: que o CLIP evidencia hipodescendência, ‘rebanhando’ pessoas com identidades multirraciais na categoria racial minoritária que se aplica a elas; que ‘branco é a raça padrão no CLIP’, e que raças concorrentes são definidas por sua ‘desviação’ da categoria branca; e que viés de valência (associação com conceitos ‘ruins’) se correlaciona com a extensão em que o indivíduo é categorizado em uma minoria racial.

Método e Dados

Para determinar a forma como o CLIP trata sujeitos multirraciais, os pesquisadores usaram uma técnica de morfismo previamente adotada para alterar a raça de imagens de indivíduos. As fotos foram tiradas do Chicago Face Database, um conjunto desenvolvido para estudos psicológicos envolvendo raça.

Exemplos das imagens CFD racialmente morfadas apresentadas no material suplementar do novo artigo. Fonte: https://arxiv.org/pdf/2205.10764.pdf

Os pesquisadores escolheram apenas imagens com ‘expressão neutra’ do conjunto de dados, para permanecer consistentes com o trabalho anterior. Eles usaram a Rede Adversária Generativa StyleGAN2-ADA (treinada em FFHQ) para realizar a alteração racial das imagens faciais, e criaram imagens intersticiais que demonstram a progressão de uma raça para outra (veja imagens acima).

Consistente com o trabalho anterior, os pesquisadores morfaram faces de pessoas que se autoidentificavam como negras, asiáticas e latinas no conjunto de dados em faces de pessoas que se autoidentificavam como brancas. Dezenove estágios intermediários são produzidos no processo. No total, 21.000 imagens de 1024x1024px foram criadas para o projeto por este método.

Os pesquisadores então obtiveram uma incorporação de imagem projetada para o CLIP para cada uma das 21 imagens em cada conjunto de morfismo racial. Depois disso, eles solicitaram um rótulo para cada imagem do CLIP: ‘multirracial’, ‘birracial’, ‘raça mista’ e ‘pessoa’ (o rótulo final omitindo a raça).

A versão do CLIP usada foi a implementação CLIP-ViT-Base-Patch32. Os autores notam que este modelo foi baixado mais de um milhão de vezes no mês anterior à redação de sua pesquisa, e representa 98% dos downloads de qualquer modelo CLIP da biblioteca Transformers.

Testes

Para testar a tendência potencial do CLIP para a hipodescendência, os pesquisadores notaram o rótulo racial atribuído pelo CLIP a cada imagem na gradiente de imagens morfadas para cada indivíduo.

De acordo com as descobertas, o CLIP tende a agrupar pessoas nas categorias ‘minoritárias’ em torno da marca de transição de 50%.

Em uma proporção de mistura de 50%, onde o sujeito é igualmente origem/raça alvo, o CLIP associa um número maior de 1000 imagens morfadas femininas com rótulos asiáticos (89,1%), latinos (75,8%) e negros (69,7%) do que com um rótulo branco equivalente.

Os resultados mostram que sujeitos femininos são mais propensos à hipodescendência sob o CLIP do que homens, embora os autores especulem que isso possa ser porque as legendas derivadas da web e não curadas que caracterizam imagens femininas tendem a enfatizar a aparência do sujeito mais do que no caso dos homens, e que isso pode ter um efeito de distorção.

A hipodescendência em uma transição racial de 50% não foi observada para a série de morfismo asiático-branco masculino ou latino-branco masculino, enquanto o CLIP atribuiu uma semelhança de cosseno mais alta ao rótulo preto em 67,5% dos casos em uma proporção de mistura de 55%.

A semelhança de cosseno média dos rótulos Multirracial, Birracial e Raça Mista. Os resultados indicam que o CLIP opera uma espécie de categorização ‘limiar’ em diferentes porcentagens de mistura racial, menos frequentemente atribuindo tal mistura racial ao Branco (‘pessoa’, na lógica dos experimentos) do que à etnia percebida na imagem.

O objetivo ideal, de acordo com o artigo, é que o CLIP categorize as misturas raciais intermediárias com precisão como ‘raça mista’, em vez de definir um ‘ponto de inflexão’ no qual o sujeito é frequentemente consignado inteiramente ao rótulo não-branco.

Até certo ponto, o CLIP atribui as etapas de morfismo intermediárias com Raça Mista (veja gráfico acima), mas eventualmente demonstra uma preferência de meio de alcance para categorizar sujeitos como sua raça minoritária contribuinte.

Em termos de valência, os autores notam o julgamento inclinado do CLIP:

‘[A associação de valência média] (associação com coisas ‘ruins’ ou desagradáveis versus coisas ‘boas’ ou agradáveis) varia com a proporção de mistura sobre a série de morfismo preto-branco masculino, de tal forma que o CLIP codifica associações com desprazer para as faces mais semelhantes às voluntárias do CFD que se autoidentificam como negras.’

Os resultados de valência – os testes mostram que grupos minoritários são mais associados a conceitos negativos na arquitetura de imagem/par que para sujeitos rotulados como brancos. Os autores afirmam que a associação de desprazer de uma imagem aumenta com a probabilidade de que o modelo associe a imagem ao rótulo preto.

O artigo afirma:

‘As evidências indicam que a valência de uma imagem se correlaciona com a associação racial. Mais concretamente, nossos resultados indicam que quanto mais certo o modelo está de que uma imagem reflete um indivíduo preto, mais associada à incorporação de espaço desagradável a imagem é.’

No entanto, os resultados também indicam uma correlação negativa no caso de faces asiáticas. Os autores sugerem que isso pode ser devido à passagem (via os dados da web) de percepções culturais positivas dos EUA sobre pessoas e comunidades asiáticas. Os autores afirmam*:

‘Observar uma correlação entre agradabilidade e probabilidade do rótulo de texto asiático pode corresponder ao estereótipo de “minoridade modelo”, onde as pessoas de ascendência asiática são elogiadas por sua mobilidade ascendente e assimilação na cultura americana, e até associadas a “comportamento bom”.’

Com relação ao objetivo final, para examinar se o Branco é a ‘identidade padrão’ do ponto de vista do CLIP, os resultados indicam uma polaridade incorporada, sugerindo que sob essa arquitetura, é bastante difícil ser ‘um pouco branco’.

Semelhança de cosseno em 21.000 imagens criadas para os testes.

Os autores comentam:

‘As evidências indicam que o CLIP codifica o Branco como raça padrão. Isso é apoiado pelas correlações mais fortes entre semelhanças de cosseno brancas e semelhanças de cosseno de pessoa do que para qualquer outro grupo racial ou étnico.’

*Minha conversão das citações em linha dos autores para links.

Publicado pela primeira vez em 24 de maio de 2022.