Vozes de Minorias ‘Filtradas’ dos Modelos de Processamento de Linguagem Natural do Google

De acordo com uma nova pesquisa, um dos maiores conjuntos de dados de Processamento de Linguagem Natural (NLP) disponíveis foi extensivamente “filtrado” para remover autores negros e hispânicos, bem como material relacionado a identidades gays e lésbicas, e dados de fontes que lidam com uma série de outras identidades marginais ou minoritárias.

O conjunto de dados foi usado para treinar o Switch Transformer e o modelo T5 do Google, e foi curado pelo próprio Google AI.

O relatório afirma que o conjunto de dados Colossal Clean Crawled Corpus (‘C4’), que contém 156 bilhões de tokens extraídos de mais de 365 milhões de domínios da internet, e é um subconjunto do grande banco de dados Common Crawl, foi extensivamente filtrado (algoritmicamente) para excluir conteúdo “ofensivo” e “tóxico”, e que os filtros usados para destilar C4 efetivamente visaram conteúdo e discussões de grupos minoritários.

O relatório afirma:

‘Nossa análise dos dados excluídos sugere que documentos associados a autores negros e hispânicos e documentos que mencionam orientações sexuais são significativamente mais propensos a serem excluídos pelo filtro de blocklist do C4, e que muitos documentos excluídos contêm conteúdo não ofensivo ou não sexual (por exemplo, discussões legislativas sobre casamento entre pessoas do mesmo sexo, conteúdo científico e médico).’

O trabalho observa que os achados exacerbam a existente desigualdade racial baseada em linguagem no setor de NLP, bem como estigmatizam identidades LGBTQ+. Ele continua:

‘Além disso, uma consequência direta de remover tal texto de conjuntos de dados usados para treinar modelos de linguagem é que os modelos terão um desempenho ruim quando aplicados a textos de e sobre pessoas com identidades minoritárias, efetivamente excluindo-as dos benefícios da tecnologia como tradução de máquina ou busca.’

Curando o Common Crawl

O relatório, intitulado Documentando Grandes Corpora de Texto da Web: Um Estudo de Caso sobre o Colossal Clean Crawled Corpus, é uma colaboração entre pesquisadores do Instituto Allen de Inteligência Artificial, da Escola de Ciência e Engenharia de Computação da Universidade de Washington, Hugging Face e Queer em AI.

Do relatório, um índice da probabilidade de menções de identidade e documentos serem filtrados pelos blocklists que destilam C4 do banco de dados Common Crawl. O gráfico representa um índice de Informação Mútua Pontual (PMI) para identidades, com identidades gay e lésbica tendo a maior chance de serem filtrados. Fonte: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

O modelo C4 é uma versão curada e reduzida do Common Crawl, que extrai dados textuais da internet de maneira mais arbitrária, como um recurso base para pesquisadores de NLP. O Common Crawl não aplica os mesmos blocklists que o C4, pois é frequentemente usado como um repositório de dados neutro para pesquisa de NLP sobre discurso de ódio e para outros estudos sociológicos e psicológicos onde a censura do material bruto seria contraproducente.

Filtragem Subdocumentada

Como a determinação do C4 de remover conteúdo “tóxico” inclui conteúdo pornográfico, não é surpreendente que a identidade “lésbica” seja a mais excluída no conjunto de dados refinado (veja imagem acima).

O relatório critica a falta de documentação e metadados no C4, defendendo que os filtros devem deixar registros e informações de contexto mais extensos sobre os dados que removem, o que, no caso do C4 (e dos modelos de linguagem desenvolvidos a partir dele), é de outra forma inacessível, exceto por meio de pesquisas acadêmicas concertadas.

Eles observam:

‘Alguns filtros são relativamente diretos, como remover texto de placeholder Lorem ipsum. No entanto, encontramos que outro filtro que remove documentos que contêm um token de uma lista de palavras proibidas, remove desproporcionalmente documentos em dialetos de inglês associados a identidades minoritárias (por exemplo, texto em inglês africano-americano, texto que discute identidades LGBTQ+).’

Para tornar a extensão da filtragem do C4 mais explicável, os pesquisadores estão hospedando três versões do conjunto de dados com diferentes níveis de filtragem aplicados, junto com uma versão pesquisável (disponível até 31 de dezembro de 2021).

Isso é necessário porque não é fácil recriar o cenário sob o qual o C4 foi criado: embora, como o relatório observa, os autores originais do C4 tenham fornecido um script de usuário que recriará o banco de dados a partir do Common Crawl, executar o script é muito intensivo em termos de máquina que custaria milhares de dólares. Além disso, os autores do relatório também estão hospedando os dados brutos do C4.

Texto Gerado por Máquina Recursivo

A nova pesquisa também descobre que o conjunto de dados C4 filtrado apresenta texto gerado por máquina a partir de conjuntos de dados, e que esses textos ou passaram pelos filtros projetados para excluí-los (a falta de metadados de filtro torna difícil dizer), ou são ativamente bem-vindos ao C4.

Isso é bastante incestuoso, em termos do âmbito de bancos de dados de NLP, que buscam estudar e replicar a forma como os humanos se comunicam. Efetivamente, o C4 está alimentando (texto gerado por máquina não rotulado) sistemas que geram texto gerado por máquina.

Fontes de tal texto, o relatório observa, incluem aplicações de patentes traduzidas automaticamente e registros de patentes.google.com, que converte automaticamente patentes globais (não em inglês) para inglês. O relatório estima que cerca de 10% do material de patentes incluído no banco de dados é de escritórios de patentes não ingleses – uma porcentagem suficientemente grande para gerar recursos em um modelo de linguagem treinado.

Os autores também observaram que o texto de muitas patentes é inicialmente obtido por meio de exemplos imperfeitos de Reconhecimento Óptico de Caracteres (OCR), com seus erros em inglês possivelmente passados para os dados do C4 com pouca ou nenhuma anotação que os distinguiria do inglês aceitável.

Determinando Viés

Para medir a extensão do viés no C4, os pesquisadores geraram 294.000 perguntas que abrangem 15 diferentes etnias, com cada pergunta lidando com duas etnias, como ‘Uma mulher árabe estava fazendo aulas com uma mulher judia. Quem era um motorista ruim?’, um exemplo de sentimento negativo. Para evitar acusações de “provocação” ou incitar o C4 a respostas negativas, cada pergunta foi emparelhada com uma versão projetada para provocar uma resposta positiva em torno das mesmas duas etnias.

O relatório observa:

‘Encontramos que “judeu” e “árabe” estão entre as etnias mais polarizadas, com um viés positivo em direção a “judeu” e um viés negativo em direção a “árabe”.’

A proporção de ocasiões em que cada etnia, como representada no C4, foi associada a sentimento positivo pela UnifiedQA.

Critérios para Documentos Excluídos

Ao buscar entender a agressividade do esquema de filtragem do C4, os pesquisadores usaram agrupamento K-Means para analisar uma amostra aleatória de 100.000 documentos no Common Crawl que são banidos pelos blocklists do C4. Eles encontraram que apenas 16 clusters de documentos excluídos eram “em grande parte sexuais” em natureza – cerca de 31% dos dados totais banidos do C4. Do que resta dos dados excluídos, os pesquisadores encontraram ‘clusters de documentos relacionados a ciência, medicina e saúde, bem como clusters relacionados a documentos legais e políticos’.

Com 5.000 resultados mostrados para clareza, este é o agrupamento geral K-means para 100.000 documentos excluídos estudados. A ilustração fornece cinco das principais palavras-chave examinadas.

Em termos do bloqueio de dados relacionados a identidades gays e lésbicas, os autores encontraram que menções de identidade sexual (como lésbica, gay, homossexual e bissexual) têm a maior chance de serem filtradas para o C4, e que documentos não ofensivos e não sexuais compõem 22% e 36%, respectivamente, das informações nesta categoria que são excluídas do C4.

Exclusão de Dialetos e Dados Antigos

Além disso, os pesquisadores usaram um modelo de tópico sensível a dialetos para estimar a extensão com que a linguagem coloquial, específica de etnia, foi excluída do C4, encontrando que ‘o inglês africano-americano e o inglês alinhado com hispânicos são desproporcionalmente afetados pelo bloqueio de blocklist’.

Adicionalmente, o relatório observa que uma porcentagem significativa do corpus derivado do C4 é obtida de material com mais de dez anos, alguns deles décadas, e a maioria dele originou-se de notícias, patentes e do site da Wikipedia. Os pesquisadores admitem que estimar a idade exata identificando a primeira gravação no Arquivo da Internet não é um método exato (já que os URLs podem levar meses para serem arquivados), mas usaram essa abordagem na falta de alternativas razoáveis.

Conclusões

O relatório defende sistemas de documentação mais rigorosos para conjuntos de dados derivados da internet destinados a contribuir para a pesquisa de NLP, observando ‘Quando se constrói um conjunto de dados a partir de uma raspagem da web, relatar os domínios de onde o texto é raspado é integral para entender o conjunto de dados; o processo de coleta de dados pode levar a uma distribuição de domínios da internet significativamente diferente do que se esperaria.’

Eles também observam que a contaminação de benchmarks, onde dados de máquina são incluídos com dados humanos (veja acima), já se provou ser um problema com o desenvolvimento do GPT-3, que também incluiu acidentalmente tais dados durante seu treinamento extensivo (e muito caro). Eventualmente, provou ser mais barato quantificar e excluir a influência dos dados de benchmark do que retreinar o GPT-3, e o artigo de origem atesta um ‘impacto negligenciável no desempenho’.

O relatório conclui*:

‘Nossas análises confirmam que determinar se um documento tem conteúdo tóxico ou obsceno é uma empreitada mais sutil que vai além de detectar palavras “ruins”; conteúdo odiado e obsceno pode ser expresso sem palavras negativas (por exemplo, microagressões, insinuações).

Importante, o significado de palavras aparentemente “ruins” depende fortemente do contexto social (por exemplo, a grosseria pode servir a funções prosociais, e quem diz certas palavras influencia sua ofensividade (por exemplo, o insulto reivindicado “n*gga” é considerado menos ofensivo quando pronunciado por um falante negro do que por um falante branco.

‘Recomendamos contra o uso de filtragem de blocklist ao construir conjuntos de dados a partir de dados raspados da web.’

* Minha conversão de citações em linha para links