Cientistas da Computação Lidam com Viés em IA

Cientistas da computação da Princeton e da Universidade de Stanford agora estão abordando problemas de viés em inteligência artificial (IA). Eles estão trabalhando em métodos que resultam em conjuntos de dados mais justos que contenham imagens de pessoas. Os pesquisadores trabalham em estreita colaboração com o ImageNet, que é um banco de dados de mais de 13 milhões de imagens. Ao longo da última década, o ImageNet ajudou a avançar a visão computacional. Com o uso de seus métodos, os pesquisadores então recomendaram melhorias para o banco de dados.

ImageNet inclui imagens de objetos, paisagens e pessoas. Pesquisadores que criam algoritmos de aprendizado de máquina que classificam imagens usam o ImageNet como fonte de dados. Devido ao tamanho maciço do banco de dados, foi necessário haver coleta automática de imagens e anotação de imagens por crowdsourcing. Agora, a equipe do ImageNet trabalha para corrigir vieses e outros problemas. As imagens frequentemente contêm pessoas que são consequências não intencionais da construção do ImageNet.

Olga Russakovsky é coautora e professora assistente de ciência da computação na Princeton.

“A visão computacional agora funciona muito bem, o que significa que está sendo implantada em todos os lugares em todos os tipos de contextos”, disse ele. “Isso significa que agora é o momento de falar sobre que tipo de impacto está tendo no mundo e pensar sobre esses tipos de questões de justiça.”

No novo artigo, a equipe do ImageNet identificou sistematicamente conceitos não visuais e categorias ofensivas. Essas categorias incluíam caracterizações raciais e sexuais, e a equipe propôs removê-las do banco de dados. A equipe também desenvolveu uma ferramenta que permite aos usuários especificar e recuperar conjuntos de imagens de pessoas, e pode fazer isso por idade, expressão de gênero e cor da pele. O objetivo é criar algoritmos que classifiquem mais justamente os rostos e atividades das pessoas nas imagens.

O trabalho realizado pelos pesquisadores foi apresentado em 30 de janeiro na Conferência da Association for Computing Machinery sobre Justiça, Responsabilidade e Transparência em Barcelona, Espanha.

“Há uma grande necessidade de pesquisadores e laboratórios com expertise técnica central nesse tipo de conversa”, disse Russakovsky. “Dada a realidade de que precisamos coletar os dados em escala, dada a realidade de que será feito com crowdsourcing porque é o pipeline mais eficiente e bem estabelecido, como fazemos isso de uma maneira mais justa — que não cai nesses tipos de armadilhas anteriores? A mensagem central deste artigo é sobre soluções construtivas.”

O ImageNet foi lançado em 2009 por um grupo de cientistas da computação da Princeton e da Stanford. Foi projetado para servir como um recurso para pesquisadores acadêmicos e educadores. A criação do sistema foi liderada por Fei-Fei Li, ex-aluna e membro da faculdade da Princeton.

O ImageNet foi capaz de se tornar um banco de dados tão grande de imagens rotuladas por meio do uso do crowdsourcing. Uma das principais plataformas usadas foi o Amazon Mechanical Turk (MTurk), e os trabalhadores foram pagos para verificar imagens candidatas. Isso causou alguns problemas, e havia muitos vieses e categorizações inadequadas.

O autor principal, Kaiyu Yang, é um estudante de pós-graduação em ciência da computação.

“Quando você pede às pessoas para verificar imagens selecionando as corretas de um grande conjunto de candidatas, as pessoas se sentem pressionadas para selecionar algumas imagens e essas imagens tendem a ser as que têm recursos distintivos ou estereotipados”, disse ele.

A primeira parte do estudo envolveu filtrar categorias de pessoas potencialmente ofensivas ou sensíveis do ImageNet. Categorias ofensivas foram definidas como aquelas que continham palavrões ou insultos raciais ou de gênero. Uma categoria sensível foi a classificação de pessoas com base na orientação sexual ou religião. Doze estudantes de pós-graduação de diversos backgrounds foram trazidos para anotar as categorias, e foram instruídos a rotular uma categoria como sensível se estivessem incertos sobre ela. Cerca de 54% das categorias foram eliminadas, ou 1.593 das 2.932 categorias de pessoas no ImageNet.

Os trabalhadores do MTurk então avaliaram a “imagensidade” das categorias restantes em uma escala de 1 a 5. 158 categorias foram classificadas como seguras e imagensíveis, com uma avaliação de 4 ou mais. Esse conjunto filtrado de categorias incluiu mais de 133.000 imagens, que podem ser muito úteis para treinar algoritmos de visão computacional.

Os pesquisadores estudaram a representação demográfica das pessoas nas imagens, e o nível de viés no ImageNet foi avaliado. O conteúdo-fonte de mecanismos de busca frequentemente fornece resultados que superrepresentam homens, pessoas de pele clara e adultos entre 18 e 40 anos.

“As pessoas descobriram que as distribuições demográficas nos resultados de busca de imagens são muito viesadas, e é por isso que a distribuição no ImageNet também é viesada”, disse Yang. “Neste artigo, tentamos entender quão viesado é e também propor um método para equilibrar a distribuição.”

Os pesquisadores consideraram três atributos que também são protegidos pelas leis antidiscriminação dos EUA: cor da pele, expressão de gênero e idade. Os trabalhadores do MTurk então anotaram cada atributo de cada pessoa em uma imagem.

Os resultados mostraram que o conteúdo do ImageNet tem um viés considerável. Os mais subrepresentados foram pessoas de pele escura, mulheres e adultos acima de 40 anos.

Uma ferramenta de interface web foi projetada que permite aos usuários obter um conjunto de imagens que são demograficamente equilibradas de uma maneira que o usuário escolhe.

“Não queremos dizer qual é a maneira certa de equilibrar as demografias, porque não é uma questão muito simples”, disse Yang. “A distribuição pode ser diferente em diferentes partes do mundo — a distribuição de cores de pele nos EUA é diferente da de países da Ásia, por exemplo. Então, deixamos essa pergunta para o nosso usuário, e apenas fornecemos uma ferramenta para recuperar um subconjunto equilibrado das imagens.”

A equipe do ImageNet agora está trabalhando em atualizações técnicas de seu hardware e banco de dados. Eles também estão tentando implementar o filtro de categorias de pessoas e a ferramenta de reequilíbrio desenvolvida nesta pesquisa. O ImageNet está programado para ser relançado com as atualizações, juntamente com um apelo para feedback da comunidade de pesquisa de visão computacional.

O artigo também foi coautorado pelo estudante de pós-graduação da Princeton, Klint Qinami, e pelo Professor Assistente de Ciência da Computação, Jia Deng. A pesquisa foi apoiada pela National Science Foundation.