Pesquisadores Desenvolvem Nova Ferramenta para Combater Viés em Visão Computacional

Uma das questões recentes que surgiu no campo da inteligência artificial (IA) é a do viés em visão computacional. Muitos especialistas agora estão descobrindo viés dentro dos sistemas de IA, levando a resultados tendenciosos em várias aplicações diferentes, como programas de sentenças de tribunal.

Há um grande esforço em andamento para tentar corrigir alguns desses problemas, com o último desenvolvimento vindo da Universidade de Princeton. Pesquisadores da instituição criaram uma nova ferramenta que é capaz de sinalizar possíveis vieses em imagens usadas para treinar sistemas de IA.

O trabalho foi apresentado em 24 de agosto na Conferência Europeia Virtual de Visão Computacional.

Viés em Sistemas de IA

Uma das principais razões para o viés presente nos sistemas de IA atuais é que eles são frequentemente treinados em grandes conjuntos de imagens provenientes de fontes online. Essas imagens podem ser estereotipadas, e quando são usadas para desenvolver visão computacional, o resultado pode ser influenciado involuntariamente. A visão computacional é o que permite que os computadores identifiquem pessoas, objetos e ações.

A ferramenta desenvolvida pelos pesquisadores é de código aberto e é capaz de revelar automaticamente possíveis vieses em conjuntos de dados visuais. Ela funciona antes que os conjuntos de imagens sejam usados para treinar os modelos de visão computacional, e questões relacionadas à subrepresentação e estereótipos podem ser remediadas antes de causarem efeito.

REVISE

A nova ferramenta é chamada de REVISE e ela se baseia em métodos estatísticos para identificar possíveis vieses em um conjunto de dados. Ela se concentra em três áreas: baseada em objetos, baseada em gênero e baseada em geografia.

REVISE é totalmente automática e foi construída sobre métodos anteriores que incluíam filtragem e equilíbrio de imagens de conjuntos de dados para que o usuário tivesse mais controle.

A nova ferramenta se baseia em anotações e medições de imagem existentes para analisar o conteúdo dentro de um conjunto de dados. Algumas dessas anotações existentes incluem contagem de objetos e países de origem das imagens.

Em um exemplo da ferramenta funcionando, REVISE mostrou como imagens de pessoas e flores eram diferentes com base no gênero. Os homens eram mais propensos a aparecer com flores em cerimônias ou reuniões, e as mulheres eram mais propensas a aparecer com flores em pinturas ou cenários encenados.

Olga Russaskovsky é professora assistente de ciência da computação e investigadora principal do Visual AI Lab. O artigo foi co-escrito com a aluna de graduação Angelina Wang e o professor associado de ciência da computação, Arvind Narayanan.

Depois que a ferramenta identifica discrepâncias, “então há a questão de saber se isso é um fato totally inocuo, ou se algo mais profundo está acontecendo, e isso é muito difícil de automatizar”, disse Russaskovsky.

Regiões Subrepresentadas ou Mal Representadas

Várias regiões ao redor do mundo estão subrepresentadas em conjuntos de dados de visão computacional, e isso pode levar a vieses em sistemas de IA. Uma das descobertas foi que uma quantidade dramaticamente maior de imagens vem dos Estados Unidos e países europeus. REVISE também revelou que imagens de outras partes do mundo muitas vezes não têm legendas de imagem na língua local, o que significa que muitas podem vir de uma visão turística de uma nação.

“…essa análise geográfica mostra que o reconhecimento de objetos ainda pode ser bastante tendencioso e exclusivo, e pode afetar diferentes regiões e pessoas de forma desigual”, continuou Russaskovsky.

“As práticas de coleta de conjuntos de dados em ciência da computação não foram examinadas tão minuciosamente até recentemente”, disse Wang. Quando se trata de coleta de imagens, elas são “coletadas da internet, e as pessoas não sempre percebem que suas imagens estão sendo usadas [em conjuntos de dados]. Devemos coletar imagens de grupos mais diversificados de pessoas, mas quando o fazemos, devemos ter cuidado para que estejamos obtendo as imagens de uma forma respeitosa”.

Vicente Ordonez-Roman é professor assistente de ciência da computação na Universidade da Virgínia.

“Ferramentas e benchmarks são um passo importante… elas nos permitem capturar esses vieses mais cedo no pipeline e repensar nosso setup de problemas e suposições, bem como práticas de coleta de dados”, disse Ordonez-Roman. “Em visão computacional, há alguns desafios específicos relacionados à representação e à propagação de estereótipos. Trabalhos como os do Princeton Visual AI Lab ajudam a elucidar e chamar a atenção da comunidade de visão computacional para alguns desses problemas e oferecem estratégias para mitigá-los”.

A nova ferramenta desenvolvida pelos pesquisadores é um passo importante para ajudar a remediar o viés presente nos sistemas de IA. Agora é o momento de corrigir esses problemas, pois será muito mais difícil à medida que os sistemas progridem e se tornam mais complexos.