Pesquisadores desenvolvem nova ferramenta para combater o viés na visão computacional

Uma das questões recentes que surgiram no campo da inteligência artificial (IA) é a do preconceito na visão computacional. Muitos especialistas estão agora a descobrir preconceitos nos sistemas de IA, levando a resultados distorcidos em várias aplicações diferentes, tais como programas de sentenças judiciais.

Há um grande esforço para tentar corrigir alguns desses problemas, com o mais novo desenvolvimento vindo da Universidade de Princeton. Pesquisadores da instituição criaram uma nova ferramenta capaz de sinalizar possíveis vieses em imagens usadas para treinar sistemas de IA. 

A trabalho foi apresentado em 24 de agosto na virtual European Conference on Computer Vision. 

Viés em sistemas de IA

Uma das principais razões para o viés presente nos sistemas de IA atuais é que eles geralmente são treinados em grandes conjuntos de imagens provenientes de fontes online. Essas imagens podem ser estereotipadas e, quando vão para o desenvolvimento da visão computacional, o resultado pode ser modelos influenciados involuntariamente. A visão computacional é o que permite aos computadores identificar pessoas, objetos e ações. 

A ferramenta desenvolvida pelos pesquisadores é de código aberto e é capaz de revelar automaticamente possíveis vieses em conjuntos de dados visuais. Ele funciona agindo antes que os conjuntos de imagens sejam usados ​​para treinar os modelos de visão computacional, e os problemas relacionados à sub-representação e aos estereótipos podem ser remediados antes que causem um efeito. 

REVER

A nova ferramenta se chama REVISE e se baseia em métodos estatísticos para identificar possíveis vieses em um conjunto de dados. Ele se concentra nas três áreas de base de objeto, baseada em gênero e baseada em geografia. 

O REVISE é totalmente automático e foi construído sobre métodos anteriores que incluíam filtragem e balanceamento de imagens de conjuntos de dados para que o usuário pudesse ter mais controle. 

A nova ferramenta depende de anotações e medições de imagens existentes para analisar o conteúdo dentro de um conjunto de dados. Algumas dessas anotações existentes incluem contagem de objetos e países de origem para as imagens. 

Em um exemplo do funcionamento da ferramenta, REVISE mostrou como as imagens de pessoas e flores eram diferentes dependendo do gênero. Os machos eram mais propensos a aparecer com flores em cerimônias ou reuniões, e as fêmeas eram mais propensas a aparecer com flores em pinturas ou cenários encenados.

Olga Russaskovsky é professora assistente de ciência da computação e investigadora principal do Visual AI Lab. O papel foi co-autoria com estudante de pós-graduação Angelina Wang e professor associado de ciência da computação, Arvind Narayanan.

Depois que a ferramenta identifica discrepâncias, “então há a questão de saber se isso é um fato totalmente inócuo ou se algo mais profundo está acontecendo e é muito difícil de automatizar”, disse Russaskovsky. 

Regiões sub-representadas ou mal representadas

Várias regiões ao redor do mundo estão sub-representadas em conjuntos de dados de visão computacional, e isso pode levar a vieses nos sistemas de IA. Uma das descobertas foi que uma quantidade dramaticamente maior de imagens vem dos Estados Unidos e de países europeus. A REVISE também revelou que as imagens de outras partes do mundo geralmente não têm legendas no idioma local, o que significa que muitas podem vir da visão de um turista sobre uma nação. 

“…esta análise geográfica mostra que o reconhecimento de objetos ainda pode ser bastante tendencioso e excludente e pode afetar diferentes regiões e pessoas de forma desigual”, continuou Russaskovsky. 

“As práticas de coleta de conjuntos de dados na ciência da computação não foram examinadas minuciosamente até recentemente”, disse Wang. Quando se trata de coleta de imagens, elas são “extraídas da internet e as pessoas nem sempre percebem que suas imagens estão sendo usadas [em conjuntos de dados]. Devemos coletar imagens de grupos mais diversos de pessoas, mas, quando o fizermos, devemos ter cuidado para obter as imagens de maneira respeitosa.”

Vicente Ordonez-Roman é professor assistente de ciência da computação na Universidade da Virgínia. 

“Ferramentas e benchmarks são uma etapa importante… eles nos permitem capturar esses vieses no início do pipeline e repensar nossa configuração de problemas e suposições, bem como práticas de coleta de dados”, disse Ordonez-Roman. “Na visão computacional existem alguns desafios específicos em relação à representação e à propagação de estereótipos. Trabalhos como os do Princeton Visual AI Lab ajudam a elucidar e chamar a atenção da comunidade de visão computacional para alguns desses problemas e oferecem estratégias para mitigá-los.”

A nova ferramenta desenvolvida pelos pesquisadores é um passo importante para ajudar a remediar o viés presente nos sistemas de IA. Agora é a hora de corrigir esses problemas, pois ficará muito mais difícil à medida que os sistemas progridem e se tornam mais complexos.