Relatório da GEPI sobre como a IA falha com as mulheres examina como os algoritmos amplificam o viés de gênero

Uma pontuação de seleção de candidatos, uma avaliação de crédito ou uma recomendação clínica podem parecer imparciais e, ainda assim, perpetuar as desigualdades presentes nos dados que as fundamentam. Esse é o alerta central do novo relatório do Gender Equity Policy Institute, Como a IA falha com as mulheres: quando o viés é amplificado, que reúne pesquisas sobre como sistemas automatizados podem reproduzir — e, às vezes, intensificar — a discriminação de gênero.

De autoria da cientista de aprendizado de máquina e pesquisadora sênior da GEPI Myriam Shiran, PhD, o relatório analisa a literatura acadêmica e cinzenta sobre oportunidades econômicas, saúde, justiça criminal, conteúdo gerado, design de IA para consumidores e abuso sexual baseado em imagens possibilitado pela IA. Trata-se de uma síntese das evidências existentes, e não de um novo experimento que avalie todos os sistemas de IA com base em um único parâmetro.

Seu argumento mais importante diz respeito ao que acontece depois que um resultado enviesado sai de um modelo. Recomendações influenciam decisões, conteúdos gerados moldam expectativas e alguns resultados se tornam material para treinamentos futuros. Assim, um padrão injusto pode ficar mais difícil de identificar à medida que passa por sistemas sucessivos.

Dados de entrada sem informação de gênero não garantem resultados justos

Remover um campo de gênero é uma resposta intuitiva à discriminação. A análise da GEPI explica por que essa medida, por si só, não basta: nomes, escolaridade, histórico profissional e outros detalhes ainda podem transmitir sinais relacionados ao gênero. Os resultados históricos também podem codificar tratamentos desiguais antes mesmo de serem processados por um modelo.

Uma auditoria de processos seletivos citada no relatório, realizada por Wilson e Caliskan em 2024, envolveu mais de três milhões de comparações de currículos simulados em nove ocupações. Os modelos de triagem testados favoreceram significativamente nomes associados a homens em 51,9% das comparações e nomes associados a mulheres em 11,1%. Nos 37% restantes, não houve preferência significativa. Esses são resultados de testes controlados de modelos, não percentuais de candidatos reais que tiveram empregos negados.

As evidências também variam conforme o desenho do teste. O relatório descreve uma auditoria separada, de 2025, na qual vários modelos de linguagem não apresentaram diferenças de gênero quando os pesquisadores alteraram apenas os nomes, enquanto mudanças nos dados sobre escolaridade afetaram as pontuações. Um teste restrito pode deixar de detectar informações importantes em outras etapas do mesmo processo.

No setor de crédito, a análise aponta para uma pesquisa sobre cerca de 80.000 empréstimos pessoais sem garantia concedidos por uma grande fintech dos EUA. Os empréstimos concedidos a mulheres geraram retornos maiores para a instituição financeira, resultado que o estudo associou a um modelo que superestimava o risco de inadimplência dessas tomadoras e definia os preços dos empréstimos de acordo com essa estimativa. Nesse caso, a questão é a relação entre o risco previsto, o pagamento efetivo e o custo para quem toma o empréstimo — não simplesmente se o formulário de solicitação inclui o gênero.

A IA médica precisa de mais do que uma pontuação média alta

A saúde oferece um exemplo particularmente claro de como o desempenho geral de uma população pode ocultar diferenças importantes. Um modelo pode ter bom desempenho no geral e, ao mesmo tempo, cometer mais erros com pessoas sub-representadas nos dados usados em seu treinamento ou validação.

A GEPI cita um estudo de 2024 de Zack e colegas, que apresentou ao GPT-4 casos idênticos de dor no peito, descritos como envolvendo um homem ou uma mulher. Em 200 execuções para cada descrição, o modelo classificou o teste de esforço cardíaco como muito importante em 71% dos casos masculinos e em 58% dos casos femininos — uma diferença de 13 pontos percentuais.

Esse resultado diz respeito às recomendações do modelo em uma avaliação controlada, não a decisões de tratamento observadas nem a resultados clínicos. Essa distinção é importante, sobretudo porque o relatório inclui estudos exploratórios de diferentes modelos, doenças e tarefas clínicas, realizados em momentos distintos.

A análise também faz uma ressalva essencial: diferenças entre os sexos com relevância clínica não devem simplesmente ser apagadas. O desafio é determinar se uma diferença nas recomendações de um modelo reflete aspectos biológicos relevantes ou uma suposição sem fundamento. Para isso, são necessários dados de avaliação representativos e uma análise cuidadosa dos erros, em vez de exigir que todas as recomendações sejam idênticas.

O viés pode moldar representações, além de decisões

O relatório distingue o dano ao acesso de uma pessoa a recursos — como crédito ou atendimento médico — do dano causado pela forma como grupos são retratados. Cartas de recomendação, artigos jornalísticos e imagens de profissões gerados por IA podem reforçar estereótipos mesmo quando não levam imediatamente a uma decisão de alocação de recursos.

Pesquisas sintetizadas pela GEPI constataram que modelos de linguagem descrevem as mulheres mais por suas qualidades interpessoais e os homens mais por sua capacidade de liderança ou aptidão. Estudos sobre geradores de imagens identificaram uma segregação de gênero exagerada entre ocupações. Esses resultados se aplicam aos modelos e às versões examinados; não devem ser interpretados como uma nova auditoria de todos os sistemas disponíveis atualmente.

Assistentes e companheiros virtuais para consumidores levantam outra questão. Suas vozes, personalidades e respostas ao assédio são escolhas deliberadas de produto. Avaliar apenas o equilíbrio estatístico das respostas pode deixar de perceber as suposições incorporadas na própria concepção do produto.

A análise também examina imagens sexuais sintéticas não consensuais, nas quais a IA pode facilitar a produção e a disseminação de abusos. Isso vai além de uma representação imprecisa: o uso da imagem de uma pessoa real sem consentimento pode causar danos diretos. Isso exige uma resposta diferente daquela necessária para corrigir um estereótipo ocupacional em imagens geradas.

Por que os testes independentes são importantes

A GEPI descreve quatro mecanismos recorrentes: aprender com registros históricos desiguais, reproduzir estereótipos, apresentar julgamentos como medições objetivas e permitir que resultados enviesados influenciem decisões ou modelos subsequentes.

Auditorias independentes ajudam a tornar esses mecanismos visíveis. Pesquisadores podem variar um atributo em dados de entrada que, em todos os outros aspectos, sejam comparáveis e examinar como os resultados mudam, mesmo sem acesso à arquitetura interna de um modelo proprietário. Mas um teste bem-sucedido com uma solicitação ou um parâmetro de referência não comprova a equidade em toda a implantação.

Para as organizações que adotam IA, a implicação prática é testar o caso de uso real. Uma equipe de recrutamento precisa examinar o percurso das pontuações de triagem até a seleção para entrevistas. Um credor precisa comparar as estimativas de risco com os resultados dos pagamentos. Uma organização de saúde precisa entender quais pacientes estão representados nos dados de validação e onde os erros se concentram. Essas verificações respondem a perguntas diferentes daquelas sobre se um modelo é fluente ou, em média, preciso.

O que o relatório demonstra — e o que ainda não se sabe

O relatório se baseia principalmente em evidências dos Estados Unidos, mas também identifica estudos internacionais quando pertinente. Suas fontes abrangem diferentes tecnologias, anos e métodos. Algumas documentam resultados; outras revelam comportamentos preocupantes em simulações. A análise não estabelece uma taxa universal de discriminação, nem demonstra que todos os sistemas produzam o mesmo viés.

O relatório também identifica um problema de mensuração: muitas vezes, os pesquisadores não conseguem acessar os dados institucionais necessários para relacionar um resultado às suas consequências. Identificar uma disparidade é importante, mas compreender seu custo no mundo real pode exigir registros mantidos por empregadores, fornecedores, credores ou prestadores de serviços de saúde.

A contribuição da GEPI é reunir constatações que costumam ser discutidas separadamente e perguntar se os testes e a responsabilização acompanham a IA nas decisões que ela influencia. O relatório completo, Como a IA falha com as mulheres: quando o viés é amplificado, inclui a metodologia, as referências dos estudos e as evidências setoriais que fundamentam esse argumento.