A IA não elimina o viés humano. Ela o amplia.

A IA costuma ser apresentada como uma forma de tornar as decisões mais objetivas: segundo essa lógica, basta eliminar o julgamento humano para eliminar o viés humano. Um conjunto cada vez maior de pesquisas refuta essa ideia.

Os sistemas de IA aprendem com a história humana. Eles são treinados com nossas decisões, nossa linguagem, nossas instituições e, inevitavelmente, nossos pontos cegos. Quando esses sistemas selecionam candidatos, distribuem recursos de saúde ou avaliam funcionários, podem reproduzir esses vieses em uma escala e velocidade que nenhum ser humano conseguiria igualar.

O problema maior é que as decisões parecem neutras. Surge uma pontuação. Aparece uma classificação. É gerada uma recomendação. Não há sinais visíveis das premissas por trás dela, e ninguém na sala necessariamente se sente responsável pelo resultado.

Por isso, o viés da IA não é principalmente um problema do modelo. É um problema de governança. Um modelo pode ser retreinado, mas as perguntas mais difíceis são organizacionais: quem é responsável por cada decisão, o que o sistema está otimizando e quem tem autoridade para contestá-lo.

O viés humano entra na IA e volta à velocidade das máquinas

O mecanismo não é misterioso. Os modelos identificam padrões estatísticos nos dados de treinamento e, quando os resultados históricos (quem foi contratado, quem recebeu atendimento) já refletem discriminação, o alvo que o modelo aprende a prever parte de uma posição enviesada. Estudos recentes mostram como isso acontece facilmente com diferentes fornecedores e em diferentes tarefas:

• Contratação em larga escala. Uma análise de Stanford de 4 milhões de candidaturas reais a vagas de emprego constatou que 26% dos candidatos negros e 15% dos candidatos asiáticos se candidataram a vagas em que o sistema de IA discriminava seu grupo racial. Os modelos haviam aprendido com décadas de decisões humanas de contratação.
• Classificação de currículos. Pesquisadores da University of Washington avaliaram mais de 550 currículos reais com modelos de linguagem atuais e descobriram que nomes associados a pessoas brancas eram favorecidos em 85% das vezes, enquanto nomes de homens negros raramente eram preferidos.
• Comunicação no ambiente de trabalho. Uma pesquisa da Johns Hopkins divulgada no início deste ano constatou que GPT-4, Llama, Gemma e Mistral geravam e-mails profissionais menos sofisticados e menos formais quando os prompts continham padrões linguísticos mais comumente associados às mulheres.

Quando um sistema como esse é implementado, esses padrões deixam de ser uma característica dos dados de treinamento e passam a fazer parte das decisões cotidianas.

O verdadeiro perigo está na escala e no silêncio

Um recrutador com viés pode analisar centenas de currículos em um ano. Um sistema de triagem enviesado pode processar milhões de candidaturas da noite para o dia, aplicando a mesma lógica falha a todas elas. Uma decisão enviesada de uma pessoa costuma ser um caso isolado; as decisões enviesadas de um modelo podem rapidamente se tornar política.

A área da saúde oferece um dos exemplos mais claros. Um algoritmo amplamente utilizado, que afetou milhões de pacientes, foi criado para identificar pessoas que se beneficiariam de cuidados adicionais. Ele classificava pacientes negros como mais saudáveis do que pacientes brancos igualmente doentes. Ninguém havia escrito uma regra racista. O algoritmo usava os gastos com saúde como indicador da necessidade médica e, como historicamente os pacientes negros recebiam menos atendimento e, portanto, geravam menos gastos, interpretava gastos menores como sinal de melhor saúde. Segundo a análise dos pesquisadores publicada na Science, corrigir essa única escolha de projeto teria aumentado de 17,7% para 46,5% a proporção de pacientes negros identificados como necessitados de ajuda adicional.

Os sistemas de IA não refletem simplesmente as métricas que lhes fornecemos; refletem as premissas por trás delas. O viés humano é igualmente real, mas é mais difícil de detectar e testar. Por isso, a resposta está em uma governança melhor, não em abandonar a automação.

Inclua a responsabilização no processo decisório

A abordagem padrão para implementar IA consiste em selecionar um modelo, integrá-lo ao fluxo de trabalho, monitorar seu desempenho e aprimorá-lo com o tempo. Quando os resultados do sistema afetam pessoas, isso não basta.

Chamo a alternativa de integração em vez de implantação: a pessoa responsável fica dentro do processo decisório, com autoridade real para alterá-lo, em vez de analisar painéis uma vez por trimestre, depois que tudo já aconteceu. Isso começa com três etapas:

1. Mapeie cada decisão que a IA agora seleciona, pontua ou aprova e atribua a cada uma uma pessoa responsável identificada pelo nome.
2. Audite o histórico usado para treinar o modelo antes que esse histórico se transforme em política.
3. Crie condições para que seja seguro contrariar o modelo e acompanhe a taxa de decisões que o substituem.

A terceira etapa é a mais importante. Se os funcionários aprenderem que discordar da máquina será considerado um erro, deixarão de fazê-lo, e a IA se tornará, na prática, a responsável pelas decisões, embora tecnicamente ainda haja uma pessoa “no circuito”. A questão não é se uma pessoa tem a palavra final. É se ela tem autoridade, informações e segurança psicológica para dizer: “A máquina está errada.”

O retreinamento ajuda, mas o viés entra pelas decisões: o que o modelo otimiza, quais dados são considerados, quem verifica os resultados. É aí que devemos olhar. Também são necessárias lideranças de IA capazes de perguntar por que um sistema classificou algo daquela maneira e com autoridade para agir com base na resposta.

A taxa de intervenções é útil justamente por ser ambígua. Se as pessoas quase nunca intervêm no sistema, talvez ele simplesmente seja preciso. Ou talvez tenham aprendido que não é seguro discordar. Se apenas pessoas em cargos mais altos intervêm, os funcionários juniores talvez tenham aprendido a ficar calados, embora muitas vezes sejam os que estão mais próximos dos resultados e das pessoas afetadas. O objetivo não é eliminar as intervenções. É criar uma cultura em que uma intervenção bem fundamentada seja considerada um sinal de que o sistema está funcionando. Quando alguém intervém no modelo e se comprova que tinha razão, divulgue essa história amplamente. Ela pode ser o melhor material de treinamento em IA que sua empresa jamais produzirá.

Teste os resultados, não as intenções

As organizações não precisam esperar por uma falha grave para começar a detectar vieses. Há três testes que podem ser feitos agora:

1. Uma comparação controlada. Execute a mesma tarefa alterando apenas o sinal demográfico, como o nome em um currículo ou o dialeto de uma instrução. Mantenha todo o resto constante, inclusive o modelo da instrução e a ordem das entradas. Como os resultados dos modelos variam de uma execução para outra, repita cada par várias vezes e use pares suficientes para que uma diferença não possa ser descartada como mero ruído. Foi essencialmente assim que pesquisadores identificaram disparidades nas classificações de currículos e nas comunicações profissionais geradas; uma equipe interna pode fazer uma primeira versão em uma tarde.
2. Uma auditoria de variáveis proxy. Para cada métrica que o sistema otimiza, faça duas perguntas: o que esse número realmente mede e quem ele pode deixar de contabilizar? O algoritmo de saúde não era ruim em prever a métrica escolhida. Era bom em prever custos. O problema era que os custos serviam como substituto da necessidade médica. Um sistema pode ser preciso segundo a própria métrica e, ainda assim, estar muito errado em relação às pessoas que afeta.
3. Uma comparação de resultados. Compare as taxas de seleção ou aprovação entre grupos durante o uso em produção. A regra prática dos quatro quintos, usada nas práticas de emprego dos EUA, que sinaliza um grupo cuja taxa fica abaixo de 80% da taxa do grupo com o índice mais alto, é uma triagem inicial comum. Combine-a com o monitoramento das intervenções descrito acima.

Esses testes têm limitações. A troca de nomes detecta sinais demográficos explícitos, mas não proxies como o código postal, a instituição de ensino ou lacunas no histórico profissional; por isso, a comparação de resultados é importante. Medidas técnicas de mitigação (reponderar os dados de treinamento, acrescentar restrições de equidade, ajustar os limiares de decisão) podem reduzir as disparidades, mas exigem uma escolha. Pesquisas de Kleinberg, Mullainathan e Raghavan, e, separadamente, de Chouldechova, demonstraram que quando os grupos têm taxas-base diferentes, em geral um modelo não consegue satisfazer simultaneamente a calibração e a igualdade das taxas de erro. A definição de equidade a priorizar não é uma questão que um modelo possa responder. É uma decisão que alguém precisa assumir e documentar, o que remete o problema à governança.

Avalie a equidade junto com a precisão

Com frequência, a equidade é tratada como uma iniciativa separada, algo que as equipes de RH ou jurídicas analisam depois que a equipe técnica avaliou a precisão, a eficiência e os custos. Essa separação é, por si só, parte do problema. A equidade deve ser avaliada na mesma reunião que a precisão e os custos, com a mesma prestação de contas e uma pessoa responsável claramente designada.

Essa conversa deve incluir as equipes de RH e jurídica, mas também as pessoas que foram julgadas injustamente por sistemas como esses. Quem foi subestimado muitas vezes percebe primeiro o que o sistema não vê. Essa é uma ideia central do meu livro, The Bias Advantage: as perspectivas que as organizações historicamente ignoraram tornam-se uma poderosa fonte de conhecimento quando passam a fazer parte do processo decisório.

O objetivo não é criar um sistema de IA que nunca cometa erros, o que não é realista. É construir uma organização capaz de reconhecer quando a IA está errada, entender por quê e intervir antes que o erro se torne a realidade de outra pessoa.