Por que a confiança cega em IA pode ser sua pior decisão ainda

Em 1979, um manual de treinamento da IBM fez um alerta simples, mas impactante: “Um computador nunca pode ser responsabilizado; portanto, um computador nunca deve tomar uma decisão de gestão.” E mais de 45 anos depois, essa declaração parece uma profecia ignorada.

Em 2025, a IA não apenas ajuda, mas também toma decisões autônomas, e em muitos casos, não apenas decide, mas lidera. De fato, cerca de 74% dos executivos confiam mais na IA para conselhos de negócios do que em colegas ou amigos, 38% confiam na IA para tomar decisões de negócios por eles, e 44% deferem à razão da tecnologia em vez de suas próprias percepções. A mudança é clara; a IA é o novo instinto.

Mas há um problema. A confiança na IA só é possível se o algoritmo for digno de confiança. E quando a confiança é depositada cegamente, especialmente em caixas pretas que não podemos entender ou auditar, é um risco disfarçado de progresso. Como na liderança humana, a confiança sem responsabilidade é perigosa, e quando a IA erra, quem assume a responsabilidade?

Quando a Ferramenta se Torna o Chefe

O que começou como uma ferramenta para otimizar operações de back-office agora está sendo usado em processos de negócios principais. Mas as empresas não estão apenas usando a IA para apoiar decisões humanas; elas agora confiam na IA, particularmente na IA geradora (GenAI), para tomar decisões de negócios, desde estratégia de negócios até atendimento ao cliente, modelagem financeira e mais.

Essa mudança é compreensível. A IA não se distrai, não esquece instruções ou deixa que as emoções obscureçam seu julgamento. Para muitas empresas, isso oferece um antídoto atraente para os riscos do erro humano. No entanto, uma pergunta-chave permanece: podemos confiar na IA para ser o chefe e tomar decisões independentemente?

Não é uma resposta direta, mas uma forma de olhar para isso é como julgamos a confiabilidade das pessoas: por sua competência, confiabilidade e intenção clara. Os mesmos princípios se aplicam à IA.

Para ser confiável, um sistema de IA deve fornecer resultados que sejam precisos, oportunos e apropriados. Mas o nível de confiança e a margem de erro variam dependendo do contexto. Por exemplo, quando se diagnostica câncer a partir de imagens médicas, a barra para falha é extremamente baixa. Por outro lado, quando se gera ideias para uma campanha de marketing, há mais espaço para experimentação.

Vimos a IA usada para tomar decisões autônomas em áreas como aprovação de crédito, com bancos usando algoritmos para determinar a elegibilidade para empréstimos em segundos. Os varejistas usam a IA para gerenciar estoque e preços sem entrada humana. Mas também vimos falhas – como carros autônomos que subestimam as condições da estrada.

Um caso de advertência mostra os riscos de depositar confiança demais na IA sem supervisão adequada. Derek Mobley – um homem negro com mais de 40 anos – se candidatou a mais de 100 posições por meio do sistema de contratação da Workday impulsionado por IA desde 2017 e foi rejeitado todas as vezes. Ele alegou discriminação com base na idade e raça. Em maio de 2025, o tribunal concedeu uma ação coletiva em nível nacional. A classe inclui todos os candidatos com 40 anos ou mais que se candidataram por meio da Workday desde setembro de 2020 e foram negados com base em recomendações da IA.

Esse exemplo faz um ponto importante: a IA carece de inteligência emocional, raciocínio moral ou um senso natural de justiça. E como a IA está se movendo de assistente humano para tomador de decisões independente, há agora um vazio de responsabilidade. Quando os algoritmos são permitidos sem controles e equilíbrios humanos, eles podem e fazem más decisões e reforçam preconceitos existentes.

A Pergunta em Torno das Caixas Pretas

Caixas pretas – quando o sistema e a lógica da IA não são totalmente visíveis – estão se tornando cada vez mais comuns. Embora possam ter camadas visíveis, os desenvolvedores e usuários ainda não podem ver o que acontece em cada camada, tornando-as opacas.

Por exemplo, o ChatGPT é uma caixa preta, pois mesmo seus criadores estão incertos sobre como ele funciona, pois foi treinado em conjuntos de dados tão grandes. Mas devido à falta de transparência, é algum dia aceitável “confiar” em um modelo de IA sem entender completamente como ele funciona?

Em resumo, não: alucinações da IA estão piorando. Isso significa que, em cenários de alto risco, como decisões financeiras, conselhos legais e insights médicos, a IA exige validação rigorosa, cruzamento de dados e supervisão humana.

O processo da Disney e da Universal apresentado em junho de 2025 reforça esse ponto. Os estúdios alegam que as ferramentas de GenAI foram treinadas em materiais com direitos autorais para criar novo conteúdo sem consentimento. Esse caso destaca uma nova realidade: quando as empresas implantam modelos de IA que não entendem completamente, elas podem ser responsabilizadas por decisões tomadas. E a ignorância não é uma defesa; é uma responsabilidade.

No entanto, frequentemente depositamos confiança em sistemas complexos que não entendemos. Por exemplo, a maioria dos passageiros de avião não pode explicar a física do voo, mas as pessoas entram em aviões com confiança porque construímos confiança por meio de exposição repetida, experiência coletiva e um histórico sólido de segurança.

A mesma lógica pode se aplicar novamente à IA. É irrazoável esperar que todos entendam como as LLMs funcionam realmente. Mas a confiança não é construída sobre a compreensão; ela exige familiaridade, transparência sobre limitações e um padrão comprovado de desempenho confiável. Os engenheiros aeroespaciais sabem quais testes colocar em prática e quais erros parecem, e devemos exigir o mesmo dos provedores de GenAI. O princípio fundamental da IA deve ser confiança, mas verifique.

Além disso, os líderes empresariais frequentemente acreditam que a IA será a bala de prata que resolverá todos os problemas de negócios. No entanto, esse mito assola muitas empresas quando integram a IA. Os líderes podem preferir modelos complexos e sofisticados, mas uma solução mais simples pode ser mais adequada se eles realizassem uma análise de custo-benefício. A IA é um instrumento poderoso, mas não é apropriada para todas as tarefas. As empresas precisam reconhecer o problema antes de selecionar uma ferramenta.

Reconstruindo a Confiança na IA

Embora seja claro que confiar cegamente na IA é um problema, os sistemas e algoritmos de IA podem ser a melhor ferramenta que uma empresa já teve – quando usados com segurança.

Para as empresas que desejam aproveitar as ferramentas de IA, a primeira coisa a pesquisar é a diligência devido cuidado do fornecedor. Quando uma empresa identifica uma área que pode se beneficiar da eficiência da IA, os líderes empresariais devem avaliar os fornecedores não apenas em termos de desempenho, mas também em termos de controles de governança. Isso inclui revisar como os modelos são desenvolvidos, se as ferramentas de explicação estão em vigor, como o viés é monitorado e se os registros de auditoria estão disponíveis. Escolher um fornecedor com processos transparentes é essencial para mitigar o risco desde o início.

Talvez o ponto mais importante ao construir confiança nos sistemas de IA seja garantir a governança de dados com conjuntos de dados limpos, representativos e bem documentados. Como o ditado diz: lixo para dentro, lixo para fora. Portanto, se os dados forem incompletos, tendenciosos ou imprecisos, mesmo o modelo mais avançado produzirá resultados não confiáveis.

Para garantir que os dados estejam prontos para a IA, as empresas devem:

• Auditar os conjuntos de dados existentes para lacunas e duplicações e verificar as fontes de viés

• Padronizar os formatos de dados

• Implementar políticas de governança de dados que definam propriedade e controles de acesso

Outra etapa importante para os líderes empresariais é realizar testes de estresse em diferentes condições. Embora um modelo possa se sair bem em testes controlados, é fundamental entender as limitações do modelo quando confrontado com novos dados ou entradas que ele não esperava. É por isso que é importante testar a IA em uma variedade de situações, com diferentes tipos de usuários, casos de uso variados e dados de diferentes períodos de tempo.

A validação da IA também é uma tarefa contínua. À medida que os dados mudam ao longo do tempo, mesmo os modelos de IA confiáveis podem perder precisão. É por isso que a monitoração regular é importante. As empresas precisam monitorar como o modelo está se saindo dia a dia: ele ainda é preciso? Ou os falsos positivos estão aumentando? E, assim como qualquer sistema que precise de manutenção, os modelos devem ser retreinados regularmente com dados frescos para permanecer relevantes.

A IA não é confiável ou não confiável; ela é moldada pelos dados que aprende, pelas pessoas que a criam e pelas regras que a governam. À medida que a IA se desenvolve de uma ferramenta útil para um conselheiro de negócios, os líderes têm a opção de não apenas usá-la, mas de fazê-lo de maneira pensada e ética. Se fizermos isso corretamente, a IA não apenas será poderosa no futuro, mas também será responsável, com a responsabilidade claramente atribuída ao seu desenvolvedor e supervisores.