Por que confiar cegamente na IA pode ser sua pior decisão até agora

Em 1979, uma Manual de Treinamento IBM fez um aviso simples, mas marcante: “Um computador nunca pode ser responsabilizado; portanto, um computador nunca deve tomar uma decisão de gestão.” E mais de 45 anos depois, essa declaração parece uma profecia ignorada.

Em 2025, a IA não apenas auxilia; ela toma decisões autônomas e, em muitos casos, não apenas decide, mas também lidera. De fato, em torno de 74% dos executivos confiam mais na IA para aconselhamento empresarial em comparação com colegas ou amigos, 38% confiam na IA para tomar decisões de negócios por eles e 44% preferem o raciocínio da tecnologia aos seus próprios insights. A mudança é clara: a IA é o novo instinto.

Mas há um problema. A confiança na IA só é possível se o algoritmo for digno de confiança. E quando a confiança é depositada às cegas, especialmente em caixas-pretas que não conseguimos entender ou auditar, é um risco disfarçado de progresso. Assim como na liderança humana, a confiança sem responsabilização é perigosa, e quando a IA erra, quem leva a culpa?

Quando a ferramenta se torna o chefe

O que começou como uma ferramenta para otimizar as operações de back-office agora está sendo usado nos principais processos de negócios. Mas as empresas não estão usando a IA apenas para apoiar decisões humanas; elas agora confiam na IA, especialmente na IA generativa (GenAI), para tomar decisões de negócios, desde estratégias de negócios até atendimento ao cliente, modelagem financeira e muito mais.

Essa mudança é compreensível. A IA não se distrai, não esquece instruções nem deixa que as emoções atrapalhem seu julgamento. Para muitas empresas, isso oferece um antídoto atraente aos riscos de erro humano. No entanto, uma questão fundamental permanece: podemos confiar que a IA será a chefe e tomará decisões de forma independente?

Não é uma resposta direta, mas uma maneira de analisar a questão é como julgamos a confiabilidade das pessoas: por sua competência, confiabilidade e intenção clara. Os mesmos princípios se aplicam à IA.

Para ser confiável, um sistema de IA deve fornecer resultados precisos, oportunos e apropriados. Mas o nível de confiança e a margem de erro variam dependendo do contexto. Por exemplo, ao diagnosticar câncer a partir de imagens médicas, o padrão de falha é extremamente baixo. Por outro lado, ao gerar ideias para uma campanha de marketing, há mais espaço para experimentação.

Vimos a IA ser usada para tomar decisões autônomas em áreas como aprovação de crédito, com bancos utilizando algoritmos para determinar a elegibilidade para empréstimos em segundos. Varejistas usam IA para gerenciar estoque e preços sem intervenção humana. Mas também vimos falhas — como carros autônomos avaliando mal as condições das estradas.

Um exemplo de alerta demonstra os riscos de se confiar demais na IA sem supervisão adequada. Derek Mobley — um homem negro com mais de 40 anos — candidatou-se a mais de 100 vagas por meio do Sistema de contratação baseado em IA do Workday desde 2017 e foi rejeitado todas as vezes. Ele alegou discriminação com base em idade e raça. Em maio de 2025, o tribunal concedeu uma ação coletiva nacional. A ação coletiva inclui todos os candidatos com mais de 40 anos que se inscreveram pelo Workday desde setembro de 2020 e tiveram o pedido negado com base nas recomendações da AI.

Este exemplo aborda um ponto importante: a IA carece de inteligência emocional, raciocínio moral ou um senso natural de justiça. E, como a IA está evoluindo de assistente humano para tomadora de decisões independente, existe agora um vazio de responsabilidade. Quando algoritmos são autorizados a operar sem controles e equilíbrios humanos, eles podem tomar decisões ruins e reforçam vieses existentes.

A questão em torno das caixas-pretas

Caixas pretas— quando o sistema e a lógica de uma IA não são totalmente visíveis — são cada vez mais comuns. Embora possam ter camadas visíveis, desenvolvedores e usuários ainda não conseguem ver o que acontece em cada camada, tornando-as opacas.

Por exemplo, o ChatGPT é uma caixa preta, pois até mesmo seus criadores são não tenho certeza de como funciona, já que é treinado em conjuntos de dados tão grandes. Mas, devido à falta de transparência, é aceitável "confiar" em um modelo de IA sem entender completamente como ele funciona?

Em suma, não: alucinações de IA estão piorando. Isso significa que, em cenários de alto risco, como decisões financeiras, aconselhamento jurídico e insights médicos, a IA exige validação rigorosa, referências cruzadas e supervisão humana.

A Processo judicial da Disney e da Universal O caso, apresentado em junho de 2025, reforça esse ponto. Os estúdios alegam que as ferramentas da GenAI foram treinadas com materiais protegidos por direitos autorais para criar novos conteúdos sem consentimento. Este caso destaca uma nova realidade: quando as empresas implementam modelos de IA que não compreendem completamente, podem ser responsabilizadas pelas decisões tomadas. E ignorância não é defesa; é uma responsabilidade.

No entanto, frequentemente confiamos em sistemas complexos que não compreendemos. Por exemplo, a maioria dos passageiros de viagens aéreas não consegue explicar a física do voo, mas as pessoas embarcam com confiança porque construímos confiança por meio de exposição repetida, experiência coletiva e um sólido histórico de segurança.

A mesma lógica pode ser aplicada à IA. Não é razoável esperar que todos entendam como os LLMs realmente funcionam. Mas a confiança não se constrói com base na compreensão; ela requer familiaridade, transparência sobre as limitações e um padrão comprovado de desempenho confiável. Engenheiros aeroespaciais sabem quais testes implementar e como os erros se apresentam, e devemos exigir o mesmo dos provedores de GenAI. O princípio fundamental da IA ​​deve ser a confiança, mas a verificação.

Além disso, líderes empresariais frequentemente acreditam que a IA será a solução mágica para todos os seus problemas de negócios. No entanto, esse mito atormenta muitas empresas ao integrar a IA. Os líderes podem preferir modelos complexos e sofisticados, mas uma solução mais simples pode ser mais adequada se realizarem uma análise de custo-benefício. A IA é uma ferramenta poderosa, mas não é adequada para todas as tarefas. As empresas precisam reconhecer o problema antes de selecionar uma ferramenta.

Reconstruindo a confiança na IA

Embora esteja claro que confiar cegamente na IA seja um problema, os sistemas e algoritmos de IA podem ser a melhor ferramenta que uma empresa já teve, quando usados ​​com segurança.

Para empresas que buscam alavancar ferramentas de IA, a primeira coisa a pesquisar é a due diligence do fornecedor. Quando uma empresa identifica uma área que pode se beneficiar da eficiência da IA, os líderes empresariais devem avaliar os fornecedores não apenas com base nas declarações de desempenho, mas também nos controles de governança. Isso inclui revisar como os modelos são desenvolvidos, se ferramentas de explicabilidade estão implementadas, como o viés é monitorado e se trilhas de auditoria estão disponíveis. Escolher um fornecedor com processos transparentes é essencial para mitigar riscos desde o início.

Talvez o ponto mais importante ao construir confiança em sistemas de IA seja garantir a governança de dados com conjuntos de dados limpos, representativos e bem documentados. Como diz o ditado: entra lixo, sai lixo. Portanto, se os dados estiverem incompletos, tendenciosos ou imprecisos, mesmo o modelo mais avançado produzirá resultados não confiáveis.

Para garantir que os dados estejam prontos para IA, as empresas devem:

• Auditar conjuntos de dados existentes para verificar lacunas e duplicações e verificar fontes de viés

• Padronizar formatos de dados

• Implementar políticas de governança de dados que definam controles de propriedade e acesso

Outra etapa fundamental que os líderes empresariais devem realizar é o teste de estresse sob diferentes condições. Embora um modelo possa ter um bom desempenho em testes controlados, é fundamental entender suas limitações quando confrontado com novos dados ou entradas inesperadas. Por isso, é importante testar a IA em diversas situações, com diferentes tipos de usuários, diversos casos de uso e dados de diferentes períodos.

A validação de IA também é uma tarefa contínua. À medida que os dados mudam ao longo do tempo, até mesmo modelos de IA confiáveis ​​podem perder precisão. É por isso que o monitoramento regular é importante. As empresas precisam monitorar o desempenho do modelo diariamente: ele ainda é preciso? Ou os falsos positivos estão surgindo? E, assim como qualquer sistema que precisa de manutenção, os modelos devem ser retreinados regularmente com dados atualizados para permanecerem relevantes.

A IA não é confiável ou não confiável; ela é moldada pelos dados com os quais aprende, pelas pessoas que a criam e pelas regras que a regem. À medida que a IA evolui de uma ferramenta útil para um consultor de negócios, os líderes têm a opção não apenas de usá-la, mas também de fazê-lo de forma consciente e ética. Se fizermos isso corretamente, a IA não só será poderosa no futuro, como também será responsável, com a responsabilidade claramente atribuída ao seu desenvolvedor e supervisores.