Como a IA Explicável Constrói Confiança e Responsabilidade

As empresas já mergulharam de cabeça na adoção de IA, correndo para implantar chatbots, geradores de conteúdo e ferramentas de apoio à decisão em toda a sua operação. De acordo com a McKinsey, 78% das empresas usam IA em pelo menos uma função de negócios.

A corrida para a implementação é compreensível — todos veem o valor potencial. Mas nessa corrida, muitas organizações ignoram o fato de que todas as tecnologias baseadas em redes neurais, incluindo todos os LLM e sistemas de IA gerativos em uso hoje e no futuro previsível, compartilham uma falha significativa: elas são imprevisíveis e, em última análise, incontroláveis.

Como alguns aprenderam, pode haver consequências reais como resultado. Em um concessionário Chevrolet que havia implantado um chatbot em seu site, um cliente convenceu o bot alimentado pelo ChatGPT a vender um Chevy Tahoe de $58.195 por apenas $1. Outro cliente solicitou que o mesmo chatbot escrevesse um script em Python para equações de dinâmica de fluidos complexas, o que ele fez felizmente. O concessionário desativou os bots após esses incidentes se tornarem virais.

No ano passado, a Air Canada perdeu em um tribunal de pequenas causas quando argumentou que seu chatbot, que deu a um passageiro informações imprecisas sobre um desconto por luto, “é uma entidade legal separada que é responsável por suas próprias ações”.

Essa imprevisibilidade decorre da arquitetura fundamental dos LLMs. Eles são tão grandes e complexos que é impossível entender como eles chegam a respostas específicas ou prever o que eles gerarão até que produzam uma saída. A maioria das organizações está respondendo a esse problema de confiabilidade sem reconhecê-lo totalmente.

A solução de senso comum é verificar os resultados da IA à mão, o que funciona, mas limita drasticamente o potencial da tecnologia. Quando a IA é relegada a ser um assistente pessoal — redigindo textos, registrando atas de reuniões, resumindo documentos e ajudando com codificação —, ela entrega ganhos de produtividade modestos. Não o suficiente para revolucionar a economia.

Os verdadeiros benefícios da IA chegarão quando pararmos de usá-la para auxiliar os trabalhos existentes e, em vez disso, reorganizarmos processos, sistemas e empresas inteiras para usar a IA sem a intervenção humana em cada etapa. Considere o processamento de empréstimos: se um banco der a oficiais de empréstimo um assistente de IA para resumir solicitações, eles podem trabalhar 20-30% mais rápido. Mas implantar a IA para lidar com todo o processo de decisão (com salvaguardas apropriadas) poderia reduzir os custos em mais de 90% e eliminar quase todo o tempo de processamento. Essa é a diferença entre melhoria incremental e transformação.

O caminho para a implementação confiável da IA

Aproveitar todo o potencial da IA sem sucumbir à sua imprevisibilidade exige uma combinação sofisticada de abordagens técnicas e pensamento estratégico. Embora vários métodos atuais ofereçam soluções parciais, cada um tem limitações significativas.

Algumas organizações tentam mitigar problemas de confiabilidade por meio do empurrão do sistema — sutilmente direcionando o comportamento da IA em direções desejadas para que ela responda de maneiras específicas a certas entradas. Pesquisadores da Anthropic demonstraram a fragilidade dessa abordagem, identificando uma “característica da Ponte Golden Gate” na rede neural de Claude e, ao amplificar artificialmente, causaram que Claude desenvolvesse uma crise de identidade. Quando perguntado sobre sua forma física, em vez de reconhecer que não tinha nenhuma, Claude alegou ser a própria Ponte Golden Gate. Esse experimento revelou como facilmente o funcionamento central de um modelo pode ser alterado e que cada empurrão representa uma compensação, potencialmente melhorando um aspecto do desempenho enquanto degrada outros.

Outra abordagem é ter a IA monitorar outras IAs. Embora essa abordagem em camadas possa capturar alguns erros, ela introduz complexidade adicional e ainda não atinge a confiabilidade abrangente. Guardrails codificados são uma intervenção mais direta, como bloquear respostas que contenham certas palavras-chave ou padrões, como ingredientes precursoras de armas. Embora eficazes contra problemas conhecidos, esses guardrails não podem antecipar saídas problemáticas novas que emergem desses sistemas complexos.

Uma abordagem mais eficaz é construir processos centrados em IA que possam funcionar autonomamente, com supervisão humana estrategicamente posicionada para capturar problemas de confiabilidade antes que causem problemas no mundo real. Você não gostaria que a IA aprovasse ou negasse solicitações de empréstimo diretamente, mas a IA poderia conduzir uma avaliação inicial para que operadores humanos revisem. Isso pode funcionar, mas depende da vigilância humana para capturar erros da IA e mina os ganhos de eficiência potenciais do uso da IA.

Construindo para o futuro

Essas soluções parciais apontam para uma abordagem mais abrangente. As organizações que fundamentalmente repensam como seu trabalho é feito, em vez de simplesmente aumentar processos existentes com assistência de IA, obterão a maior vantagem. Mas a IA nunca deve ser a última etapa em um processo ou decisão de alto risco, então qual é o melhor caminho a seguir?

Primeiro, a IA constrói um processo repetível que entregará resultados consistentes de forma confiável e transparente. Em segundo lugar, os humanos revisam o processo para garantir que entendam como ele funciona e que as entradas sejam apropriadas. Finalmente, o processo é executado autonomamente — usando nenhuma IA — com revisão periódica dos resultados por humanos.

Considere a indústria de seguros. A abordagem convencional pode adicionar assistentes de IA para ajudar os processadores de sinistros a trabalhar mais eficientemente. Uma abordagem mais revolucionária usaria a IA para desenvolver novas ferramentas — como visão computacional que analisa fotos de danos ou modelos de detecção de fraude melhorados que identificam padrões suspeitos — e, em seguida, combinaria essas ferramentas em sistemas automatizados governados por regras claras e compreensíveis. Os humanos projetariam e monitorariam esses sistemas, em vez de processar sinistros individuais.

Essa abordagem mantém a supervisão humana no ponto crítico onde mais importa: o design e a validação do sistema em si. Ela permite ganhos de eficiência exponenciais enquanto elimina o risco de que a imprevisibilidade da IA leve a resultados prejudiciais em casos individuais.

Uma IA pode identificar possíveis indicadores de capacidade de pagamento de empréstimo em dados de transações, por exemplo. Especialistas humanos podem, então, avaliar esses indicadores para justiça e construir modelos explícitos e compreensíveis para confirmar seu poder preditivo.

Essa abordagem de IA explicável criará uma divisão mais clara entre organizações que usam a IA superficialmente e aquelas que transformam suas operações em torno dela. As últimas estarão cada vez mais à frente em suas indústrias, capazes de oferecer produtos e serviços em pontos de preço que seus concorrentes não podem igualar.

Ao contrário da IA de caixa preta, os sistemas de IA explicáveis garantem que os humanos mantenham uma supervisão significativa da aplicação da tecnologia, criando um futuro onde a IA aumenta o potencial humano, em vez de simplesmente substituir o trabalho humano.