Como Eu Transfiri Meu Conhecimento para Sistemas de IA que Podem Realmente Tomar Decisões como Especialistas Humanos

Quando eu deixei a Microsoft e continuei trabalhando com empresas em suas implantações de IA, eu continuei vendo que a maioria dos sistemas de IA que as pessoas estavam animadas não podiam realmente tomar decisões com julgamento humano verdadeiro. Claro, eles podiam escrever, resumir e produzir textos fluentes que soavam como decisões, mas quando você coloca esses sistemas em um ambiente operacional real, onde há compromissos, incertezas, instruções incompletas e consequências reais, eles lutam rapidamente. Isso coincide com os dados do Projeto NANDA do MIT, que mostram que, embora 60% das organizações avaliassem ferramentas de IA, apenas 20% alcançaram a fase de teste e apenas 5% alcançaram a produção. Em outras palavras, a indústria está lutando para construir sistemas que possam realmente se manter dentro de fluxos de trabalho reais.

Em ambientes empresariais, especialmente em áreas como cadeia de suprimentos, manufatura e operações, obter uma resposta não é difícil; é saber qual resposta confiar, quais variáveis são mais importantes e o que provavelmente quebrará a jusante se você estiver errado. Em meus olhos, isso é um problema de expertise e julgamento.

Para ser claro, a IA fez avanços extraordinários na produção de melhores saídas. Mas uma melhor saída não é a mesma coisa que uma melhor decisão. Esses são dois marcos distintos, e acho que a indústria gastou muito tempo tratando-os como intercambiáveis.

A falta de expertise e julgamento é o motivo pelo qual me interessei em construir IA que especialistas humanos possam ensinar a tomar decisões complexas da mesma forma que eles. A IA não deve ser apenas sobre automatizar tarefas, mas sobre transferir efetivamente e com segurança o julgamento humano para a IA que se mantém.

Modelos de linguagem grande (LLMs) falam como tomadores de decisões, mas não são

Não há dúvida de que os LLMs são úteis, mas eles não são, por padrão, sistemas de tomada de decisões. Eles são sistemas de previsão envoltos em linguagem. E a linguagem é persuasiva, o que é parte do problema. Se um sistema pode se explicar fluentemente, superestimamos facilmente o que ele entende. Você pergunta a ele uma pergunta de negócios, ele dá uma resposta estruturada com compromissos, ressalvas e um resumo no final, fazendo com que pareça mais inteligente do que é. Soar coerente e ser competente operacionalmente não são a mesma coisa, e é aqui que muita IA empresarial quebra. Os modelos podem dizer a você como uma boa decisão soa sem ter nenhum entendimento do que torna uma decisão boa sob pressão, ao longo do tempo ou no contexto. Isso é uma das razões pelas quais muitas organizações lutam para ir além da experimentação. A Gartner encontrou que pelo menos 50% dos projetos de IA geradora são abandonados após provas de conceito, muito antes de entregarem um impacto operacional real, frequentemente devido a valor e controles de risco não claros.

Informação não é a mesma coisa que expertise

Uma das armadilhas mais fáceis de cair com a IA é supor que, se um sistema tiver informações suficientes, ele deve ser capaz de se comportar como um especialista. Soa razoável, mas quando você pensa sobre isso em nossas vidas cotidianas, aumentar nossas informações sobre algo não nos torna automaticamente especialistas. Você pode ler todos os manuais de aviação e ainda não estar pronto para pousar um avião. Você pode memorizar as melhores práticas da cadeia de suprimentos e ainda congelar quando três coisas dão errado ao mesmo tempo.

Eu poderia continuar, mas o ponto é que a informação não se equipara à capacidade. A capacidade vem da experiência, especificamente, da exposição repetida a situações confusas onde a resposta não é óbvia.

Todo dia, eu vejo que a maioria dos sistemas de IA de hoje é treinada em exemplos estáticos. Isso é útil para fazer previsões, mas é apenas uma pequena parte da tomada de decisões. As empresas não carecem de dados per se, mas precisam de ambientes estruturados para prática, o que significa dar aos sistemas ambientes onde eles possam repetidamente:

• Encontrar cenários realistas
• Fazer escolhas
• Ver o que acontece
• Receber feedback
• Melhorar com o tempo

A IA pode ser treinada usando algoritmos preditivos, mas essa abordagem tem limitações. O que é necessário em seguida é uma IA que possa ser treinada em um ambiente simulado com supervisão humana. Eu chamo isso de ensino de máquina, uma metodologia que divide decisões complexas em cenários e habilidades, fornecendo um guia para especialistas humanos ensinarem a IA por simulação. O feedback e o erro resultantes eventualmente permitem que os agentes aprendam e ajam com autonomia real diretamente das pessoas que construíram esses processos.

Pare de tratar a IA como um monólito

Outro erro que eu vejo muito é a suposição de que um grande modelo deve fazer tudo. Nenhuma equipe de basquete é composta por apenas uma pessoa. Nenhuma fábrica é operada por um indivíduo. Sistemas complexos funcionam porque componentes diferentes fazem trabalhos diferentes, e há uma estrutura que os mantém juntos.

A IA deve ser construída da mesma forma. Eu não acho que o futuro da tomada de decisões empresariais seja um grande modelo sentado no meio da empresa fingindo ser universalmente competente. É muito mais provável que pareça com equipes de agentes especializados.

Um agente pode ser um especialista em recuperação de dados. Outro é melhor em avaliar cenários. Outro lida com planejamento. Um verifica conformidade ou pega contradições. Outro age mais como um supervisor, decidindo quando escalar ou quando a confiança é muito baixa para prosseguir. A arquitetura de equipe faz muito mais sentido para mim porque mapeia para como as organizações reais realmente funcionam e se alinha com tendências de mercado mais amplas. As descobertas da McKinsey reforçam que as organizações obtêm o maior valor da IA redesenhando fluxos de trabalho e estruturas operacionais em torno dela.

Não todas as decisões são tomadas da mesma forma, e muitas vezes assumimos que o mesmo modelo, os mesmos dados e o mesmo tipo de raciocínio podem lidar com todas elas. Na realidade, diferentes decisões exigem diferentes mecanismos.

As quatro maneiras pelas quais as decisões realmente acontecem

Na minha experiência, a maioria das decisões tende a cair em algumas categorias:

1. Sistemas de controle (regras e fórmulas): Decisões são tomadas aplicando equações ou regras predefinidas a entradas conhecidas. Se X acontecer, faça Y.
2. Pesquisa e otimização: Decisões são tomadas avaliando muitas opções possíveis e selecionando a melhor com base em um objetivo definido.
3. Aprendizado por reforço (tentativa e erro): Decisões são aprendidas com o tempo, tomando ações, observando resultados e ajustando com base em recompensa ou penalidade.
4. Prática e experiência (aprendizado humano): Decisões são moldadas por exposição repetida, feedback orientado e julgamento acumulado em cenários do mundo real.

A maioria da IA empresarial se sai bem nas duas primeiras categorias. As terceira e quarta categorias são mais desafiadoras para a IA, porque é onde o julgamento humano vive.

Autonomia sem estrutura é risco

Sempre que as pessoas falam sobre IA autônoma, a conversa tende a se dividir em dois extremos. Um lado acha que os sistemas são basicamente mágicos e prontos para executar tudo. O outro lado age como se nunca devessem ser confiáveis com algo significativo.

Eu não acho que nenhuma das visões seja útil. Devemos nos concentrar na autonomia dentro da estrutura, porque a autonomia sem supervisão, lógica de escalonamento, limites ou responsabilidade é a principal fonte de risco. Preocupações de risco estão aparecendo mais agora, também, incluindo em conversas moldadas por esforços como o Quadro de Gerenciamento de Risco de IA do Instituto Nacional de Padrões e Tecnologia, que reflete como as organizações estão levando a sério questões de supervisão, responsabilidade e confiança operacional.

O futuro da IA empresarial está em equipes de agentes. As organizações que obtêm o maior valor da IA não serão as que automatizam as palavras mais. Elas são as que descobrem como transferir expertise real para sistemas que possam se manter quando o ambiente fica confuso. Isso, em minha opinião, é a diferença entre a IA que parece impressionante e a IA que se torna genuinamente útil, produzindo ROI real.