Interação Máquina-Humana: O Problema do “Último Quilômetro” que Está Segurando o Avanço da Inteligência Artificial Empresarial

Até muito recentemente, as conversas nas salas de diretoria sobre inteligência artificial (IA) giravam em torno dos próprios modelos. Qual é a precisão da saída? Quão limpo foi o conjunto de dados de treinamento? Como podemos reduzir o viés? Estão os hallucinações sob controle? Essas perguntas ainda importam, claro, mas a saída não é mais a única coisa que os conselhos e acionistas estão prestando atenção. Em vez disso, eles estão se tornando interessados em algo que é muito mais difícil de medir – se os sistemas de IA estão realmente funcionando com pessoas de forma eficaz em interações diárias.

Isso é parte do motivo pelo qual a IBM recentemente se viu enfrentando uma proposta de acionista que exigia maior transparência sobre como a empresa gerencia o viés e a governança da IA. A proposta se concentrou especificamente na mitigação do viés, mas a lição mais ampla foi que, à medida que a IA se torna mais profundamente incorporada nos processos de tomada de decisão, ela está sendo julgada com base em sua responsabilidade operacional e resultados de negócios mensuráveis, em vez de seu nível básico de capacidade.

O que estou vendo nas conversas com empresas é que muito poucas pessoas ainda estão debatendo se os modelos em si são capazes. A maioria das organizações já sabe que esses sistemas podem gerar saídas, automatizar fluxos de trabalho e surfacear insights a uma velocidade extraordinária. A pergunta mais difícil é se tudo isso está consistentemente melhorando os resultados dentro da empresa. Os funcionários estão realmente usando esses sistemas de forma significativa? Eles confiam nas recomendações que estão recebendo? As decisões estão se tornando mais claras, rápidas ou consistentes? Ou as organizações estão simplesmente gerando mais conteúdo, mais análise e mais ruído sem mudar a forma como as pessoas operam? A lacuna entre a capacidade da IA e a adoção humana é o que considero o “último quilômetro” da IA empresarial. É onde o ROI, a confiança, a responsabilidade e a consistência operacional convergem, e é onde muitas implantações começam a estagnar.

A capacidade não é o gargalo – o contexto humano é

A própria proposta de acionista da IBM se concentrou no viés, uma preocupação familiar e crescente na indústria. A resolução pediu à IBM que produzisse relatórios adicionais sobre os métodos que usa para identificar e mitigar o viés em seus modelos de IA, incluindo os riscos potenciais associados a esses esforços de mitigação. A IBM se opôs, argumentando que grande parte dessas informações já estava disponível publicamente por meio de cartões de modelo, documentação de governança, relatórios de transparência e submissões ao Foundation Model Transparency Index da Stanford. A maioria dos observadores reconheceu que a IBM fez mais do que muitos fornecedores para operacionalizar práticas de IA responsáveis, enquanto também reconhecia que a governança e o viés permanecem como desafios não resolvidos em toda a indústria.

O que me interessa não é se a resposta da IBM estava certa ou errada. É o que toda a situação diz sobre para onde as conversas de IA empresarial estão indo. Os conselhos de administração têm, em grande parte, entrado em uma nova fase de avaliação da IA, focada na qualidade da decisão, no impacto operacional, na confiança do funcionário e na adoção de longo prazo dentro da empresa.

Aqui é onde uma lente de neurociência me leva a uma conclusão diferente da maioria das conversas atuais sobre IA empresarial. Os seres humanos não são máquinas racionais de entrada-saída. Abordamos decisões com atenção finita, confiança flutuante, sobrecarga cognitiva e intenção constantemente mudando. Quando as interações parecem lentas, quando respostas prontas perdem o que realmente queríamos dizer, ou quando as pessoas têm que lutar contra o sistema para chegar a algo útil, o engajamento desmorona muito antes de as métricas de adoção capturarem. O risco de alucinação, a inconsistência e o viés simplesmente exacerbam o problema, criando fricção dentro dos fluxos de trabalho que originalmente destinavam a melhorar a produtividade e a tomada de decisão. Esse “último quilômetro” é o que a maioria das organizações ainda subestima: o valor da IA não é criado quando um modelo gera uma resposta, mas quando ele entrega a resposta certa no momento certo e os humanos podem confiar nela o suficiente para agir com base no que ela produz.

Por que estamos ignorando o verdadeiro “humano no loop” – o usuário?

Estamos ouvindo muito recentemente sobre “humano no loop” e a importância de ter um humano presente para aprovar a saída impulsionada pela IA. Mas e se o humano mais importante – o usuário – não estiver sendo propriamente compreendido? A interação humano-humano é complexa e multifacetada, mas o motivo pelo qual a comunicação direta funciona tão bem é porque nenhuma nuances são perdidas. Se alguém hesita, perde a confiança, se torna frustrado ou confuso, ou sua intenção muda, isso se reflete durante uma interação e a conversa muda de acordo. A maioria dos sistemas de IA ainda luta para reconhecer esses sinais porque estão mais ou menos “nos trilhos” ao responder apenas ao último prompt do usuário.

Na minha visão, isso está se tornando uma das limitações definidoras das atuais implantações de IA empresarial. Construímos sistemas que são excepcionalmente bons em gerar informações, enquanto permanecem limitados em sua capacidade de reconhecer se essa informação está ajudando alguém a tomar decisões melhores.

Uma organização pode implantar ferramentas de IA empresarial para milhares de funcionários e ainda falhar em alcançar um alinhamento significativo em como esses sistemas estão sendo usados. Estruturas como o NIST AI Risk Management Framework, ISO/IEC 42001 e o Ato de IA da UE estão impulsionando as organizações em direção a uma maior maturidade de governança e responsabilidade operacional. No entanto, a governança no papel só vai até certo ponto se o engajamento dos funcionários com a IA permanecer fragmentado. Se diferentes equipes confiam e usam a IA de maneiras completamente diferentes, medir o ROI consistentemente se torna quase impossível, e esse é um problema que nenhuma quantidade de prompts pode resolver.

O custo da sobrecarga de IA

Agora estamos entrando em uma fase em que a IA está se tornando completamente onipresente dentro dos fluxos de trabalho de IA. Há copilotos incorporados em conjuntos de produtividade, resumos de reuniões gerados por IA chegando após cada chamada, painéis exibindo insights preditivos em tempo real, motores de recomendação alimentando funcionários com sugestões constantes e análise automatizada aparecendo mais rápido do que a maioria das equipes pode processar realisticamente. No papel, isso parece progresso – as empresas estão produzindo mais informações do que nunca. No entanto, a ciência cognitiva tem sido clara sobre isso por décadas: mais informações não produzem automaticamente melhores decisões.

As pessoas só podem absorver tanta informação antes que a sobrecarga comece a se instalar. Muitas recomendações criam hesitação. Muitos alertas se tornam ruído de fundo. Muitas opções geradas por IA podem deixar os funcionários duvidando em vez de agir com confiança. O que é interessante é que os sistemas de IA estão se tornando excepcionalmente bons em produzir informações, enquanto permanecem relativamente pobres em entender como os humanos recebem, interpretam e respondem a essas informações no contexto. Os conselhos de administração não se importam com quantos resumos, recomendações ou insights gerados por IA um sistema pode produzir. Eles se importam se as decisões estão se tornando mais claras e confiáveis em toda a empresa.

A IA entrou em sua fase de responsabilidade

A proposta de acionista da IBM pode ter surgido de preocupações sobre o viés, mas acho que reflete algo muito mais amplo que está acontecendo em toda a IA empresarial. A novidade da IA passou, e as empresas que buscam um retorno sólido sobre seu investimento em IA não podem mais se concentrar apenas na capacidade do modelo. A tecnologia provou a si mesma, mas agora precisa de uma medida de responsabilidade. Os funcionários estão usando consistentemente esses sistemas? As decisões estão melhorando? A confiança e o engajamento estão aumentando com o tempo, ou gradualmente se erodindo? À medida que a IA se torna mais incorporada nos fluxos de trabalho diários, a próxima geração de sistemas pode precisar se tornar muito mais consciente do comportamento humano, atenção, confiança e intenção se as empresas quiserem adoção sustentada e ROI mensurável. Até lá, o último quilômetro provavelmente permanecerá como um dos maiores desafios na adoção da IA empresarial.