IA Não Está Pronta para o Trabalho Real: Por que os Modelos Falham em Tarefas Complexas

Investidores na bolha da IA imploram aos profissionais de colarinho branco que entreguem seus problemas mais difíceis e prometem aos trabalhadores que eles terão suas tardes de volta se cederem um pouco mais de seus dados. Análises complexas, decisões de julgamento e os fluxos de trabalho que levaram anos para ser desenvolvidos são absorvidos por um modelo, supostamente libertando os humanos para algo melhor. Essa é a narrativa dominante na América corporativa atualmente, e é uma armadilha.

O Mito da Capacidade: Por que os Modelos Falham em Tarefas Complexas

Um novo estudo da UC Berkeley testou agentes de IA avançados em tarefas profissionais do mundo real em 55 indústrias, de saúde a finanças e direito. O desempenho geral ficou abaixo de 25 %. Em seguida, os pesquisadores isolaram a tarefa mais difícil em cada área – o tipo de trabalho que diferencia um profissional sênior de um júnior – e todos os modelos falharam. As pontuações não foram apenas baixas. Elas foram zero. 

Você poderia pensar que um resultado assim teria mudado a narrativa por si só, mas não mudou. Em todos os setores, os investidores em IA têm muito em jogo ao convencer os profissionais de que a maioria dos modelos de IA atuais está mais avançada do que realmente está. Mas a questão mais interessante não é se a IA pode fazer as partes mais difíceis de um trabalho hoje, porque nós, e todos que vendem IA, já sabemos a resposta.

Então, isso leva a outra pergunta. O que acontece com o julgamento de um jovem profissional quando ele aceita essa troca de dados, antes que seu próprio raciocínio esteja totalmente formado?

Os Resultados de Minnesota: Como a IA Achata a Habilidade para o Meio

Um novo estudo empírico da Faculdade de Direito da Universidade de Minnesota oferece uma resposta real, usando o direito como caso de teste. Os pesquisadores fizeram cerca de cem estudantes avançados de direito passarem por uma sequência de tarefas realistas: sintetizar o direito a partir de material fonte bruto, responder a perguntas de livro fechado para testar o que absorveram, aplicar esse direito a um padrão factual e, então, revisar seu próprio trabalho. Um grupo teve acesso à IA apenas nas etapas muito iniciais e muito finais. O outro não teve IA até o final.

Estudantes que usaram IA para elaborar seu primeiro rascunho produziram trabalhos mais robustos e mais rapidamente, o que não é totalmente notável. O que é notável, porém, é o que aconteceu depois. Os pesquisadores esperavam que o uso precoce de IA criasse uma lacuna de compreensão que se manifestaria mais tarde quando a ferramenta fosse retirada. Mas isso não aconteceu. Estudantes que usaram IA para sintetizar o direito entenderam‑no melhor do que os que trabalharam sem ela, quando testados a frio. O raciocínio independente não se deteriorou. Ele se manteve e, em alguns casos, melhorou.

A reviravolta ocorreu na fase final, quando todos os estudantes tinham IA disponível para revisar seus trabalhos. Estudantes que começaram com um memorando mais fraco usaram esse acesso para realmente melhorá‑lo. Aqueles que começaram com um memorando mais forte pioraram. Deixados sozinhos com uma ferramenta capaz e sem mais estrutura sobre como utilizá‑la, a habilidade não se acumulou, mas se achou em direção ao meio.

Esses dois estudos juntos revelam uma verdade contundente: a IA não substitui o julgamento profissional, e os números de Berkeley deveriam encerrar essa discussão de forma definitiva. Mas a IA também não é uma força corrosiva que corrói o raciocínio ao contato. Seu efeito depende inteiramente de onde ela aparece no processo.

Sequenciamento Sobre Substituição: Mantendo o Julgamento no Núcleo

Isso se aplica fora da prática jurídica. Cada profissão do conhecimento está conduzindo sua própria versão desse experimento agora: o médico decidindo se permite que um modelo elabore um diagnóstico diferencial, o analista decidindo se permite que um modelo construa a primeira versão de um modelo, e o associado decidindo se permite que um modelo estruture um argumento antes de desenvolvê‑lo por conta própria. Os resultados de Minnesota sugerem que a resposta não é um sim ou não genérico para todas as formas de IA. É uma questão de sequenciamento. A IA deve ficar na fase inicial do trabalho mecânico e nas partes de um trabalho que geram atrito, mas não no julgamento. Ela não deve estar no centro da tarefa que o cliente realmente paga, e neste momento não pode chegar lá mesmo que tentasse.

As empresas que ainda prometem o contrário estão vendendo uma versão de IA que os dados dizem não existir. Aqueles que construírem seus produtos e seus relacionamentos com clientes em torno da linha que a pesquisa realmente traça serão os que os profissionais ainda confiarão em cinco anos. Todos os demais vão passar esse tempo explicando um mal‑entendido muito caro.