A IA está ficando mais inteligente; manter a coerência está ficando mais difícil

Passei toda a minha carreira tentando entender a inteligência. Estudei neurociência porque me interessava por IA e achei que aprender primeiro como o cérebro funciona seria uma boa maneira de começar. Primeiro, a inteligência; depois, a inteligência “artificial”. Essa formação me deixou com um hábito. Quando surge uma nova capacidade ou tecnologia, minha primeira pergunta é prática: o que ela realmente pode fazer e para que tipos de problemas do mundo real?

Como alguém da área de IA, raramente comemoro manchetes sobre IA. Vou além do ruído para entender não apenas os avanços, mas também os limites das novas capacidades.

De ferramentas corriqueiras à confiabilidade em jogo

Em 2020, quando o debate sobre segurança da IA estava tomado pelo entusiasmo exagerado, dei um conselho simples. Trate a IA como uma ferramenta — poderosa, mas ainda assim uma ferramenta. Prefira os casos de uso menos empolgantes. Trabalhe no nível das tarefas, em que a tecnologia era confiável o bastante para ajudar. Meu cenário otimista era o de ferramentas corriqueiras, mas úteis.

Quando a onda dos sistemas agênticos começou a ganhar força, alguns anos depois, adotei a mesma perspectiva e continuei pouco convencido. Um sistema agêntico só é tão forte quanto as tarefas que o sustentam, e eu ainda não tinha visto a confiabilidade no nível das tarefas necessária para que esses sistemas fossem eficazes.

Ainda assim, o entusiasmo exagerado crescia. Quando participei da RSA no início do ano passado, a distância entre o discurso e a substância continuava difícil de ignorar. Nem sequer havia um entendimento comum sobre o que significava “agêntico”; cada pessoa tinha uma definição e uma perspectiva diferentes. E eu me preocupava com um problema estrutural. Imagine dez agentes, cada um com cerca de 95% de precisão. Encadeie-os de modo que a saída de um se torne a entrada do seguinte. Ao fim dessa cadeia, a precisão cai para cerca de 60%. A confiabilidade não resiste ao acúmulo de etapas. Naquela época, eu já começava a pensar em sistemas de agentes, embora minha preocupação ainda fosse saber se eles poderiam ser confiáveis no trabalho e fazer uma diferença significativa.

Então, os rápidos avanços dos agentes de programação me fizeram mudar de ideia.

Poucos meses depois de meu artigo sobre o tema, o ritmo extraordinário do progresso deixou uma coisa clara para mim: era apenas uma questão de tempo até que a confiabilidade fosse alcançada em várias tarefas do mundo real. Modelos melhores, com estruturas de engenharia mais robustas desenvolvidas em torno deles, reduziriam a diferença que me preocupava. O limite que eu temia seria superado.

Foi então que o verdadeiro problema ficou claro — e não era aquele que eu vinha observando. Quando se pode confiar nos agentes individualmente, não se para depois de implantar o primeiro. Implantam-se muitos. Frotas deles, em todas as áreas, cada um capaz e cada um cumprindo sua função. E surgiu uma nova pergunta, sem relação com a confiabilidade: se cada agente da frota faz aquilo para o qual foi criado, a frota como um todo ainda corresponde ao que a organização pretendia?

A necessidade de propriocepção organizacional

Um corpo com membros capazes não consegue se movimentar bem sem propriocepção: a percepção interna constante da posição de cada parte do corpo e do que ela está fazendo. O cerebelo faz mais do que reagir a esse retorno. Ele prevê. Quando o cérebro emite um comando de movimento, forma uma expectativa sobre a sensação que esse movimento deve produzir e, em seguida, compara essa expectativa com o que de fato acontece. A diferença entre os dois é o sinal que corrige o que vem depois. O movimento habilidoso é um ciclo de previsão do resultado e correção da diferença.

Uma organização que opera frotas de agentes precisa ter a mesma percepção de si própria. Precisa saber, continuamente, onde estão seus sistemas e o quanto se desviaram do estado pretendido. Sem essa percepção interna, partes capazes não se combinam para produzir uma ação coordenada. Não se trata de um mecanismo de percepção que se acrescenta depois ao corpo para torná-lo mais seguro. Ele é necessário para que o corpo consiga se mover.

Há um caso bastante estudado de um homem chamado Ian Waterman que perdeu essa percepção na maior parte do corpo. Ele aprendeu a se movimentar novamente, mas apenas observando a si mesmo e guiando cada passo e cada movimento de alcance com os olhos. Funciona. Mas também é exaustivo e frágil. Apague as luzes e ele não consegue coordenar os movimentos. Uma organização que supervisiona seus agentes por meio de auditorias manuais e revisões periódicas está na mesma situação. Ela compensa, com esforço constante, a falta de uma percepção que nunca incorporou — e essa compensação custa mais do que aquilo que substitui. Todo o sistema desmorona assim que as condições mudam.

Há outra falha ainda mais peculiar que vale a pena mencionar, descrita em um livro fascinante do neurocientista V S Ramachandran. Quando um membro é amputado, o cérebro não fica em silêncio. Continua gerando sinais para o membro ausente, e a pessoa os sente com vividez. A governança pode falhar da mesma maneira. Retire o discernimento genuíno de uma função de supervisão, por meio de uma reestruturação ou de negligência, e essa função não ficará inativa. As revisões continuarão sendo concluídas, e as métricas continuarão sendo produzidas. A organização continuará tendo a sensação de estar sendo supervisionada, embora o discernimento que deveria sustentá-la tenha sido esvaziado. Aqui, volto ao conselho que dei em 2020 sobre transparência. Não há supervisão sem transparência, e não há transparência em um sistema que apenas produz a aparência de estar sendo monitorado.

A coerência como recurso escasso

A inteligência está ficando mais barata. Em breve, estará presente em todos os fluxos de trabalho e em todas as ferramentas. Nesse mundo, o recurso escasso é a coerência: o elo vivo entre o que cada sistema faz por conta própria e aquilo que a empresa busca alcançar. A coerência é o tecido conectivo que mantém a inteligência distribuída alinhada a um único propósito.

Passei anos estudando como um cérebro mantém suas muitas partes trabalhando como uma só. A era agêntica faz a mesma pergunta à empresa. O objetivo não mudou desde 2020. Ainda é algo tedioso, mas útil. Agora, o que vale a pena construir, embora seja tedioso, é a própria coerência.