Inteligência artificial
COCONUT da Meta: O método de IA que pensa sem linguagem
Quando os investigadores descobriram pela primeira vez que os grandes modelos de linguagem (LLMs) podiam “pensar” passo a passo sugestão de cadeia de pensamento, foi um momento de ruptura – finalmente, pudemos dar uma espiada no processo de raciocínio dessas caixas-pretas. Mas e se eu dissesse que fazer modelos de IA pensarem em linguagem natural pode estar segurando-os?
Foi isso que os pesquisadores da Meta e da UC San Diego descobriram com seus novo método COCONUT (Chain of Continuous Thought).
Imagine tentar resolver um problema matemático complexo enquanto é forçado a narrar cada passo em voz alta. Irritante, certo? Agora você está chegando perto de entender o desafio central que os modelos de linguagem enfrentam.
Quando fazemos modelos de IA raciocinarem por meio de linguagem natural:
- A maioria dos tokens que eles geram são apenas cola linguística – palavras como “portanto”, “próximo” e “consequentemente” que não acrescentam nenhum valor de raciocínio
- Os pontos de decisão críticos ficam obstruídos pela necessidade de se comprometer com palavras específicas
- O modelo gasta um esforço computacional significativo na manutenção da coerência gramatical em vez da resolução real do problema
Os pesquisadores descobriram algo interessante em seus estudos de neuroimagem: quando humanos enfrentam tarefas complexas de raciocínio, os centros de linguagem de nossos cérebros frequentemente permanecem surpreendentemente quietos. No entanto, temos construído sistemas de IA que fazem o oposto – forçando-os a traduzir cada passo do raciocínio em palavras.
Pense em como você resolve um quebra-cabeça. Sua mente provavelmente explora múltiplas possibilidades simultaneamente, mantém hipóteses vagas e apenas cristaliza seus pensamentos em linguagem ao compartilhar a solução. Mas abordagens tradicionais de cadeia de pensamento forçam modelos de IA a verbalizar cada etapa intermediária, criando um “gargalo linguístico”.
Essa percepção levou a uma pergunta convincente: e se pudéssemos deixar os modelos de IA raciocinarem em sua “linguagem” nativa – o espaço contínuo e de alta dimensão de seus estados ocultos – em vez de forçá-los a traduzir tudo em tokens?
Compreendendo a inovação da COCONUT
Imagine a diferença entre falar seus pensamentos em voz alta e o processo mental real acontecendo em seu cérebro. Essa lacuna – entre pensamentos verbalizados e atividade neural – é exatamente o que os pesquisadores da Meta exploraram com COCONUT.
O verdadeiro avanço do COCONUT está em como ele permite que modelos de IA pensem de duas maneiras distintas, muito parecido com o que os humanos fazem. Pense em quando você está resolvendo um quebra-cabeça complexo – você não narra cada movimento possível na sua cabeça, certo? Em vez disso, você:
- Absorva o problema:Você absorve as informações (como ler as regras do quebra-cabeça)
- Pense silenciosamente:Seu cérebro explora múltiplas possibilidades sem colocá-las em palavras
- Compartilhe a solução:Só então você explica seu pensamento aos outros
O COCONUT dá aos modelos de IA essa mesma flexibilidade natural. Em vez de forçá-los a “falar” cada pensamento em voz alta (como os métodos tradicionais fazem), ele os deixa pensar em seu espaço neural natural – o que os pesquisadores chamam de “espaço latente”.
O modelo alterna suavemente entre dois modos:
- Quando precisa entender perguntas ou dar respostas, ele usa linguagem regular
- Mas para o processo de pensamento real? Ele usa padrões neurais puros, livres das restrições das palavras
Imagem: Meta
A jornada de treinamento
Um dos aspectos mais fascinantes do COCONUT é seu currículo de treinamento. O que o torna especial é como ele espelha a progressão natural do aprendizado. Pense em como ensinamos habilidades complexas – você não joga alguém no fundo do poço imediatamente. Você constrói gradualmente, adicionando complexidade à medida que eles dominam cada nível.
Os pesquisadores adotaram exatamente essa abordagem com o COCONUT:
Etapa 1: A Fundação
Primeiro, o modelo aprende como qualquer outra IA – por meio do raciocínio tradicional de cadeia de pensamento. Isso lhe dá uma base sólida de entendimento.
Etapa 2: A Transição
É aqui que fica interessante. Gradualmente, esses passos de raciocínio escritos são substituídos por pensamentos contínuos. Imagine remover lentamente as rodinhas de treinamento, deixando o modelo desenvolver seus próprios padrões internos de pensamento.
Etapa 3: O Equilíbrio
Por fim, o modelo aprende a alternar perfeitamente entre o pensamento profundo no espaço latente e a comunicar seus insights em linguagem clara.
Durante o treinamento, o modelo desenvolveu habilidades que ninguém programou explicitamente – como considerar múltiplos caminhos de raciocínio simultaneamente. Esse comportamento emergente é particularmente empolgante porque sugere que podemos estar nos aproximando de formas mais naturais de raciocínio de IA. São esses desenvolvimentos inesperados que geralmente levam aos maiores avanços.
Lembra daqueles estudos de neuroimagem que mencionei antes? Eles mostraram que os cérebros humanos frequentemente processam tarefas complexas de raciocínio sem envolver fortemente os centros de linguagem. O COCONUT parece estar desenvolvendo padrões semelhantes – pensando profundamente em seu espaço neural nativo e convertendo para a linguagem somente quando necessário para a comunicação.
Os números contam uma história
Mais algumas descobertas importantes se destacam da pesquisa:
- Problemas de matemática com palavras (GSM8k): Aqui, o COCONUT atingiu 34.1% de precisão. Embora isso fique abaixo do Chain-of-Thought tradicional (42.9%), é significativamente melhor do que as abordagens de base.
- Dedução Lógica (ProntoQA): COCONUT atingiu 99.8% de precisão, superando os 98.8% do Chain-of-Thought tradicional. Mas aqui está o problema – ele fez isso usando apenas 9 tokens, em comparação com os 92.5 do CoT.
- Planejamento Complexo (ProsQA): Os resultados mais impressionantes vieram deste teste de raciocínio avançado. O COCONUT atingiu 97% de precisão, enquanto os métodos tradicionais atingiram apenas 77.5%. E, novamente, ele fez isso com eficiência notável – 14.2 tokens versus 49.4.
O que torna esses resultados promissores não são apenas os números brutos – é o que eles revelam sobre diferentes tipos de pensamento. Embora o COCONUT ainda possa estar encontrando seu equilíbrio com o raciocínio matemático, ele se destaca em tarefas que exigem planejamento lógico complexo e dedução.
COCONUT representa uma reformulação fundamental de como os sistemas de IA podem raciocinar, e nos aproxima de formas mais naturais, eficientes e poderosas de inteligência artificial. A jornada do raciocínio baseado em linguagem para o pensamento contínuo é um passo em direção a sistemas de IA mais capazes e eficientes.
