Habilidades de Raciocínio Analógico da IA: Desafiando a Inteligência Humana?

O raciocínio analógico, a capacidade única que os humanos possuem para resolver problemas desconhecidos traçando paralelos com problemas conhecidos, sempre foi considerado uma função cognitiva humana distinta. No entanto, um estudo pioneiro realizado por psicólogos da UCLA apresenta descobertas convincentes que podem nos levar a repensar isso.

GPT-3: Iguais às Habilidades Humanas?

A pesquisa da UCLA descobriu que o GPT-3, um modelo de linguagem de IA desenvolvido pela OpenAI, demonstra capacidades de raciocínio quase equivalentes às de estudantes universitários, especialmente quando solicitado a resolver problemas semelhantes aos encontrados em testes de inteligência e exames padronizados como o SAT. Essa revelação, publicada na revista Comportamento Humano da Natureza, levanta uma pergunta intrigante: O GPT-3 emula o raciocínio humano devido ao seu extenso conjunto de dados de treinamento de linguagem, ou está aproveitando um processo cognitivo completamente novo?

O funcionamento exato do GPT-3 permanece oculto pela OpenAI, deixando os pesquisadores da UCLA curiosos sobre o mecanismo por trás de suas habilidades de raciocínio analógico. Apesar do desempenho louvável do GPT-3 em certas tarefas de raciocínio, a ferramenta não está isenta de falhas. Taylor Webb, o autor principal do estudo e pesquisador pós-doutoral da UCLA, observou: “Embora nossas descobertas sejam impressionantes, é essencial enfatizar que esse sistema tem restrições significativas. O GPT-3 pode realizar raciocínio analógico, mas luta com tarefas triviais para humanos, como usar ferramentas para uma tarefa física.”

As capacidades do GPT-3 foram testadas usando problemas inspirados nas Matrizes Progressivas de Raven – um teste que envolve sequências de formas intricadas. Ao converter imagens em um formato de texto que o GPT-3 pudesse decifrar, Webb assegurou que esses fossem desafios completamente novos para a IA. Quando comparado a 40 estudantes universitários da UCLA, não apenas o GPT-3 igualou o desempenho humano, mas também espelhou os erros que os humanos cometeram. O modelo de IA resolveu corretamente 80% dos problemas, excedendo a pontuação média humana, mas caindo dentro da faixa dos principais performers humanos.

A equipe também testou a habilidade do GPT-3 usando questões de analogia não publicadas do SAT, com a IA superando a média humana. No entanto, ela vacilou ligeiramente ao tentar traçar analogias a partir de histórias curtas, embora o modelo GPT-4 mais recente tenha mostrado resultados melhorados.

Pontes sobre a Divisão Cognitiva entre IA e Humanos

Os pesquisadores da UCLA não param em meras comparações. Eles embarcaram no desenvolvimento de um modelo de computador inspirado na cognição humana, constantemente comparando suas habilidades com modelos de IA comerciais. Keith Holyoak, professor de psicologia da UCLA e coautor, comentou: “Nosso modelo de IA psicológico superou os outros em problemas de analogia até a última atualização do GPT-3, que exibiu capacidades superiores ou equivalentes.”

No entanto, a equipe identificou certas áreas onde o GPT-3 ficou aquém, especialmente em tarefas que exigem compreensão do espaço físico. Em desafios que envolvem o uso de ferramentas, as soluções do GPT-3 estavam marcadamente erradas.

Hongjing Lu, o autor sênior do estudo, expressou admiração pelos saltos na tecnologia nos últimos dois anos, particularmente na capacidade de raciocínio da IA. Mas, se esses modelos realmente “pensam” como humanos ou simplesmente imitam o pensamento humano, ainda é um tópico de debate. A busca por insights nos processos cognitivos da IA exige acesso ao backend dos modelos de IA, um salto que pode moldar a trajetória futura da IA.

Ecoando o sentimento, Webb conclui: “O acesso ao backend dos modelos GPT beneficiaria imensamente os pesquisadores de IA e cognição. Atualmente, estamos limitados a entradas e saídas, e isso carece da profundidade decisiva que aspiramos.”