Habilidades de Raciocínio Analógico da IA: Desafiando a Inteligência Humana?

O raciocínio analógico, a habilidade única que os humanos possuem para resolver problemas desconhecidos traçando paralelos com problemas conhecidos, há muito tempo é considerado uma função cognitiva humana distinta. No entanto, um estudo inovador realizado por psicólogos da UCLA apresenta descobertas convincentes que podem nos levar a repensar isso.

GPT-3: Iguais às Habilidades Intelectuais Humanas?

A pesquisa da UCLA descobriu que o GPT-3, um modelo de linguagem da IA desenvolvido pela OpenAI, demonstra capacidades de raciocínio quase equivalentes às de estudantes universitários, especialmente quando solicitado a resolver problemas semelhantes aos encontrados em testes de inteligência e exames padronizados como o SAT. Essa revelação, publicada na revista Nature Human Behaviour, levanta uma pergunta intrigante: O GPT-3 emula o raciocínio humano devido ao seu extenso conjunto de dados de treinamento de linguagem, ou está acessando um processo cognitivo completamente novo?

O funcionamento exato do GPT-3 permanece oculto pela OpenAI, deixando os pesquisadores da UCLA curiosos sobre o mecanismo por trás de suas habilidades de raciocínio analógico. Apesar do desempenho louvável do GPT-3 em certas tarefas de raciocínio, a ferramenta não está isenta de falhas. Taylor Webb, o autor principal do estudo e pesquisador pós-doutoral da UCLA, observou: “Embora nossas descobertas sejam impressionantes, é essencial enfatizar que esse sistema tem restrições significativas. O GPT-3 pode realizar raciocínio analógico, mas luta com tarefas triviais para humanos, como utilizar ferramentas para uma tarefa física.”

As capacidades do GPT-3 foram testadas usando problemas inspirados nas Matrizes Progressivas de Raven – um teste que envolve sequências de formas intricadas. Ao converter imagens em um formato de texto que o GPT-3 pudesse decifrar, Webb assegurou que esses fossem desafios completamente novos para a IA. Quando comparado a 40 estudantes universitários da UCLA, o GPT-3 não apenas igualou o desempenho humano, mas também espelhou os erros que os humanos cometeram. O modelo de IA resolveu corretamente 80% dos problemas, excedendo a pontuação média humana, mas ficando dentro da faixa dos principais performers humanos.

A equipe também testou a habilidade do GPT-3 usando questões de analogia do SAT não publicadas, com a IA superando a média humana. No entanto, ela tropeçou ligeiramente ao tentar estabelecer analogias a partir de histórias curtas, embora o modelo GPT-4 mais recente tenha mostrado resultados aprimorados.

Pontes entre a Cognição da IA e Humana

Os pesquisadores da UCLA não param em meras comparações. Eles embarcaram no desenvolvimento de um modelo de computador inspirado na cognição humana, constantemente comparando suas habilidades com modelos de IA comerciais. Keith Holyoak, professor de psicologia da UCLA e coautor, comentou: “Nosso modelo de IA psicológico superou os outros em problemas de analogia até a última atualização do GPT-3, que exibiu capacidades superiores ou equivalentes.”

No entanto, a equipe identificou certas áreas onde o GPT-3 ficou aquém, especialmente em tarefas que requerem compreensão do espaço físico. Em desafios que envolvem o uso de ferramentas, as soluções do GPT-3 estavam marcadamente erradas.

Hongjing Lu, autor sênior do estudo, expressou admiração pelos saltos na tecnologia nos últimos dois anos, particularmente na capacidade da IA de raciocinar. Mas, se esses modelos genuinamente “pensam” como humanos ou simplesmente imitam o pensamento humano ainda é um tema de debate. A busca por insights nos processos cognitivos da IA exige acesso ao backend dos modelos de IA, um salto que poderia moldar a trajetória futura da IA.

Ecoando o sentimento, Webb conclui: “O acesso ao backend dos modelos GPT beneficiaria imensamente os pesquisadores de IA e cognição. Atualmente, estamos limitados a entradas e saídas, e isso carece da profundidade decisiva que aspiramos.”