DeepMind: AI pode herdar limitações cognitivas humanas, podendo se beneficiar de ‘educação formal’

Uma nova colaboração entre a DeepMind e a Universidade de Stanford sugere que a IA pode ser tão boa quanto as pessoas em raciocínio abstrato, pois os modelos de aprendizado de máquina obtêm suas arquiteturas de raciocínio a partir de exemplos do mundo real, baseados em contextos práticos (que a IA não pode experimentar), mas também são limitados por nossas próprias limitações cognitivas.

Comprovado, isso pode representar uma barreira para o pensamento superior e a qualidade da origem intelectual que muitos esperam dos sistemas de aprendizado de máquina, e ilustra a extensão com que a IA reflete a experiência humana e é propensa a cogitar (e raciocinar) dentro dos limites humanos que a informaram.

Os pesquisadores sugerem que os modelos de IA poderiam se beneficiar de um pré-treinamento em raciocínio abstrato, comparando-o a uma “educação formal”, antes de serem colocados para trabalhar em tarefas do mundo real.

O artigo afirma:

‘Os seres humanos são razoadores imperfeitos. Nós raciocinamos de forma mais eficaz sobre entidades e situações que são consistentes com nossa compreensão do mundo.

‘Nossos experimentos mostram que os modelos de linguagem espelham esses padrões de comportamento. Os modelos de linguagem performam de forma imperfeita em tarefas de raciocínio lógico, mas esse desempenho depende do conteúdo e do contexto. Mais notavelmente, tais modelos frequentemente falham em situações onde os seres humanos falham — quando os estímulos se tornam muito abstratos ou conflitam com a compreensão prévia do mundo.’

Para testar a extensão com que os modelos de Processamento de Linguagem Natural (NLP) de grande escala podem ser afetados por tais limitações, os pesquisadores realizaram uma série de três testes em um modelo adequado, concluindo*:

‘Descobrimos que os modelos de linguagem de grande escala (com 7 ou 70 bilhões de parâmetros) refletem muitos dos mesmos padrões observados em seres humanos ao longo dessas tarefas — como os seres humanos, os modelos raciocinam de forma mais eficaz sobre situações acreditas do que irreais ou abstratas.

‘Nossas descobertas têm implicações para a compreensão desses efeitos cognitivos e dos fatores que contribuem para o desempenho do modelo de linguagem.’

O artigo sugere que criar habilidades de raciocínio em uma IA sem lhe dar o benefício da experiência do mundo real que coloca essas habilidades em contexto, pode limitar o potencial desses sistemas, observando que ‘experiência fundamentada… presumivelmente sustenta algumas crenças e raciocínio humanos’.

Os autores propõem que a IA experimenta a linguagem de forma passiva, enquanto os seres humanos a experimentam como um componente ativo e central para a comunicação social, e que esse tipo de participação ativa (que envolve sistemas convencionais de punição e recompensa) pode ser ‘chave’ para entender o significado da mesma forma que os seres humanos.

Os pesquisadores observam:

‘Algumas diferenças entre os modelos de linguagem e os seres humanos podem, portanto, decorrer das diferenças entre a experiência rica, fundamentada e interativa dos seres humanos e a experiência empobrecida dos modelos.’

Eles sugerem que uma solução pode ser um período de ‘pré-treinamento’, semelhante ao que os seres humanos experimentam no sistema escolar e universitário, antes de treinar em dados que eventualmente construirão um modelo de linguagem útil e versátil.

Esse período de ‘educação formal’ (como os pesquisadores analogizam) diferiria do pré-treinamento convencional de aprendizado de máquina (que é um método de reduzir o tempo de treinamento reutilizando modelos semi-treinados ou importando pesos de modelos totalmente treinados, como um ‘impulsor’ para iniciar o processo de treinamento).

Pelo contrário, representaria um período de aprendizado sustentado projetado para desenvolver as habilidades de raciocínio lógico da IA de forma puramente abstrata, e para desenvolver faculdades críticas de forma semelhante à que um estudante universitário será incentivado a fazer ao longo de sua educação.

‘Vários resultados’, os autores afirmam, ‘indicam que isso pode não ser tão inverossímil quanto parece’.

O artigo é intitulado Modelos de linguagem mostram efeitos de conteúdo humanos no raciocínio, e vem de seis pesquisadores da DeepMind e um afiliado à DeepMind e à Universidade de Stanford.

Testes

Os seres humanos aprendem conceitos abstratos por meio de exemplos práticos, pelo mesmo método de ‘importância implícita’ que frequentemente ajuda os aprendizes de línguas a memorizar vocabulário e regras linguísticas, por meio de mnemônicos. O exemplo mais simples disso é ensinar princípios abstrusos de física por meio de cenários de viagem para trens e carros.

Para testar as capacidades de raciocínio abstrato de um modelo de linguagem de grande escala, os pesquisadores elaboraram uma série de três testes linguísticos e semânticos que podem ser desafiadores também para os seres humanos. Os testes foram aplicados ‘zero shot’ (sem exemplos resolvidos) e ‘five shot’ (com cinco exemplos resolvidos anteriores).

A primeira tarefa relaciona-se à inferência de linguagem natural (NLI), onde o sujeito (um ser humano ou, neste caso, um modelo de linguagem) recebe duas frases, uma ‘premissa’ e uma ‘hipótese’ que parece ser deduzida da premissa. Por exemplo X é menor do que Y, Hipótese: Y é maior do que X (entailment).

Para a tarefa de Inferência de Linguagem Natural, os pesquisadores avaliaram os modelos de linguagem Chinchilla (um modelo de 70 bilhões de parâmetros) e 7B (um modelo de 7 bilhões de parâmetros), encontrando que, para os exemplos consistentes (ou seja, aqueles que não eram nonsense), apenas o modelo Chinchilla maior obteve resultados superiores ao acaso; e eles notam:

‘Isso indica um forte viés de conteúdo: os modelos preferem completar a frase de uma forma consistente com as expectativas anteriores, em vez de de uma forma consistente com as regras da lógica’.

Desempenho do modelo Chinchilla de 70 bilhões de parâmetros na tarefa NLI. Este modelo e sua versão mais leve, 7B, exibiram ‘substancial viés de crença’, de acordo com os pesquisadores. Fonte: https://arxiv.org/pdf/2207.07051.pdf

Silogismos

A segunda tarefa apresenta um desafio mais complexo, silogismos – argumentos onde duas afirmações verdadeiras aparentemente implicam uma terceira afirmação (que pode ou não ser uma conclusão lógica inferida das duas afirmações anteriores):

Do material de teste do artigo, vários silogismos ‘realistas’ e paradoxais ou sem sentido.

Aqui, os seres humanos são imensamente falíveis, e uma construção projetada para exemplificar um princípio lógico se torna quase imediatamente (e talvez permanentemente) emaranhada e confundida pela ‘crença’ humana sobre qual é a resposta certa deve ser.

Os autores notam que um estudo de 1983 demonstrou que os participantes foram influenciados pela crença de que a conclusão de um silogismo era acredita, observando:

‘Os participantes foram muito mais propensos (90% do tempo) a dizer que um silogismo inválido era válido se a conclusão fosse acredita, e assim principalmente confiaram na crença em vez de no raciocínio abstrato.’

Ao testar o Chinchilla contra uma rodada de silogismos diversos, muitos dos quais concluíam com entailments falsas, os pesquisadores encontraram que ‘o viés de crença impulsiona quase todas as decisões zero shot’. Se o modelo de linguagem encontra uma conclusão inconsistente com a realidade, o modelo, os autores afirmam, é ‘fortemente inclinado’ a declarar o argumento final inválido, mesmo quando o argumento final é uma entailment lógica das afirmações anteriores.

Resultados zero shot para o Chinchilla (zero shot é a forma como a maioria dos participantes do teste receberia esses desafios, após uma explicação da regra orientadora), ilustrando o vasto abismo entre a capacidade computacional de um computador e a capacidade de um modelo de NLP de navegar nesse tipo de desafio lógico ‘nascente’.

A Tarefa de Seleção de Wason

Para o terceiro teste, o desafiador problema lógico da Tarefa de Seleção de Wason foi reformulado em uma série de variações para o modelo de linguagem resolver.

A tarefa de Wason, criada em 1968, é aparentemente muito simples: os participantes são mostrados quatro cartas e informados de uma regra arbitrária, como ‘Se uma carta tiver um “D” em um lado, então ela tem um “3” no outro lado.’ As quatro faces das cartas visíveis mostram ‘D’, ‘F’, ‘3’ e ‘7’.

Os participantes são então solicitados a dizer quais cartas eles precisam virar para verificar se a regra é verdadeira ou falsa.

A solução correta nesse exemplo é virar as cartas ‘D’ e ‘7’. Em testes anteriores, foi descoberto que, embora a maioria dos participantes (humanos) escolhesse corretamente ‘D’, eles eram mais propensos a escolher ‘3’ em vez de ‘7’, confundindo o contrapositivo da regra (‘não 3 implica não D’) com o converso (‘3 implica D’, que não é logicamente implicado).

Os autores notam que o potencial para a crença prévia intervir no processo lógico nos participantes humanos e notam ainda que até os matemáticos acadêmicos e os estudantes de matemática geralmente obtiveram menos de 50% nessa tarefa.

No entanto, quando o esquema de uma tarefa de Wason de alguma forma reflete a experiência prática humana, o desempenho tradicionalmente aumenta.

Os autores observam, referindo-se a experimentos anteriores:

‘[Se] as cartas mostram idades e bebidas, e a regra é “se estiverem bebendo álcool, então devem ter 21 anos ou mais” e mostram cartas com ‘cerveja’, ‘refrigerante’, ‘25’, ‘16’, a vasta maioria dos participantes escolhe corretamente verificar as cartas que mostram ‘cerveja’ e ‘16’.’

Para testar o desempenho do modelo de linguagem na tarefa de Wason, os pesquisadores criaram regras realistas e arbitrárias, algumas com ‘palavras sem sentido’, para ver se a IA poderia penetrar no contexto do conteúdo e descobrir quais ‘cartas virtuais’ virar.

Alguns dos muitos quebra-cabeças da Tarefa de Seleção de Wason apresentados nos testes.

Para os testes de Wason, o modelo performou comparavelmente com os seres humanos em tarefas ‘realistas’ (não nonsense).

Resultados da Tarefa de Seleção de Wason zero shot para o Chinchilla, com o modelo performando bem acima do acaso, pelo menos para as regras ‘realistas’.

O artigo comenta:

‘Isso reflete as descobertas na literatura humana: os seres humanos são muito mais precisos ao responder à tarefa de Wason quando ela é formulada em termos de situações realistas do que regras arbitrárias sobre atributos abstratos.’

Educação Formal

As descobertas do artigo enquadram o potencial de raciocínio da IA de grande escala no contexto de nossas próprias limitações, que parecem ser transmitidas para os modelos por meio dos conjuntos de dados do mundo real que os alimentam. Como a maioria de nós não é gênio, tampouco os modelos cujos parâmetros são informados por nossas próprias limitações.

Além disso, o novo trabalho conclui que, pelo menos, temos a vantagem de um período sustentado de educação formativa e as motivações sociais, financeiras e até sexuais adicionais que formam o imperativo humano. Tudo o que os modelos de NLP podem obter são as ações resultantes desses fatores ambientais, e eles parecem estar se conformando ao humano comum, em vez do excepcional.

Os autores afirmam:

‘Nossos resultados mostram que os efeitos de conteúdo podem surgir simplesmente treinando um grande transformador para imitar a linguagem produzida pela cultura humana, sem incorporar esses mecanismos internos humanos específicos.

‘Em outras palavras, os modelos de linguagem e os seres humanos ambos chegam a esses efeitos de conteúdo – mas a partir de arquiteturas, experiências e objetivos de treinamento muito diferentes.’

Assim, eles sugerem um tipo de treinamento de indução em raciocínio puro, que foi demonstrado para melhorar o desempenho do modelo para matemática e raciocínio geral. Eles também notam que os modelos de linguagem também foram treinados ou ajustados para seguir instruções melhor em um nível abstrato ou generalizado, e para verificar, corrigir ou desviar sua própria saída.

* Minha conversão de citações em linha para links.

Publicado pela primeira vez em 15 de julho de 2022.