Chatbots de IA Lutam com a Compreensão Linguística

A chegada de chatbots de inteligência artificial (IA) redefiniu as experiências conversacionais, trazendo avanços que parecem paralelos à compreensão e uso da linguagem humana. Esses chatbots, impulsionados por modelos de linguagem substanciais, estão se tornando habilidosos em navegar pelas complexidades da interação humana.

No entanto, um estudo recente estudo trouxe à luz a vulnerabilidade persistente desses modelos em distinguir a linguagem natural do nonsense. A investigação conduzida por pesquisadores da Universidade de Columbia apresenta insights intrigantes sobre as possíveis melhorias no desempenho dos chatbots e no processamento da linguagem humana.

A Investigação sobre os Modelos de Linguagem

A equipe elaborou sobre sua pesquisa envolvendo nove diferentes modelos de linguagem submetidos a numerosos pares de sentenças. Os participantes humanos no estudo foram solicitados a discernir a sentença mais “natural” em cada par, refletindo o uso cotidiano. Os modelos foram então avaliados com base em se suas avaliações resonavam com as escolhas humanas.

Quando os modelos foram comparados entre si, os baseados em redes neurais transformer exibiram um desempenho superior em comparação com os modelos de redes neurais recorrentes mais simples e os modelos estatísticos. No entanto, mesmo os modelos mais sofisticados demonstraram erros, frequentemente selecionando sentenças percebidas como nonsense pelos humanos.

A Luta com Sentenças Nonsensicas

O Dr. Nikolaus Kriegeskorte, um investigador principal no Instituto Zuckerman de Columbia, enfatizou o sucesso relativo dos grandes modelos de linguagem em capturar aspectos cruciais perdidos pelos modelos mais simples. Ele observou: “Que mesmo os melhores modelos que estudamos ainda possam ser enganados por sentenças nonsense mostra que seus cálculos estão faltando algo sobre a forma como os humanos processam a linguagem.”

Um exemplo notável do estudo destacou modelos como o BERT julgando a naturalidade das sentenças, contrastando com modelos como o GPT-2, que se alinhavam com os julgamentos humanos. As imperfeições prevalecentes nesses modelos, como observado por Christopher Baldassano, Ph.D., um professor assistente de psicologia em Columbia, levantam preocupações sobre a confiança nos sistemas de IA nos processos de tomada de decisão, chamando a atenção para seus aparentes “pontos cegos” na rotulagem de sentenças.

Implicações e Direções Futuras

As lacunas no desempenho e a exploração de por que alguns modelos se saem melhor do que outros são áreas de interesse para o Dr. Kriegeskorte. Ele acredita que entender essas discrepâncias pode impulsionar significativamente o progresso nos modelos de linguagem.

O estudo também abre caminhos para explorar se os mecanismos nos chatbots de IA podem despertar novas investigações científicas, ajudando neurocientistas a decifrar as complexidades do cérebro humano.

Tal Golan, Ph.D., o autor correspondente do artigo, expressou interesse em entender os processos de pensamento humano, considerando as crescentes capacidades das ferramentas de IA no processamento da linguagem. “Comparar sua compreensão da linguagem com a nossa nos dá uma nova abordagem para pensar sobre como pensamos”, ele comentou.

A exploração das capacidades linguísticas dos chatbots de IA revelou os desafios persistentes em alinhar sua compreensão com a cognição humana.

Os esforços contínuos para mergulhar nessas diferenças e as revelações subsequentes estão prestes a não apenas melhorar a eficácia dos chatbots de IA, mas também a desvendar as múltiplas camadas dos processos cognitivos humanos.

A justaposição da compreensão da linguagem impulsionada por IA e da cognição humana estabelece a base para explorações multifacetadas, potencialmente redesenhando percepções e avançando o conhecimento nos domínios interconectados da IA e da neurociência.