AI Chatbots lutam com compreensão linguística

O advento dos chatbots de inteligência artificial (IA) remodelou as experiências de conversação, trazendo avanços que parecem paralelos à compreensão humana e ao uso da linguagem. Estes chatbots, alimentados por modelos de linguagem substanciais, estão a tornar-se adeptos da navegação nas complexidades da interação humana.

No entanto, uma recente estudo trouxe à luz a vulnerabilidade persistente destes modelos em distinguir a linguagem natural do absurdo. A investigação conduzida por pesquisadores da Universidade de Columbia apresenta insights intrigantes sobre as melhorias potenciais no desempenho do chatbot e no processamento da linguagem humana.

A investigação sobre modelos de linguagem

A equipe elaborou sua pesquisa envolvendo nove modelos de linguagem diferentes submetidos a numerosos pares de frases. Os participantes humanos no estudo foram convidados a discernir a frase mais “natural” em cada par, refletindo o uso diário. Os modelos foram então avaliados com base na ressonância de suas avaliações com as escolhas humanas.

Quando os modelos foram comparados, aqueles baseados em redes neurais de transformadores exibiram desempenho superior em comparação com os modelos de redes neurais recorrentes mais simples e modelos estatísticos. No entanto, mesmo os modelos mais sofisticados demonstraram erros, muitas vezes selecionando frases consideradas sem sentido pelos humanos.

A luta com frases sem sentido

O Dr. Nikolaus Kriegeskorte, pesquisador principal do Instituto Zuckerman da Universidade Columbia, enfatizou o relativo sucesso de modelos de linguagem de grande porte em capturar aspectos cruciais ignorados por modelos mais simples. Ele observou: "O fato de que mesmo os melhores modelos que estudamos ainda podem ser enganados por frases sem sentido demonstra que seus cálculos não revelam algo sobre a maneira como os humanos processam a linguagem."

Um exemplo notável do estudo destacou modelos como o BERT que avaliam mal a naturalidade das frases, contrastando com modelos como o GPT-2, que se alinham com os julgamentos humanos. As imperfeições prevalecentes nestes modelos, como observou Christopher Baldassano, Ph.D., professor assistente de psicologia na Columbia, levantam preocupações relativamente à dependência de sistemas de IA nos processos de tomada de decisão, chamando a atenção para os seus aparentes “pontos cegos” na rotulagem. frases.

Implicações e direções futuras

As lacunas no desempenho e a exploração do motivo pelo qual alguns modelos se destacam mais do que outros são áreas de interesse do Dr. Kriegeskorte. Ele acredita que a compreensão dessas discrepâncias pode impulsionar significativamente o progresso nos modelos linguísticos.

O estudo também abre caminhos para explorar se os mecanismos dos chatbots de IA podem desencadear novas investigações científicas, auxiliando neurocientistas a decifrar as complexidades do cérebro humano.

Tal Golan, Ph.D., autor correspondente do artigo, demonstrou interesse em compreender os processos de pensamento humano, considerando as crescentes capacidades das ferramentas de IA no processamento da linguagem. "Comparar a compreensão da linguagem deles com a nossa nos dá uma nova abordagem para pensar sobre como pensamos", comentou.

A exploração das capacidades linguísticas dos chatbots de IA revelou os desafios persistentes no alinhamento de sua compreensão com a cognição humana.

Os esforços contínuos para aprofundar estas diferenças e as revelações que se seguem destinam-se não só a aumentar a eficácia dos chatbots de IA, mas também a desvendar as inúmeras camadas dos processos cognitivos humanos.

A justaposição da compreensão da linguagem impulsionada pela IA e da cognição humana estabelece as bases para explorações multifacetadas, potencialmente remodelando as percepções e avançando o conhecimento nos domínios interconectados da IA ​​e da neurociência.