O que são Alucinações em LLMs? Causas, Preocupações Éticas e Prevenção

Os grandes modelos de linguagem (LLMs) são sistemas de inteligência artificial capazes de analisar e gerar texto semelhante ao humano. No entanto, eles têm um problema – os LLMs alucinam, ou seja, inventam coisas. As alucinações dos LLMs têm preocupado os pesquisadores com o progresso neste campo, pois se os pesquisadores não puderem controlar o resultado dos modelos, não poderão construir sistemas críticos para servir à humanidade. Mais sobre isso mais tarde.

Em geral, os LLMs usam grandes quantidades de dados de treinamento e algoritmos de aprendizado complexos para gerar saídas realistas. Em alguns casos, o aprendizado em contexto é usado para treinar esses modelos usando apenas alguns exemplos. Os LLMs estão se tornando cada vez mais populares em várias áreas de aplicação, desde tradução de máquina, análise de sentimento, assistência de IA virtual, anotação de imagens, processamento de linguagem natural, etc.

Apesar da natureza de ponta dos LLMs, eles ainda são propensos a vieses, erros e alucinações. Yann LeCun, atual cientista-chefe de IA da Meta, mencionou recentemente o principal defeito nos LLMs que causa alucinações: “Os grandes modelos de linguagem não têm ideia da realidade subjacente que a linguagem descreve. Esses sistemas geram texto que soa bem, gramatical e semanticamente, mas não têm algum tipo de objetivo além de satisfazer a consistência estatística com o prompt”.

Alucinações em LLMs

Imagem por Gerd Altmann do Pixabay

Alucinações se referem ao modelo gerando saídas que são sintaticamente e semanticamente corretas, mas estão desconectadas da realidade e baseadas em suposições falsas. A alucinação é uma das principais preocupações éticas dos LLMs, e pode ter consequências prejudiciais, pois os usuários sem conhecimento adequado do domínio começam a confiar demais nesses modelos de linguagem cada vez mais convincentes.

Um certo grau de alucinação é inevitável em todos os LLMs autoregressivos. Por exemplo, um modelo pode atribuir uma citação falsa a um celebridade que nunca foi dita. Eles podem afirmar algo sobre um tópico específico que é factualmente incorreto ou citar fontes inexistentes em artigos de pesquisa, espalhando assim informações erradas.

No entanto, fazer com que os modelos de IA alucinem não sempre tem efeitos adversos. Por exemplo, um novo estudo sugere que cientistas estão descobrindo ‘proteínas novas com uma variedade ilimitada de propriedades’ por meio de LLMs que alucinam.

O que Causa Alucinações em LLMs?

Os LLMs podem alucinar devido a vários fatores, desde erros de sobreajuste e erros de codificação e decodificação até vieses de treinamento.

Sobreajuste

Imagem por janjf93 do Pixabay

O sobreajuste é um problema em que um modelo de IA se ajusta muito bem aos dados de treinamento, mas não consegue representar completamente a gama de entradas que pode encontrar, ou seja, ele não consegue generalizar seu poder de previsão para novos dados não vistos. O sobreajuste pode levar o modelo a produzir conteúdo alucinado.

Erros de Codificação e Decodificação

Imagem por geralt do Pixabay

Se houver erros na codificação e decodificação do texto e suas representações subsequentes, isso também pode causar o modelo gerar saídas sem sentido e erradas.

Vieses de Treinamento

Imagem por Quince Creative do Pixabay

Outro fator é a presença de certos vieses nos dados de treinamento, o que pode causar o modelo dar resultados que representam esses vieses em vez da natureza real dos dados. Isso é semelhante à falta de diversidade nos dados de treinamento, o que limita a capacidade do modelo de generalizar para novos dados.

A estrutura complexa dos LLMs torna bastante desafiador para os pesquisadores e praticantes de IA identificar, interpretar e corrigir as causas subjacentes das alucinações.

Preocupações Éticas das Alucinações em LLMs

Os LLMs podem perpetuar e amplificar vieses prejudiciais por meio de alucinações e podem, por sua vez, ter impactos sociais negativos. Algumas dessas preocupações éticas mais importantes são listadas abaixo:

Conteúdo Discriminatório e Tóxico

Imagem por ar130405 do Pixabay

Como os dados de treinamento dos LLMs são frequentemente cheios de estereótipos socioculturais devido aos vieses inerentes e falta de diversidade, os LLMs podem, assim, produzir e reforçar essas ideias prejudiciais contra grupos desfavorecidos na sociedade.

Eles podem gerar esse conteúdo discriminatório e odioso com base em raça, gênero, religião, etnia, etc.

Problemas de Privacidade

Imagem por JanBaby do Pixabay

Os LLMs são treinados em um grande corpus de treinamento que frequentemente inclui informações pessoais de indivíduos. Houve casos em que esses modelos violaram a privacidade das pessoas. Eles podem vazar informações específicas, como números de seguridade social, endereços residenciais, números de telefone celular e detalhes médicos.

Desinformação e Mísinformação

Imagem por geralt do Pixabay

Os modelos de linguagem podem produzir conteúdo semelhante ao humano que parece preciso, mas é, na verdade, falso e não apoiado por evidências empíricas. Isso pode ser acidental, levando a mísinformação, ou pode ter intenção maliciosa por trás para espalhar desinformação. Se isso não for controlado, pode criar tendências sociais, culturais, econômicas e políticas adversas.

Prevenindo Alucinações em LLMs

Imagem por athree23 do Pixabay

Pesquisadores e praticantes estão adotando várias abordagens para abordar o problema das alucinações nos LLMs. Isso inclui melhorar a diversidade dos dados de treinamento, eliminar vieses inerentes, usar técnicas de regularização melhores e empregar treinamento adversário e aprendizado por reforço, entre outros:

• Desenvolver melhores técnicas de regularização está no cerne de lidar com as alucinações. Elas ajudam a prevenir o sobreajuste e outros problemas que causam alucinações.
• Aumento de dados pode reduzir a frequência de alucinações, como evidenciado por um estudo de pesquisa. Aumento de dados envolve aumentar o conjunto de treinamento adicionando um token aleatório em qualquer lugar da sentença. Isso dobra o tamanho do conjunto de treinamento e causa uma diminuição na frequência de alucinações.
• A OpenAI e a DeepMind da Google (GOOGL ) desenvolveram uma técnica chamada aprendizado por reforço com feedback humano (RLHF) para lidar com o problema de alucinação do ChatGPT. Isso envolve um avaliador humano que revisa frequentemente as respostas do modelo e escolhe as mais apropriadas para os prompts do usuário. Esse feedback é então usado para ajustar o comportamento do modelo. Ilya Sutskever, cientista-chefe da OpenAI, mencionou recentemente que essa abordagem pode potencialmente resolver as alucinações no ChatGPT: “Estou bastante otimista de que, simplesmente melhorando esse passo subsequente de aprendizado por reforço com feedback humano, podemos ensinar o modelo a não alucinar”.
• Identificar conteúdo alucinado para usá-lo como exemplo para treinamento futuro também é um método usado para lidar com as alucinações. Uma técnica nova nesse sentido detecta alucinações no nível do token e prevê se cada token na saída é alucinado. Isso também inclui um método para aprendizado não supervisionado de detectores de alucinação.

Detecção de Alucinação no Nível do Token

Em resumo, as alucinações em LLMs são uma preocupação crescente. E, apesar dos esforços, ainda há muito trabalho a ser feito para abordar o problema. A complexidade desses modelos torna geralmente desafiador identificar e corrigir as causas subjacentes das alucinações corretamente.

No entanto, com pesquisa e desenvolvimento contínuos, é possível mitigar as alucinações nos LLMs e reduzir suas consequências éticas.

Se você deseja aprender mais sobre LLMs e as técnicas preventivas que estão sendo desenvolvidas para retificar as alucinações dos LLMs, confira o unite.ai para expandir seu conhecimento.