O que são alucinações LLM? Causas, preocupação ética e prevenção

Modelos de linguagem grandes (LLMs) são sistemas de inteligência artificial capazes de analisar e gerar texto semelhante ao humano. Mas eles têm um problema – LLMs alucinam, ou seja, inventam coisas. As alucinações do LLM deixaram os pesquisadores preocupados com o progresso neste campo porque, se os pesquisadores não puderem controlar o resultado dos modelos, eles não poderão construir sistemas críticos para servir à humanidade. Mais sobre isso mais tarde.

Geralmente, os LLMs usam grandes quantidades de dados de treinamento e algoritmos de aprendizado complexos para gerar saídas realistas. Em alguns casos, A aprendizagem no contexto é usada para treinar esses modelos usando apenas alguns exemplos. Os LLMs estão se tornando cada vez mais populares em várias áreas de aplicação, desde tradução automática, análise de sentimentos, assistência virtual de IA, anotação de imagem, processamento de linguagem natural, etc.

Apesar da natureza de ponta dos LLMs, eles ainda são propensos a vieses, erros e alucinações. Yann LeCun, atual Cientista Chefe de IA da Meta, mencionou recentemente o falha central em LLMs que causa alucinações: “Grandes modelos de linguagem não têm ideia da realidade subjacente que a linguagem descreve. Esses sistemas geram um texto que soa bem, gramaticalmente e semanticamente, mas eles realmente não têm algum tipo de objetivo além de apenas satisfazer a consistência estatística com o prompt”.

Alucinações em LLMs

As alucinações referem-se ao modelo que gera resultados que são sintaticamente e semanticamente corretos, mas desconectados da realidade e baseados em falsas suposições. A alucinação é um dos principais preocupações éticas dos LLMs, e pode ter consequências prejudiciais, pois os usuários sem conhecimento de domínio adequado começam a confiar demais nesses modelos de linguagem cada vez mais convincentes.

Um certo grau de alucinação é inevitável em todos os LLMs autorregressivos. Por exemplo, um modelo pode atribuir uma citação falsificada a uma celebridade que nunca foi dita. Eles podem afirmar algo sobre um determinado tópico que é factualmente incorreto ou citar fontes inexistentes em trabalhos de pesquisa, espalhando assim informações erradas.

No entanto, fazer com que modelos de IA tenham alucinações nem sempre tem efeitos adversos. Por exemplo, um novo estudo sugere os cientistas estão desenterrando 'novas proteínas com uma gama ilimitada de propriedades' por meio de LLMs alucinantes.

O que causa as alucinações dos LLMs?

Os LLMs podem ter alucinações devido a vários fatores, desde erros de superajuste na codificação e decodificação até viés de treinamento.

Overfitting

Overfitting é um problema em que um modelo de IA se ajusta muito bem aos dados de treinamento. Ainda assim, não pode representar totalmente toda a gama de inputs que pode encontrar, ou seja, falha em generalizar seu poder preditivo a dados novos e inéditos. O overfitting pode levar o modelo a produzir conteúdo alucinado.

Erros de Codificação e Decodificação

Se houver erros na codificação e decodificação do texto e suas representações subsequentes, isso também pode fazer com que o modelo gere saídas sem sentido e errôneas.

Viés de treinamento

Outro fator é a presença de certos vieses nos dados de treinamento, que podem fazer com que o modelo forneça resultados que representam esses vieses em vez da natureza real dos dados. Isso é semelhante à falta de diversidade nos dados de treinamento, o que limita a capacidade do modelo de generalizar para novos dados.

A estrutura complexa dos LLMs torna bastante desafiador para os pesquisadores e profissionais de IA identificar, interpretar e corrigir essas causas subjacentes das alucinações.

Preocupações éticas das alucinações do LLM

Os LLMs podem perpetuar e amplificar preconceitos nocivos por meio de alucinações e podem, por sua vez, impactar negativamente os usuários e ter consequências sociais prejudiciais. Algumas dessas preocupações éticas mais importantes estão listadas abaixo:

Conteúdo discriminatório e tóxico

Uma vez que os dados de treinamento do LLM geralmente estão cheios de estereótipos socioculturais devido aos preconceitos inerentes e à falta de diversidade. Os LLMs podem, assim, produzir e reforçar essas ideias nocivas contra os grupos desfavorecidos da sociedade.

Eles podem gerar esse conteúdo discriminatório e odioso com base em raça, gênero, religião, etnia etc.

Questões de privacidade

Os LLMs são treinados em um corpo de treinamento massivo que geralmente inclui as informações pessoais dos indivíduos. Houve casos em que tais modelos foram violou a privacidade das pessoas. Eles podem vazar informações específicas, como números de previdência social, endereços residenciais, números de telefone celular e detalhes médicos.

Desinformação e Desinformação

Os modelos de linguagem podem produzir conteúdo semelhante ao humano que parece preciso, mas é, na verdade, falso e não é suportado por evidências empíricas. Isso pode ser acidental, levando a desinformação, ou pode ter uma intenção maliciosa por trás de espalhar desinformação conscientemente. Se isso não for controlado, pode criar tendências sócio-culturais-econômicas-políticas adversas.

Prevenção de alucinações LLM

Pesquisadores e profissionais estão adotando várias abordagens para abordar o problema das alucinações em LLMs. Isso inclui melhorar a diversidade de dados de treinamento, eliminar vieses inerentes, usar melhores técnicas de regularização e empregar treinamento adversário e aprendizado por reforço, entre outros:

• O desenvolvimento de melhores técnicas de regularização está no cerne do combate às alucinações. Eles ajudam a prevenir o overfitting e outros problemas que causam alucinações.
• O aumento de dados pode reduzir a frequência de alucinações, como evidenciado por um pesquisa. O aumento de dados envolve aumentar o conjunto de treinamento adicionando um token aleatório em qualquer lugar da frase. Ele dobra o tamanho do conjunto de treinamento e causa uma diminuição na frequência das alucinações.
• A OpenAI e a DeepMind do Google desenvolveram uma técnica chamada aprendizado por reforço com feedback humano (RLHF) para resolver o problema de alucinação do ChatGPT. Envolve um avaliador humano que frequentemente revisa as respostas do modelo e escolhe o mais apropriado para as solicitações do usuário. Esse feedback é então usado para ajustar o comportamento do modelo. Ilya Sutskever, cientista-chefe da OpenAI, mencionou recentemente que essa abordagem pode potencialmente resolver alucinações no ChatGPT: “Estou bastante esperançoso de que, simplesmente melhorando esse aprendizado de reforço subsequente a partir da etapa de feedback humano, possamos ensiná-lo a não ter alucinações”.
• Identificar o conteúdo alucinado para usar como exemplo para treinamento futuro também é um método usado para lidar com alucinações. A nova técnica nesse sentido, detecta alucinações no nível do token e prevê se cada token na saída é alucinado. Também inclui um método para aprendizagem não supervisionada de detectores de alucinações.

Simplificando, as alucinações do LLM são uma preocupação crescente. E apesar dos esforços, muito trabalho ainda precisa ser feito para resolver o problema. A complexidade desses modelos significa que geralmente é um desafio identificar e corrigir corretamente as causas inerentes das alucinações.

No entanto, com pesquisa e desenvolvimento contínuos, é possível mitigar alucinações em LLMs e reduzir suas consequências éticas.

Se você quiser saber mais sobre os LLMs e as técnicas preventivas que estão sendo desenvolvidas para corrigir as alucinações dos LLMs, confira uni-vos.ai para expandir seu conhecimento.