Superando Alucinações de LLM Usando Geração Aumentada por Recuperação (RAG)

Modelos de Linguagem Grande (LLMs) estão revolucionando a forma como processamos e geramos linguagem, mas eles são imperfeitos. Assim como os humanos podem ver formas em nuvens ou faces na lua, os LLMs também podem “alucinar”, criando informações que não são precisas. Esse fenômeno, conhecido como alucinações de LLM, é uma preocupação crescente à medida que o uso de LLMs se expande.

Erros podem confundir os usuários e, em alguns casos, até mesmo levar a problemas legais para as empresas. Por exemplo, em 2023, um veterano da Força Aérea, Jeffery Battle (conhecido como The Aerospace Professor), entrou com uma ação judicial contra a Microsoft quando descobriu que a pesquisa do Bing, impulsionada pelo ChatGPT, às vezes fornece informações factualmente imprecisas e prejudiciais sobre seu nome. O mecanismo de pesquisa confunde ele com um criminoso condenado, Jeffery Leon Battle.

Para lidar com as alucinações, a Geração Aumentada por Recuperação (RAG) surgiu como uma solução promissora. Ela incorpora conhecimento de bancos de dados externos para melhorar a precisão e credibilidade dos LLMs. Vamos dar uma olhada mais próxima de como a RAG torna os LLMs mais precisos e confiáveis. Também discutiremos se a RAG pode efetivamente contrariar o problema de alucinação de LLM.

Entendendo Alucinações de LLM: Causas e Exemplos

LLMs, incluindo modelos renomados como ChatGPT, ChatGLM e Claude, são treinados em conjuntos de dados textuais extensos, mas não são imunes a produzir saídas factualmente incorretas, um fenômeno chamado de “alucinações”. As alucinações ocorrem porque os LLMs são treinados para criar respostas significativas com base em regras linguísticas subjacentes, independentemente de sua precisão factual.

Um estudo da Tidio encontrou que, enquanto 72% dos usuários acreditam que os LLMs são confiáveis, 75% receberam informações incorretas do AI pelo menos uma vez. Mesmo os modelos de LLM mais promissores, como o GPT-3.5 e o GPT-4, às vezes podem produzir conteúdo impreciso ou sem sentido.

Aqui está uma visão geral breve dos tipos comuns de alucinações de LLM:

Tipos Comuns de Alucinação de AI:

1. Conflito de Fontes: Isso ocorre quando um modelo combina detalhes de várias fontes, levando a contradições ou até mesmo fontes fabricadas.
2. Erros Fácticos: Os LLMs podem gerar conteúdo com base factual imprecisa, especialmente dado o caráter inerentemente impreciso da internet
3. Informações Sem Sentido: Os LLMs preveem a próxima palavra com base na probabilidade. Isso pode resultar em texto gramaticalmente correto, mas sem sentido, enganando os usuários sobre a autoridade do conteúdo.

No ano passado, dois advogados enfrentaram possíveis sanções por referenciar seis casos inexistente em seus documentos legais, enganados pelas informações geradas pelo ChatGPT. Esse exemplo destaca a importância de abordar o conteúdo gerado por LLM com um olhar crítico, sublinhando a necessidade de verificação para garantir a confiabilidade. Embora sua capacidade criativa beneficie aplicações como contação de histórias, ela apresenta desafios para tarefas que exigem estrita aderência aos fatos, como conduzir pesquisas acadêmicas, escrever relatórios de análise médica e financeira e fornecer conselhos legais.

Explorando a Solução para Alucinações de LLM: Como a Geração Aumentada por Recuperação (RAG) Funciona

Em 2020, pesquisadores de LLM introduziram uma técnica chamada Geração Aumentada por Recuperação (RAG) para mitigar as alucinações de LLM, integrando uma fonte de dados externa. Ao contrário dos LLMs tradicionais que dependem apenas de seu conhecimento pré-treinado, os modelos de LLM baseados em RAG geram respostas factualmente precisas, recuperando dinamicamente informações relevantes de um banco de dados externo antes de responder a perguntas ou gerar texto.

Desmembramento do Processo de RAG:

Etapa do Processo RAG: Fonte

Etapa 1: Recuperação

O sistema procura em uma base de conhecimento específica por informações relacionadas à consulta do usuário. Por exemplo, se alguém pergunta sobre o último vencedor da Copa do Mundo de futebol, ele procura as informações de futebol mais relevantes.

Etapa 2: Aumento

A consulta original é então aprimorada com as informações encontradas. Usando o exemplo do futebol, a consulta “Quem ganhou a Copa do Mundo de futebol?” é atualizada com detalhes específicos, como “A Argentina ganhou a Copa do Mundo de futebol.”

Etapa 3: Geração

Com a consulta enriquecida, o LLM gera uma resposta detalhada e precisa. No nosso caso, ele criaria uma resposta com base nas informações aprimoradas sobre a Argentina ganhando a Copa do Mundo.

Esse método ajuda a reduzir imprecisões e garante que as respostas do LLM sejam mais confiáveis e baseadas em dados precisos.

Prós e Contras de RAG na Redução de Alucinações

A RAG mostrou promessa na redução de alucinações, corrigindo o processo de geração. Esse mecanismo permite que os modelos de RAG forneçam informações mais precisas, atualizadas e contextualmente relevantes.

Certamente, discutir a Geração Aumentada por Recuperação (RAG) em um sentido mais geral permite uma compreensão mais ampla de suas vantagens e limitações em várias implementações.

Vantagens de RAG:

• Melhor Busca de Informações: A RAG encontra rapidamente informações precisas em grandes fontes de dados.
• Conteúdo Aprimorado: Ela cria conteúdo claro e bem combinado com o que os usuários precisam.
• Uso Flexível: Os usuários podem ajustar a RAG para atender às suas necessidades específicas, como usar suas próprias fontes de dados, aumentando a eficácia.

Desafios de RAG:

• Necessita de Dados Específicos: Entender corretamente o contexto da consulta para fornecer informações relevantes e precisas pode ser difícil.
• Escalabilidade: Expandir o modelo para lidar com grandes conjuntos de dados e consultas, mantendo o desempenho, é difícil.
• Atualização Contínua: Atualizar automaticamente o conjunto de dados de conhecimento com as informações mais recentes é intensivo em recursos.

Explorando Alternativas à RAG

Além da RAG, aqui estão alguns outros métodos promissores que permitem que os pesquisadores de LLM reduzam as alucinações:

• G-EVAL: Verifica a precisão do conteúdo gerado com um conjunto de dados confiável, melhorando a confiabilidade.
• SelfCheckGPT: Verifica e corrige automaticamente seus próprios erros para manter as saídas precisas e consistentes.
• Engenharia de Prompt: Ajuda os usuários a projetar prompts de entrada precisos para guiar os modelos em direção a respostas precisas e relevantes.
• Ajuste: Ajusta o modelo para conjuntos de dados específicos de tarefas para melhorar o desempenho em domínios específicos.
• LoRA (Adaptação de Baixa Ordem): Esse método modifica uma pequena parte dos parâmetros do modelo para adaptação específica de tarefa, melhorando a eficiência.

A exploração da RAG e de suas alternativas destaca a abordagem dinâmica e multifacetada para melhorar a precisão e confiabilidade dos LLMs. À medida que avançamos, a inovação contínua em tecnologias como a RAG é essencial para lidar com os desafios inerentes às alucinações de LLM.

Para se manter atualizado com os últimos desenvolvimentos em IA e aprendizado de máquina, incluindo análises aprofundadas e notícias, visite unite.ai.