Superando Alucinações de LLM Usando Geração Aumentada por Recuperação (RAG)

Modelos de Linguagem Grande (LLMs) estão revolucionando a forma como processamos e geramos linguagem, mas eles são imperfeitos. Assim como os humanos podem ver formas em nuvens ou faces na lua, os LLMs também podem “alucinar”, criando informações que não são precisas. Esse fenômeno, conhecido como alucinações de LLM, é uma preocupação crescente à medida que o uso de LLMs se expande.

Erros podem confundir os usuários e, em alguns casos, até mesmo levar a problemas legais para as empresas. Por exemplo, em 2023, um veterano da Força Aérea Jeffery Battle (conhecido como The Aerospace Professor) entrou com uma ação judicial contra a Microsoft (MSFT ) quando descobriu que o Bing da Microsoft, alimentado pelo ChatGPT, às vezes fornece informações factualmente imprecisas e prejudiciais sobre sua busca de nome. O mecanismo de busca confunde ele com um criminoso condenado Jeffery Leon Battle.

Para lidar com as alucinações, Geração Aumentada por Recuperação (RAG) surgiu como uma solução promissora. Ela incorpora conhecimento de bancos de dados externos para melhorar a precisão e credibilidade dos LLMs. Vamos dar uma olhada mais de perto em como a RAG torna os LLMs mais precisos e confiáveis. Também discutiremos se a RAG pode efetivamente contrariar o problema de alucinação de LLM.

Entendendo Alucinações de LLM: Causas e Exemplos

Os LLMs, incluindo modelos renomados como ChatGPT, ChatGLM e Claude, são treinados em conjuntos de dados textuais extensos, mas não são imunes a produzir saídas factualmente incorretas, um fenômeno chamado de “alucinações”. As alucinações ocorrem porque os LLMs são treinados para criar respostas significativas com base em regras linguísticas subjacentes, independentemente de sua precisão factual.

Um estudo da Tidio descobriu que, embora 72% dos usuários acreditem que os LLMs sejam confiáveis, 75% receberam informações incorretas do AI pelo menos uma vez. Até mesmo os modelos de LLM mais promissores, como o GPT-3.5 e o GPT-4, podem produzir conteúdo impreciso ou sem sentido.

Aqui está uma visão geral breve dos tipos comuns de alucinações de LLM:

Tipos Comuns de Alucinações de AI:

1. Conflito de Fontes: Isso ocorre quando um modelo combina detalhes de várias fontes, levando a contradições ou até mesmo fontes fabricadas.
2. Erros Fatais: Os LLMs podem gerar conteúdo com base factual imprecisa, especialmente considerando as inexactidões inerentes da internet.
3. Informações Sem Sentido: Os LLMs preveem a próxima palavra com base na probabilidade. Isso pode resultar em texto gramaticalmente correto, mas sem sentido, enganando os usuários sobre a autoridade do conteúdo.

No ano passado, dois advogados enfrentaram possíveis sanções por citar seis casos inexistentes em seus documentos legais, enganados pelas informações geradas pelo ChatGPT. Esse exemplo destaca a importância de abordar o conteúdo gerado por LLM com um olhar crítico, sublinhando a necessidade de verificação para garantir a confiabilidade. Embora sua capacidade criativa beneficie aplicações como contação de histórias, ela apresenta desafios para tarefas que exigem estrita aderência aos fatos, como realizar pesquisas acadêmicas, redigir análises médicas e financeiras e fornecer conselhos legais.

Explorando a Solução para Alucinações de LLM: Como Funciona a Geração Aumentada por Recuperação (RAG)

Em 2020, pesquisadores de LLM introduziram uma técnica chamada Geração Aumentada por Recuperação (RAG) para mitigar as alucinações de LLM, integrando um banco de dados externo. Ao contrário dos LLMs tradicionais que dependem apenas de seu conhecimento pré-treinado, os modelos de LLM baseados em RAG geram respostas factualmente precisas, recuperando dinamicamente informações relevantes de um banco de dados externo antes de responder a perguntas ou gerar texto.

Divisão do Processo de RAG:

Etapas do Processo de RAG: Fonte

Etapa 1: Recuperação

O sistema procura um conhecimento específico para informações relacionadas à consulta do usuário. Por exemplo, se alguém pergunta sobre o último campeão da Copa do Mundo de futebol, ele procura as informações de futebol mais relevantes.

Etapa 2: Aumento

A consulta original é então aprimorada com as informações encontradas. Usando o exemplo do futebol, a consulta “Quem ganhou a Copa do Mundo de futebol?” é atualizada com detalhes específicos como “A Argentina ganhou a Copa do Mundo de futebol.”

Etapa 3: Geração

Com a consulta enriquecida, o LLM gera uma resposta detalhada e precisa. No nosso caso, ele criaria uma resposta com base nas informações aumentadas sobre a Argentina ganhando a Copa do Mundo.

Esse método ajuda a reduzir imprecisões e garante que as respostas dos LLMs sejam mais confiáveis e baseadas em dados precisos.

Prós e Contras da RAG na Redução de Alucinações

A RAG mostrou promessa na redução de alucinações, corrigindo o processo de geração. Esse mecanismo permite que os modelos de RAG forneçam informações mais precisas, atualizadas e contextualmente relevantes.

Certamente, discutir a Geração Aumentada por Recuperação (RAG) de forma mais geral permite uma compreensão mais ampla de suas vantagens e limitações em várias implementações.

Vantagens da RAG:

• Melhor Busca de Informações: A RAG encontra rapidamente informações precisas em grandes fontes de dados.
• Conteúdo Melhorado: Ela cria conteúdo claro e bem adaptado às necessidades dos usuários.
• Uso Flexível: Os usuários podem ajustar a RAG para atender a suas necessidades específicas, como usar suas próprias fontes de dados, aumentando a eficácia.

Desafios da RAG:

• Necessita de Dados Específicos: Entender o contexto da consulta para fornecer informações relevantes e precisas pode ser difícil.
• Escalabilidade: Expandir o modelo para lidar com grandes conjuntos de dados e consultas, mantendo o desempenho, é desafiador.
• Atualização Contínua: Atualizar automaticamente o conjunto de conhecimento com as informações mais recentes é intensivo em recursos.

Explorando Alternativas à RAG

Além da RAG, aqui estão algumas outras metodologias promissoras que permitem que os pesquisadores de LLM reduzam as alucinações:

• G-EVAL: Verifica a precisão do conteúdo gerado com um conjunto de dados confiável, melhorando a confiabilidade.
• SelfCheckGPT: Verifica e corrige automaticamente seus próprios erros para manter as saídas precisas e consistentes.
• Engenharia de Prompt: Ajuda os usuários a projetar prompts de entrada precisos para guiar os modelos em direção a respostas precisas e relevantes.
• Ajuste Fino: Ajusta o modelo para conjuntos de dados específicos de tarefas para melhorar o desempenho em domínios específicos.
• LoRA (Adaptação de Baixo Rango): Esse método modifica uma pequena parte dos parâmetros do modelo para adaptação específica de tarefas, melhorando a eficiência.

A exploração da RAG e suas alternativas destaca a abordagem dinâmica e multifacetada para melhorar a precisão e confiabilidade dos LLMs. À medida que avançamos, a inovação contínua em tecnologias como a RAG é essencial para abordar os desafios inerentes às alucinações de LLM.

Para ficar atualizado sobre os últimos desenvolvimentos em IA e aprendizado de máquina, incluindo análises aprofundadas e notícias, visite unite.ai.