RAFT – Uma Abordagem de Ajuste Fino e RAG para Resposta a Perguntas Específicas de Domínio

À medida que as aplicações de grandes modelos de linguagem se expandem para domínios especializados, a necessidade de técnicas de adaptação eficientes e eficazes se torna cada vez mais crucial. Entre com RAFT (Ajuste Fino com Recuperação), uma abordagem inovadora que combina as forças da geração com recuperação (RAG) e ajuste fino, projetada especificamente para tarefas de resposta a perguntas específicas de domínio.

O Desafio da Adaptação de Domínio

Embora os LLMs sejam pré-treinados em grandes quantidades de dados, sua capacidade de performar bem em domínios especializados, como pesquisa médica, documentação jurídica ou bases de conhecimento específicas de empresas, é frequentemente limitada. Essa limitação surge porque os dados de pré-treinamento podem não representar adequadamente as nuances e complexidades desses domínios especializados. Para abordar esse desafio, os pesquisadores tradicionalmente empregaram duas técnicas principais: geração com recuperação (RAG) e ajuste fino.

Geração com Recuperação (RAG)

RAG

RAG é uma técnica que permite que os LLMs acessem e utilizem fontes de conhecimento externas durante a inferência.

Isso é alcançado integrando a recuperação de dados em tempo real no processo gerativo, tornando as saídas do modelo mais precisas e atualizadas. A RAG consiste em três etapas principais: recuperação, onde os documentos relevantes são coletados; geração, onde o modelo produz uma saída com base nos dados recuperados; e aumento, que refina a saída adicionando contexto ou ajustando para coerência e relevância.

O processo de recuperação na RAG começa com uma consulta do usuário. Os LLMs analisam a consulta e recuperam informações pertinentes de bases de dados externas, apresentando um conjunto de dados a partir do qual o modelo pode tirar conclusões para formar suas respostas. A fase de geração sintetiza essa entrada em uma narrativa coerente ou resposta. A etapa de aumento refina a geração adicionando contexto ou ajustando para coerência e relevância.

Modelos RAG podem ser avaliados usando uma variedade de métricas, avaliando sua capacidade de fornecer informações precisas, relevantes e atualizadas.

Ajuste Fino

supervised-fine-tuning

Ajuste fino, por outro lado, envolve adaptar um LLM pré-treinado a uma tarefa ou domínio específico, treinando-o em um conjunto de dados menor e específico da tarefa. Essa abordagem permite que o modelo aprenda padrões e alinhe suas saídas com a tarefa ou domínio desejado. Embora o ajuste fino possa melhorar o desempenho do modelo, ele frequentemente falha em incorporar eficazmente fontes de conhecimento externas ou considerar imperfeições de recuperação durante a inferência.

A Abordagem RAFT

RAFT

RAFT significa Ajuste Fino com Recuperação, um método de treinamento inovador projetado para melhorar o desempenho de modelos de linguagem em tarefas específicas de domínio, particularmente para exames de livro aberto. A RAFT se diverge do ajuste fino padrão preparando dados de treinamento que incorporam perguntas com uma mistura de documentos relevantes e não relevantes, juntamente com respostas estilizados em cadeia de pensamento derivadas dos textos relevantes. Esse método visa melhorar a capacidade dos modelos de não apenas lembrar informações, mas também raciocinar e derivar respostas a partir do conteúdo fornecido.

Em essência, a RAFT ajusta os modelos de linguagem para serem mais proficientes em tarefas que envolvem compreensão de leitura e extração de conhecimento de um conjunto de documentos. Ao treinar com ambos os “documentos oráculo” (que contêm a resposta) e “documentos distraídos” (que não contêm), o modelo aprende a discernir e utilizar informações relevantes de forma mais eficaz.

Preparação de Dados de Treinamento

O processo de treinamento sob a RAFT envolve uma proporção dos dados que contém documentos oráculo que se relacionam diretamente com as respostas, enquanto os dados restantes consistem apenas em documentos distraídos. O ajuste fino encoraja o modelo a aprender quando confiar em seu conhecimento interno (semelhante à memorização) e quando extrair informações do contexto fornecido.

A rotina de treinamento da RAFT também enfatiza a geração de processos de raciocínio, que não apenas ajudam a formar a resposta, mas também citam fontes, semelhante à forma como um humano justificaria sua resposta referenciando material lido. Essa abordagem não apenas prepara o modelo para um ambiente de geração com recuperação (RAG), onde ele precisa considerar os principais documentos recuperados, mas também garante que o treinamento do modelo seja independente do módulo de recuperação utilizado, permitindo uma aplicação flexível em diferentes sistemas de recuperação.

Essa abordagem serve a vários propósitos:

1. Treina o modelo para identificar e utilizar informações relevantes do contexto fornecido, imitando o ambiente de exame de livro aberto.
2. Melhora a capacidade do modelo de descartar informações irrelevantes, uma habilidade crítica para uma geração com recuperação eficaz.
3. Expos o modelo a cenários em que a resposta não está presente no contexto, encorajando-o a confiar em seu próprio conhecimento quando necessário.

Outro aspecto chave da RAFT é a incorporação de raciocínio em cadeia de pensamento no processo de treinamento. Em vez de simplesmente fornecer pares de perguntas e respostas, a RAFT gera explicações detalhadas de raciocínio que incluem citações verbais dos documentos relevantes. Essas explicações, apresentadas em um formato de cadeia de pensamento, guiam o modelo através das etapas lógicas necessárias para chegar à resposta correta.

Ao treinar o modelo nesses encadeamentos de raciocínio, a RAFT encoraja o desenvolvimento de fortes habilidades de raciocínio e melhora a compreensão do modelo de como eficazmente aproveitar fontes de conhecimento externas.

Avaliação e Resultados

Os autores do artigo da RAFT realizaram extensas avaliações em vários conjuntos de dados, incluindo PubMed (pesquisa biomédica), HotpotQA (resposta a perguntas em domínio aberto) e o Gorilla APIBench (geração de código). Seus resultados demonstraram que a RAFT consistentemente superou as linhas de base, como o ajuste fino específico de domínio com e sem RAG, bem como modelos maiores como o GPT-3.5 com RAG.

RAFT improves RAG performance

Por exemplo, no conjunto de dados HuggingFace, a RAFT alcançou uma precisão de 74%, uma melhoria significativa de 31,41% em relação ao ajuste fino específico de domínio (DSF) e 44,92% em relação ao GPT-3.5 com RAG. Da mesma forma, no conjunto de dados HotpotQA, a RAFT exibiu um ganho de precisão de 28,9% em comparação com o DSF.

Uma das principais vantagens da RAFT é sua robustez às imperfeições de recuperação. Ao treinar o modelo com uma mistura de documentos relevantes e irrelevantes, a RAFT melhora a capacidade do modelo de discernir e priorizar informações relevantes, mesmo quando o módulo de recuperação retorna resultados subótimos.

Os autores demonstraram que o ajuste fino com apenas os documentos oráculo frequentemente leva a um desempenho inferior em comparação com configurações que incluem documentos distraídos. Essa descoberta destaca a importância de expor o modelo a diferentes cenários de recuperação durante o treinamento, garantindo sua preparação para aplicações do mundo real.

Aplicações Práticas e Direções Futuras

A técnica RAFT tem implicações significativas para uma ampla gama de aplicações práticas, incluindo:

1. Sistemas de Resposta a Perguntas: A RAFT pode ser empregada para construir sistemas de resposta a perguntas altamente precisos e específicos de domínio, aproveitando tanto o conhecimento aprendido pelo modelo quanto fontes de conhecimento externas.
2. Gerenciamento de Conhecimento Empresarial: Organizações com grandes bases de conhecimento podem aproveitar a RAFT para desenvolver sistemas de resposta a perguntas personalizados, permitindo que os funcionários acessem e utilizem informações relevantes de forma rápida.
3. Pesquisa Médica e Científica: A RAFT pode ser particularmente valiosa em domínios como pesquisa biomédica, onde o acesso às últimas descobertas e literatura é crucial para avançar a compreensão científica.
4. Serviços Jurídicos e Financeiros: A RAFT pode auxiliar profissionais nesses campos fornecendo respostas precisas e contextualizadas com base em documentos jurídicos relevantes ou relatórios financeiros.

À medida que a pesquisa nessa área continua, podemos esperar avanços e refinamentos adicionais na técnica RAFT. Direções futuras potenciais incluem:

1. Exploração de módulos de recuperação mais eficientes e eficazes, personalizados para domínios ou estruturas de documentos específicos.
2. Integração de informações multi-modais, como imagens ou tabelas, no framework da RAFT para uma compreensão de contexto aprimorada.
3. Desenvolvimento de arquiteturas de raciocínio especializadas que possam melhor aproveitar as explicações em cadeia de pensamento geradas durante o treinamento.
4. Adaptação da RAFT para outras tarefas de processamento de linguagem natural além da resposta a perguntas, como resumo, tradução ou sistemas de diálogo.

Conclusão

A RAFT representa um salto significativo no campo da resposta a perguntas específicas de domínio com modelos de linguagem. Ao combinar harmoniosamente as forças da geração com recuperação e ajuste fino, a RAFT equipa os LLMs com a capacidade de eficazmente aproveitar fontes de conhecimento externas, enquanto também alinha suas saídas com padrões e preferências específicas de domínio.

Por meio de sua inovadora curação de dados de treinamento, incorporação de raciocínio em cadeia de pensamento e robustez às imperfeições de recuperação, a RAFT oferece uma solução poderosa para organizações e pesquisadores que buscam desbloquear o potencial total dos LLMs em domínios especializados.

À medida que a demanda por capacidades de processamento de linguagem natural específicas de domínio continua a crescer, técnicas como a RAFT desempenharão um papel fundamental em permitir que os modelos de linguagem sejam mais precisos, contextualizados e adaptáveis, pavimentando o caminho para um futuro em que a comunicação humano-máquina se torne verdadeiramente sem esforço e independente de domínio.