RAFT – Uma Abordagem de Ajuste Fino e RAG para Resposta a Perguntas Específicas de Domínio

À medida que as aplicações de grandes modelos de linguagem se expandem para domínios especializados, a necessidade de técnicas de adaptação eficientes e eficazes se torna cada vez mais crucial. Entre com RAFT (Ajuste Fino com Recuperação), uma abordagem inovadora que combina as forças da geração com recuperação (RAG) e ajuste fino, personalizada especificamente para tarefas de resposta a perguntas específicas de domínio.

O Desafio da Adaptação de Domínio

Embora os LLMs sejam pré-treinados em vastas quantidades de dados, sua capacidade de performar bem em domínios especializados, como pesquisas médicas, documentação jurídica ou bases de conhecimento específicas de empresas, é frequentemente limitada. Essa limitação surge porque os dados de pré-treinamento podem não representar adequadamente as nuances e complexidades desses domínios especializados. Para abordar esse desafio, os pesquisadores tradicionalmente empregaram duas principais técnicas: geração com recuperação (RAG) e ajuste fino.

Geração com Recuperação (RAG)

RAG

RAG é uma técnica que permite que os LLMs acessem e utilizem fontes de conhecimento externas durante a inferência.

Isso é alcançado integrando a recuperação de dados em tempo real no processo gerativo, tornando as saídas do modelo mais precisas e atualizadas. RAG consiste em três etapas principais: recuperação, onde documentos relevantes são coletados; geração, onde o modelo produz uma saída com base nos dados recuperados; e aumento, que refina a saída ainda mais.

O processo de recuperação em RAG começa com uma consulta do usuário. Os LLMs analisam a consulta e buscam informações pertinentes em bancos de dados externos, apresentando um conjunto de dados do qual o modelo pode extrair para formular suas respostas. A fase de geração sintetiza essa entrada em uma narrativa coerente ou resposta. A etapa de aumento refina a geração adicionando contexto ou ajustando para coerência e relevância.

Modelos RAG podem ser avaliados usando uma variedade de métricas, avaliando sua capacidade de fornecer informações precisas, relevantes e atualizadas.

Ajuste Fino

supervised-fine-tuning

Ajuste fino, por outro lado, envolve adaptar um LLM pré-treinado a uma tarefa ou domínio específico, treinando-o ainda mais em um conjunto de dados menor e específico da tarefa. Essa abordagem permite que o modelo aprenda padrões e alinhe suas saídas com a tarefa ou domínio desejado. Embora o ajuste fino possa melhorar o desempenho do modelo, ele frequentemente falha em incorporar eficazmente fontes de conhecimento externas ou considerar imperfeições de recuperação durante a inferência.

A Abordagem RAFT

RAFT

RAFT significa Ajuste Fino com Recuperação, é um método de treinamento inovador personalizado para modelos de linguagem para melhorar seu desempenho em tarefas específicas de domínio, particularmente para exames de livro aberto. RAFT se diverge do ajuste fino padrão preparando dados de treinamento que incorporam perguntas com uma mistura de documentos relevantes e não relevantes, juntamente com respostas estiladas em cadeia de pensamento derivadas dos textos relevantes. Essa abordagem visa melhorar as habilidades dos modelos para não apenas lembrar informações, mas também raciocinar e derivar respostas do conteúdo fornecido.

Em essência, RAFT ajusta os modelos de linguagem para serem mais proficientes em tarefas que envolvem compreensão de leitura e extração de conhecimento de um conjunto de documentos. Ao treinar com documentos “oráculo” (que contêm a resposta) e documentos “distratores” (que não contêm), o modelo aprende a discernir e utilizar informações relevantes de forma mais eficaz.

Preparação de Dados de Treinamento

O processo de treinamento sob RAFT envolve uma proporção dos dados para conter documentos “oráculo” que se relacionam diretamente com as respostas, enquanto os dados restantes consistem apenas em documentos “distratores”. O ajuste fino encoraja o modelo a aprender quando confiar em seu conhecimento interno (semelhante à memorização) e quando extrair informações do contexto fornecido.

A rotina de treinamento de RAFT também enfatiza a geração de processos de raciocínio, que não apenas ajudam a formar a resposta, mas também citam fontes, semelhante a como um humano justificaria sua resposta referenciando material que leu. Essa abordagem não apenas prepara o modelo para um ambiente RAG (Geração com Recuperação), onde ele precisa considerar os principais documentos recuperados, mas também garante que o treinamento do modelo seja independente do módulo de recuperação utilizado, permitindo uma aplicação flexível em diferentes sistemas de recuperação.

Essa abordagem serve a vários propósitos:

1. Treina o modelo para identificar e utilizar informações relevantes do contexto fornecido, imitando o ambiente de exame de livro aberto.
2. Melhora a capacidade do modelo de desprezar informações irrelevantes, uma habilidade crítica para RAG eficaz.
3. Expos o modelo a cenários onde a resposta não está presente no contexto, encorajando-o a confiar em seu próprio conhecimento quando necessário.

Outro aspecto importante de RAFT é a incorporação de raciocínio em cadeia de pensamento no processo de treinamento. Em vez de simplesmente fornecer pares de perguntas e respostas, RAFT gera explicações detalhadas de raciocínio que incluem citações verbatim dos documentos relevantes. Essas explicações, apresentadas em um formato de cadeia de pensamento, guiam o modelo através das etapas lógicas necessárias para chegar à resposta correta.

Ao treinar o modelo nesses raciocínios em cadeia, RAFT encoraja o desenvolvimento de fortes habilidades de raciocínio e melhora a compreensão do modelo de como eficazmente utilizar fontes de conhecimento externas.

Avaliação e Resultados

Os autores do artigo RAFT realizaram extensas avaliações em vários conjuntos de dados, incluindo PubMed (pesquisa biomédica), HotpotQA (resposta a perguntas de domínio aberto) e o Gorilla APIBench (geração de código). Seus resultados demonstraram que RAFT consistentemente superou os modelos base, como ajuste fino de domínio específico com e sem RAG, bem como modelos maiores como GPT-3.5 com RAG.

RAFT improves RAG performance

Por exemplo, no conjunto de dados HuggingFace, RAFT alcançou uma precisão de 74%, uma melhoria significativa de 31,41% sobre o ajuste fino de domínio específico (DSF) e 44,92% sobre GPT-3.5 com RAG. Da mesma forma, no conjunto de dados HotpotQA, RAFT exibiu um ganho de precisão de 28,9% em comparação com DSF.

Uma das principais vantagens de RAFT é sua robustez a imperfeições de recuperação. Ao treinar o modelo com uma mistura de documentos relevantes e não relevantes, RAFT melhora a capacidade do modelo de discernir e priorizar informações relevantes, mesmo quando o módulo de recuperação retorna resultados subótimos.

Os autores demonstraram que o ajuste fino com apenas os documentos “oráculo” frequentemente leva a um desempenho inferior em comparação com configurações que incluem documentos “distratores”. Essa descoberta destaca a importância de expor o modelo a diferentes cenários de recuperação durante o treinamento, garantindo sua preparação para aplicações do mundo real.

Aplicações Práticas e Direções Futuras

A técnica RAFT tem implicações significativas para uma ampla gama de aplicações práticas, incluindo:

1. Sistemas de Resposta a Perguntas: RAFT pode ser empregado para construir sistemas de resposta a perguntas altamente precisos e específicos de domínio, aproveitando tanto o conhecimento aprendido do modelo quanto fontes de conhecimento externas.
2. Gerenciamento de Conhecimento Empresarial: Organizações com grandes bases de conhecimento podem aproveitar RAFT para desenvolver sistemas de resposta a perguntas personalizados, permitindo que os funcionários acessem e utilizem informações relevantes rapidamente.
3. Pesquisa Médica e Científica: RAFT pode ser particularmente valioso em domínios como pesquisa biomédica, onde o acesso às últimas descobertas e literatura é crucial para avançar a compreensão científica.
4. Serviços Legais e Financeiros: RAFT pode auxiliar profissionais nesses campos fornecendo respostas precisas e cientes do contexto com base em documentos legais ou relatórios financeiros relevantes.

À medida que a pesquisa nessa área continua, podemos esperar avanços e refinamentos adicionais na técnica RAFT. Direções futuras potenciais incluem:

1. Exploração de módulos de recuperação mais eficientes e eficazes, personalizados para domínios ou estruturas de documentos específicos.
2. Integração de informações multi-modais, como imagens ou tabelas, no framework RAFT para uma compreensão de contexto aprimorada.
3. Desenvolvimento de arquiteturas de raciocínio especializadas que possam melhor aproveitar as explicações em cadeia de pensamento geradas durante o treinamento.
4. Adaptação de RAFT para outras tarefas de processamento de linguagem natural além da resposta a perguntas, como resumo, tradução ou sistemas de diálogo.

Conclusão

RAFT representa um salto significativo no campo da resposta a perguntas específicas de domínio com modelos de linguagem. Ao combinar harmoniosamente as forças da geração com recuperação e ajuste fino, RAFT equipa os LLMs com a capacidade de eficazmente utilizar fontes de conhecimento externas enquanto também alinha suas saídas com padrões e preferências específicos de domínio.

Através de sua inovadora curação de dados de treinamento, incorporação de raciocínio em cadeia de pensamento e robustez a imperfeições de recuperação, RAFT oferece uma solução poderosa para organizações e pesquisadores que buscam desbloquear o potencial total dos LLMs em domínios especializados.

À medida que a demanda por capacidades de processamento de linguagem natural específicas de domínio continua a crescer, técnicas como RAFT desempenharão um papel fundamental na habilitação de modelos de linguagem mais precisos, cientes do contexto e adaptáveis, pavimentando o caminho para um futuro onde a comunicação humano-máquina se torna verdadeiramente sem esforço e independente de domínio.