RAFT – Une approche de fine-tuning et RAG pour la réponse à des questions spécifiques à un domaine

Alors que les applications des grands modèles de langage s’étendent à des domaines spécialisés, le besoin de techniques d’adaptation efficaces et efficientes devient de plus en plus crucial. Voici RAFT (Retrieval Augmented Fine Tuning), une approche novatrice qui combine les forces de la génération assistée par récupération (RAG) et du fine-tuning, spécifiquement conçue pour les tâches de réponse à des questions spécifiques à un domaine.

Le défi de l’adaptation de domaine

Bien que les LLM soient pré-entraînés sur d’énormes quantités de données, leur capacité à performer bien dans des domaines spécialisés, tels que la recherche médicale, la documentation juridique ou les bases de connaissances spécifiques à l’entreprise, est souvent limitée. Cette limitation découle du fait que les données de pré-entraînement peuvent ne pas représenter adéquatement les nuances et les complexités de ces domaines spécialisés. Pour relever ce défi, les chercheurs ont traditionnellement employé deux techniques principales : la génération assistée par récupération (RAG) et le fine-tuning.

Génération assistée par récupération (RAG)

RAG

RAG est une technique qui permet aux LLM d’accéder et d’utiliser des sources de connaissances externes pendant l’inférence.

Elle atteint cet objectif en intégrant la récupération de données en temps réel dans le processus génératif, rendant ainsi les sorties du modèle plus précises et à jour. RAG consiste en trois étapes principales : la récupération, où des documents pertinents sont rassemblés ; la génération, où le modèle produit une sortie basée sur les données récupérées ; et l’augmentation, qui affine la sortie plus avant.

Le processus de récupération dans RAG commence avec une requête de l’utilisateur. Les LLM analysent la requête et récupèrent des informations pertinentes à partir de bases de données externes, présentant un ensemble de données à partir duquel le modèle peut puiser pour formuler ses réponses. La phase de génération synthétise ensuite ces entrées en un récit cohérent ou une réponse. L’étape d’augmentation affine la génération en ajoutant du contexte ou en ajustant pour la cohérence et la pertinence.

Les modèles RAG peuvent être évalués à l’aide d’une variété de métriques, évaluant leur capacité à fournir des informations précises, pertinentes et à jour.

Fine-tuning

supervised-fine-tuning

Fine-tuning, d’un autre côté, implique l’adaptation d’un LLM pré-entraîné à une tâche ou un domaine spécifique en le formant davantage sur un ensemble de données plus petit et spécifique à la tâche. Cette approche permet au modèle d’apprendre des modèles et d’aligner ses sorties avec la tâche ou le domaine souhaité. Bien que le fine-tuning puisse améliorer les performances du modèle, il échoue souvent à incorporer efficacement des sources de connaissances externes ou à tenir compte des imperfections de récupération pendant l’inférence.

L’approche RAFT

RAFT

RAFT signifie Retrieval-Aware Fine-Tuning, c’est une méthode d’entraînement innovante conçue pour améliorer les performances des modèles de langage dans des tâches spécifiques à un domaine, en particulier pour les examens ouverts. RAFT diffère du fine-tuning standard en préparant des données d’entraînement qui intègrent des questions avec un mélange de documents pertinents et non pertinents, ainsi que des réponses de style chaîne de pensée dérivées des textes pertinents. Cette méthode vise à améliorer les capacités des modèles à rappeler non seulement des informations mais également à raisonner et à dériver des réponses à partir du contenu fourni.

En essence, RAFT affine les modèles de langage pour être plus compétents dans les tâches qui impliquent la compréhension de lecture et l’extraction de connaissances à partir d’un ensemble de documents. En formant le modèle avec à la fois des documents “oracle” (qui contiennent la réponse) et des documents “distracteurs” (qui ne la contiennent pas), le modèle apprend à discerner et à utiliser des informations pertinentes de manière plus efficace.