RAFT – Une approche de fine-tuning et de RAG pour la réponse à des questions spécifiques à un domaine

Alors que les applications des grands modèles de langage s’étendent à des domaines spécialisés, la nécessité de techniques d’adaptation efficaces et efficientes devient de plus en plus cruciale. Voici RAFT (Retrieval Augmented Fine Tuning), une approche novatrice qui combine les forces de la génération augmentée de récupération (RAG) et du fine-tuning, spécifiquement conçue pour les tâches de réponse à des questions spécifiques à un domaine.

Le défi de l’adaptation de domaine

Bien que les grands modèles de langage soient pré-entraînés sur d’énormes quantités de données, leur capacité à performer bien dans des domaines spécialisés, tels que la recherche médicale, la documentation juridique ou les bases de connaissances spécifiques à une entreprise, est souvent limitée. Cette limitation provient du fait que les données de pré-entraînement peuvent ne pas représenter adéquatement les nuances et les complexités de ces domaines spécialisés. Pour relever ce défi, les chercheurs ont traditionnellement employé deux techniques principales : la génération augmentée de récupération (RAG) et le fine-tuning.

Génération augmentée de récupération (RAG)

RAG

RAG est une technique qui permet aux grands modèles de langage d’accéder et d’utiliser des sources de connaissances externes pendant l’inférence.

Elle atteint cela en intégrant la récupération de données en temps réel dans le processus de génération, rendant ainsi les sorties du modèle plus précises et à jour. RAG se compose de trois étapes principales : la récupération, où les documents pertinents sont rassemblés ; la génération, où le modèle produit une sortie basée sur les données récupérées ; et l’augmentation, qui affine la sortie pour la rendre plus pertinente.

Le processus de récupération dans RAG commence avec une requête de l’utilisateur. Les grands modèles de langage analysent la requête et récupèrent les informations pertinentes à partir de bases de données externes, présentant un ensemble de données à partir duquel le modèle peut tirer pour formuler ses réponses. La phase de génération synthétise ensuite ces entrées en un récit cohérent ou en une réponse. L’étape d’augmentation affine la génération en ajoutant du contexte ou en ajustant pour la cohérence et la pertinence.

Les modèles RAG peuvent être évalués en utilisant diverses métriques, évaluant leur capacité à fournir des informations précises, pertinentes et à jour.

Fine-tuning

supervised-fine-tuning

Fine-tuning, d’un autre côté, implique l’adaptation d’un grand modèle de langage pré-entraîné à une tâche ou un domaine spécifique en le formant davantage sur un ensemble de données plus petit et spécifique à la tâche. Cette approche permet au modèle d’apprendre des modèles et d’aligner ses sorties avec la tâche ou le domaine souhaité. Bien que le fine-tuning puisse améliorer les performances du modèle, il échoue souvent à incorporer efficacement les sources de connaissances externes ou à tenir compte des imperfections de récupération pendant l’inférence.

L’approche RAFT

RAFT

RAFT signifie Retrieval-Aware Fine-Tuning, c’est une méthode d’entraînement innovante conçue pour améliorer les performances des modèles de langage dans des tâches spécifiques à un domaine, en particulier pour les examens ouverts. RAFT se démarque du fine-tuning standard en préparant des données d’entraînement qui intègrent des questions avec un mélange de documents pertinents et non pertinents, ainsi que des réponses de style chaîne de pensée dérivées des textes pertinents. Cette méthode vise à améliorer la capacité des modèles à rappeler non seulement des informations mais également à raisonner et à dériver des réponses à partir du contenu fourni.

En essence, RAFT affine les modèles de langage pour les rendre plus compétents dans les tâches qui impliquent la compréhension de texte et l’extraction de connaissances à partir d’un ensemble de documents. En formant le modèle avec à la fois des documents “oracle” (qui contiennent la réponse) et des documents “distracteurs” (qui ne contiennent pas la réponse), le modèle apprend à discerner et à utiliser plus efficacement les informations pertinentes.

Préparation des données d’entraînement

Le processus d’entraînement sous RAFT implique que une proportion des données contienne des documents oracle qui se rapportent directement aux réponses, tandis que le reste des données se compose uniquement de documents distracteurs. Le fine-tuning encourage le modèle à apprendre quand faire confiance à ses connaissances internes (semblable à la mémorisation) et quand extraire des informations du contexte fourni.

Le régime d’entraînement de RAFT met également l’accent sur la génération de processus de raisonnement, qui non seulement aident à former la réponse mais également citent des sources, semblable à la façon dont un humain justifierait sa réponse en référençant le matériel qu’il a lu. Cette approche non seulement prépare le modèle pour un environnement de génération augmentée de récupération (RAG) où il doit considérer les documents récupérés, mais également assure que la formation du modèle est indépendante du récupérateur utilisé, permettant ainsi une application flexible sur différents systèmes de récupération.

Cette approche sert plusieurs objectifs :

1. Elle forme le modèle pour identifier et utiliser les informations pertinentes du contexte fourni, imitant ainsi le cadre d’un examen ouvert.
2. Elle améliore la capacité du modèle à écarter les informations non pertinentes, une compétence critique pour une génération efficace de RAG.
3. Elle expose le modèle à des scénarios où la réponse n’est pas présente dans le contexte, l’encourageant ainsi à faire confiance à ses propres connaissances lorsque cela est nécessaire.

Un autre aspect clé de RAFT est l’intégration de la chaîne de pensée dans le processus d’entraînement. Au lieu de simplement fournir des paires de questions et de réponses, RAFT génère des explications détaillées de raisonnement qui incluent des citations verbatim des documents pertinents. Ces explications, présentées dans un format de chaîne de pensée, guident le modèle à travers les étapes logiques nécessaires pour arriver à la bonne réponse.

En formant le modèle sur ces chaînes de raisonnement, RAFT encourage le développement de solides capacités de raisonnement et améliore la compréhension du modèle sur la façon d’utiliser efficacement les sources de connaissances externes.

Évaluation et résultats

Les auteurs de l’article sur RAFT ont mené des évaluations approfondies sur divers ensembles de données, notamment PubMed (recherche biomédicale), HotpotQA (réponse à des questions ouvertes) et Gorilla APIBench (génération de code). Leurs résultats ont démontré que RAFT surperforme régulièrement les références, telles que le fine-tuning spécifique au domaine avec et sans RAG, ainsi que des modèles plus grands comme GPT-3.5 avec RAG.

RAFT améliore les performances de RAG

Par exemple, sur l’ensemble de données HuggingFace, RAFT a atteint une précision de 74 %, soit une amélioration significative de 31,41 % par rapport au fine-tuning spécifique au domaine (DSF) et de 44,92 % par rapport à GPT-3.5 avec RAG. De même, sur l’ensemble de données HotpotQA, RAFT a montré un gain de précision de 28,9 % par rapport à DSF.

L’un des principaux avantages de RAFT est sa robustesse face aux imperfections de récupération. En formant le modèle avec un mélange de documents pertinents et non pertinents, RAFT améliore la capacité du modèle à discerner et à prioriser les informations pertinentes, même lorsque le module de récupération retourne des résultats sous-optimiaux.

Les auteurs ont démontré que le fine-tuning avec uniquement les documents oracle conduit souvent à des performances inférieures par rapport aux configurations qui incluent des documents distracteurs. Cette constatation souligne l’importance d’exposer le modèle à différents scénarios de récupération pendant l’entraînement, garantissant ainsi sa préparation pour les applications du monde réel.

Applications pratiques et directions futures

La technique RAFT a des implications significatives pour une large gamme d’applications pratiques, notamment :

1. Systèmes de réponse à des questions : RAFT peut être utilisé pour construire des systèmes de réponse à des questions très précis et spécifiques à un domaine, en exploitant à la fois les connaissances apprises du modèle et les sources de connaissances externes.
2. Gestion des connaissances d’entreprise : les organisations avec de grandes bases de connaissances peuvent utiliser RAFT pour développer des systèmes de réponse à des questions personnalisés, permettant ainsi aux employés d’accéder rapidement et d’utiliser les informations pertinentes.
3. Recherche médicale et scientifique : RAFT peut être particulièrement précieux dans des domaines tels que la recherche biomédicale, où l’accès aux dernières découvertes et à la littérature est crucial pour faire progresser la compréhension scientifique.
4. Services juridiques et financiers : RAFT peut aider les professionnels dans ces domaines en fournissant des réponses précises et sensibles au contexte basées sur des documents juridiques ou des rapports financiers pertinents.

À mesure que la recherche dans ce domaine se poursuit, nous pouvons nous attendre à des progrès et des affinements supplémentaires de la technique RAFT. Les directions futures potentielles incluent :

1. L’exploration de modules de récupération plus efficaces et plus efficaces, adaptés à des domaines ou à des structures de documents spécifiques.
2. L’intégration d’informations multimodales, telles que des images ou des tableaux, dans le cadre de RAFT pour une meilleure compréhension du contexte.
3. Le développement d’architectures de raisonnement spécialisées qui peuvent mieux exploiter les explications de chaîne de pensée générées pendant l’entraînement.
4. L’adaptation de RAFT à d’autres tâches de traitement du langage naturel au-delà de la réponse à des questions, telles que la synthèse, la traduction ou les systèmes de dialogue.

Conclusion

RAFT représente un saut significatif dans le domaine de la réponse à des questions spécifiques à un domaine avec des modèles de langage. En combinant harmonieusement les forces de la génération augmentée de récupération et du fine-tuning, RAFT équipe les grands modèles de langage avec la capacité d’utiliser efficacement les sources de connaissances externes tout en alignant leurs sorties avec les modèles et les préférences spécifiques au domaine.

Grâce à sa préparation innovante de données d’entraînement, à l’intégration de la chaîne de pensée et à sa robustesse face aux imperfections de récupération, RAFT offre une solution puissante pour les organisations et les chercheurs qui cherchent à libérer tout le potentiel des grands modèles de langage dans des domaines spécialisés.

Alors que la demande de capacités de traitement du langage naturel spécifiques à un domaine continue de croître, des techniques comme RAFT joueront un rôle crucial pour permettre des modèles de langage plus précis, plus sensibles au contexte et plus adaptables, ouvrant la voie à un avenir où la communication humaine-machine deviendra vraiment fluide et indépendante du domaine.