RAFT – Une approche de réglage fin et RAG pour répondre aux questions spécifiques à un domaine

À mesure que les applications des grands modèles linguistiques s’étendent à des domaines spécialisés, le besoin de techniques d’adaptation efficientes et efficaces devient de plus en plus crucial. Entrez dans RAFT (Retrieval Augmented Fine Tuning), une nouvelle approche qui combine les atouts de la génération augmentée par récupération (RAG) et du réglage fin, spécialement conçue pour les tâches de réponse aux questions spécifiques à un domaine.

Le défi de l'adaptation de domaine

Bien que les LLM soient pré-formés sur de grandes quantités de données, leur capacité à fonctionner correctement dans des domaines spécialisés, tels que la recherche médicale, la documentation juridique ou les bases de connaissances spécifiques à l'entreprise, est souvent limitée. Cette limitation est due au fait que les données préalables à la formation peuvent ne pas représenter adéquatement les nuances et les subtilités de ces domaines spécialisés. Pour relever ce défi, les chercheurs ont traditionnellement utilisé deux techniques principales : la génération augmentée par récupération (RAG) et le réglage fin.

Génération augmentée par récupération (RAG)

CHIFFON

CHIFFON est une technique qui permet LLM pour accéder et utiliser des sources de connaissances externes pendant l’inférence.

Il y parvient en intégrant la récupération de données en temps réel dans le processus génératif, rendant ainsi les résultats du modèle plus précis et à jour. RAG comprend trois étapes principales : la récupération, où les documents pertinents sont rassemblés ; génération, où le modèle produit une sortie basée sur les données récupérées ; et l'augmentation, qui affine davantage le résultat.

Le processus de récupération dans RAG commence par la requête d'un utilisateur. Les LLM analysent la requête et récupèrent les informations pertinentes à partir de bases de données externes, présentant un pool de données à partir duquel le modèle peut s'appuyer pour formuler ses réponses. La phase de génération synthétise ensuite ces informations dans un récit ou une réponse cohérente. L'étape d'augmentation affine la génération en ajoutant du contexte ou en ajustant la cohérence et la pertinence.

Les modèles RAG peuvent être évalués à l’aide de diverses mesures, évaluant leur capacité à fournir des informations précises, pertinentes et à jour.

Réglage fin

mise au point supervisée

Réglage fin, d'autre part, implique d'adapter un LLM pré-entraîné à une tâche ou un domaine spécifique en le formant davantage sur un ensemble de données plus petit et spécifique à la tâche. Cette approche permet au modèle d'apprendre des modèles et d'aligner ses résultats sur la tâche ou le domaine souhaité. Bien qu'un réglage fin puisse améliorer les performances du modèle, il ne parvient souvent pas à intégrer efficacement les sources de connaissances externes ou à prendre en compte les imperfections de récupération lors de l'inférence.

L’approche RAFT

RADEAU

RADEAU signifiant Retrieval-Aware Fine-Tuning, est une méthode de formation innovante adaptée aux modèles de langage afin d'améliorer leurs performances dans des tâches spécifiques à un domaine, en particulier pour les examens à livre ouvert. RAFT s'écarte du réglage fin standard en préparant des données de formation qui intègrent des questions avec un mélange de documents pertinents et non pertinents, ainsi que des réponses stylisées en chaîne de pensée dérivées des textes pertinents. Cette méthode vise à améliorer les capacités des modèles non seulement à rappeler des informations, mais également à raisonner et à dériver des réponses à partir du contenu fourni.

Essentiellement, RAFT affine les modèles de langage pour être plus compétent dans les tâches qui impliquent la compréhension écrite et l'extraction de connaissances à partir d'un ensemble de documents. En s'entraînant à la fois avec des documents « oracle » (qui contiennent la réponse) et des documents « distracteurs » (qui n'en contiennent pas), le modèle apprend à discerner et à utiliser les informations pertinentes plus efficacement.

Préparation des données de formation

Le processus de formation sous RAFT implique qu'une partie des données contienne des documents Oracle directement liés aux réponses, tandis que les données restantes sont constituées uniquement de documents de distraction. Le réglage fin encourage le modèle à apprendre quand s'appuyer sur ses connaissances internes (semblable à la mémorisation) et quand extraire des informations du contexte fourni.

Le programme de formation de RAFT met également l'accent sur la génération de processus de raisonnement, qui non seulement aident à former la réponse, mais citent également des sources, de la même manière qu'un humain justifierait sa réponse en faisant référence au matériel qu'il a lu. Cette approche prépare non seulement le modèle pour un paramètre RAG (Retrieval Augmented Generation) dans lequel il doit prendre en compte les k documents récupérés les plus importants, mais garantit également que la formation du modèle est indépendante du récupérateur utilisé, permettant une application flexible sur différents systèmes de récupération.

Cette approche répond à plusieurs objectifs :

1. Il entraîne le modèle à identifier et à utiliser les informations pertinentes du contexte fourni, imitant le cadre d'un examen à livre ouvert.
2. Cela améliore la capacité du modèle à ignorer les informations non pertinentes, une compétence essentielle pour un RAG efficace.
3. Il expose le modèle à des scénarios où la réponse n'est pas présente dans le contexte, l'incitant à s'appuyer sur ses propres connaissances lorsque cela est nécessaire.

Un autre aspect clé de RAFT est l’intégration du raisonnement en chaîne de pensée dans le processus de formation. Au lieu de simplement fournir les paires de questions et de réponses, RAFT génère des explications de raisonnement détaillées qui incluent des citations textuelles des documents pertinents. Ces explications, présentées sous forme de chaîne de pensée, guident le modèle à travers les étapes logiques nécessaires pour arriver à la bonne réponse.

En entraînant le modèle sur ces chaînes de raisonnement, RAFT encourage le développement de solides capacités de raisonnement et améliore la compréhension du modèle sur la manière d'exploiter efficacement les sources de connaissances externes.

Évaluation et résultats

Les auteurs de l'article RAFT ont mené des évaluations approfondies sur divers ensembles de données, notamment PubMed (recherche biomédicale), HotpotQA (réponse aux questions en domaine ouvert) et Gorilla APIBench (génération de code). Leurs résultats ont démontré que RAFT surpassait systématiquement les références, telles que le réglage fin spécifique à un domaine avec et sans RAG, ainsi que les modèles plus vastes comme GPT-3.5 avec RAG.

RAFT améliore les performances du RAG

Par exemple, sur l'ensemble de données HuggingFace, RAFT a atteint une précision de 74 %, soit une amélioration significative de 31.41 % par rapport au réglage fin spécifique au domaine (DSF) et de 44.92 % par rapport à GPT-3.5 avec RAG. De même, sur l'ensemble de données HotpotQA, RAFT a présenté un gain de précision de 28.9 % par rapport à DSF.

L’un des principaux avantages de RAFT est sa robustesse aux imperfections de récupération. En entraînant le modèle avec un mélange de documents pertinents et non pertinents, RAFT améliore la capacité du modèle à discerner et à hiérarchiser les informations pertinentes, même lorsque le module de récupération renvoie des résultats sous-optimaux.

Les auteurs ont démontré qu'un réglage fin avec uniquement les documents Oracle conduit souvent à des performances inférieures par rapport aux configurations incluant des documents de distraction. Cette découverte souligne l'importance d'exposer le modèle à différents scénarios de récupération pendant la formation, garantissant ainsi sa préparation aux applications du monde réel.

Applications pratiques et orientations futures

La technique RAFT a des implications significatives pour un large éventail d’applications pratiques, notamment :

1. Systèmes de réponses aux questions : RAFT peut être utilisé pour créer des systèmes de réponses aux questions très précis et spécifiques à un domaine, en tirant parti à la fois des connaissances acquises du modèle et des sources de connaissances externes.
2. Gestion des connaissances d'entreprise : les organisations disposant de vastes bases de connaissances peuvent tirer parti de RAFT pour développer des systèmes de questions-réponses personnalisés, permettant aux employés d'accéder et d'utiliser rapidement les informations pertinentes.
3. Recherche médicale et scientifique : RAFT peut être particulièrement utile dans des domaines tels que la recherche biomédicale, où l'accès aux dernières découvertes et à la littérature est crucial pour faire progresser la compréhension scientifique.
4. Services juridiques et financiers : RAFT peut assister les professionnels de ces domaines en fournissant des réponses précises et contextuelles basées sur des documents juridiques ou des rapports financiers pertinents.

À mesure que les recherches dans ce domaine se poursuivent, nous pouvons nous attendre à de nouvelles avancées et améliorations de la technique RAFT. Les orientations futures potentielles comprennent :

1. Exploration de modules de récupération plus efficaces et efficients, adaptés à des domaines ou des structures de documents spécifiques.
2. Intégration d'informations multimodales, telles que des images ou des tableaux, dans le cadre RAFT pour une meilleure compréhension du contexte.
3. Développement d'architectures de raisonnement spécialisées capables de mieux exploiter les explications de la chaîne de pensée générées pendant la formation.
4. Adaptation de RAFT à d'autres tâches en langage naturel au-delà de la réponse aux questions, telles que les systèmes de résumé, de traduction ou de dialogue.

Conclusion

RAFT représente un pas en avant significatif dans le domaine de la réponse à des questions spécifiques à un domaine avec des modèles de langage. En mélangeant harmonieusement les atouts de la génération et du réglage précis par récupération, RAFT donne aux LLM la capacité d'exploiter efficacement les sources de connaissances externes tout en alignant leurs résultats sur les modèles et préférences spécifiques au domaine.

Grâce à sa curation de données de formation innovante, à l'intégration d'un raisonnement en chaîne de pensée et à sa robustesse face aux imperfections de récupération, RAFT offre une solution puissante aux organisations et aux chercheurs cherchant à libérer tout le potentiel des LLM dans des domaines spécialisés.

Alors que la demande de capacités de traitement du langage naturel spécifiques à un domaine continue de croître, des techniques telles que RAFT joueront un rôle central en permettant des modèles de langage plus précis, plus sensibles au contexte et plus adaptatifs, ouvrant la voie à un avenir où la communication homme-machine deviendra véritablement transparent et indépendant du domaine.