3 façons de garder les faits obsolètes frais dans les grands modèles de langage

Les grands modèles de langage (LLM) comme GPT3, ChatGPT et BARD sont très à la mode aujourd’hui. Tout le monde a une opinion sur la façon dont ces outils sont bons ou mauvais pour la société et ce qu’ils signifient pour l’avenir de l’IA. Google a reçu beaucoup de critiques pour son nouveau modèle BARD qui a répondu incorrectement à une question complexe (légèrement). Lorsqu’on lui a demandé « Quelles nouvelles découvertes du télescope spatial James Webb puis-je raconter à mon enfant de 9 ans ? » – le chatbot a fourni trois réponses, dont 2 étaient correctes et 1 était incorrecte. La mauvaise réponse était que la première photo de planète extrasolaire a été prise par JWST, ce qui est incorrect. Donc, en gros, le modèle avait un fait incorrect stocké dans sa base de connaissances. Pour que les grands modèles de langage soient efficaces, nous devons trouver un moyen de mettre à jour ces faits ou de les compléter avec de nouvelles connaissances.

Examinons d’abord comment les faits sont stockés à l’intérieur d’un grand modèle de langage (LLM). Les grands modèles de langage ne stockent pas les informations et les faits de manière traditionnelle comme les bases de données ou les fichiers. Au lieu de cela, ils ont été formés sur d’énormes quantités de données textuelles et ont appris des modèles et des relations dans ces données. Cela leur permet de générer des réponses similaires à celles des humains aux questions, mais ils n’ont pas d’emplacement de stockage spécifique pour leurs informations apprises. Lorsqu’ils répondent à une question, le modèle utilise sa formation pour générer une réponse en fonction de l’entrée qu’il reçoit. Les informations et les connaissances que possède un modèle de langage sont le résultat des modèles qu’il a appris dans les données sur lesquelles il a été formé, et non le résultat d’un stockage explicite dans la mémoire du modèle. L’architecture des Transformers sur laquelle la plupart des LLM modernes sont basés a un codage interne des faits qui est utilisé pour répondre à la question posée dans l’invite.

Donc, si les faits à l’intérieur de la mémoire interne du LLM sont incorrects ou obsolètes, de nouvelles informations doivent être fournies via une invite. L’invite est le texte envoyé au LLM avec la requête et les preuves à l’appui qui peuvent être de nouveaux faits corrigés ou des faits supplémentaires. Voici 3 façons d’aborder cela.

1. Une façon de corriger les faits codés d’un LLM est de fournir de nouveaux faits pertinents pour le contexte en utilisant une base de connaissances externe. Cette base de connaissances peut être des appels d’API pour obtenir des informations pertinentes ou une recherche dans une base de données SQL, No-SQL ou Vector. Des connaissances plus avancées peuvent être extraites d’un graphique de connaissances qui stocke des entités de données et des relations entre elles. En fonction des informations que l’utilisateur demande, les informations de contexte pertinentes peuvent être récupérées et fournies comme faits supplémentaires au LLM. Ces faits peuvent également être formatés pour ressembler à des exemples de formation pour améliorer le processus d’apprentissage. Par exemple, vous pouvez passer une série de paires de questions et de réponses pour que le modèle apprenne à fournir des réponses.

2. Une façon plus innovante (et plus coûteuse) de compléter le LLM est la fine-tuning réelle en utilisant des données de formation. Au lieu de demander à la base de connaissances des faits spécifiques à ajouter, nous construisons un ensemble de données de formation en échantillonnant la base de connaissances. En utilisant des techniques d’apprentissage supervisé comme la fine-tuning, nous pourrions créer une nouvelle version du LLM qui est formée sur ces connaissances supplémentaires. Ce processus est généralement coûteux et peut coûter quelques milliers de dollars pour construire et maintenir un modèle fine-tuning dans OpenAI. Bien sûr, le coût devrait diminuer avec le temps.

3. Une autre option est d’utiliser des méthodes comme l’apprentissage par renforcement (RL) pour former un agent avec une rétroaction humaine et apprendre une politique pour répondre à des questions. Cette méthode a été très efficace pour construire des modèles de petite empreinte qui sont bons pour des tâches spécifiques. Par exemple, le célèbre ChatGPT publié par OpenAI a été formé sur une combinaison d’apprentissage supervisé et de RL avec une rétroaction humaine.

En résumé, c’est un espace en constante évolution avec chaque grande entreprise voulant y entrer et montrer sa différenciation. Nous allons bientôt voir des outils LLM majeurs dans la plupart des domaines comme la vente au détail, les soins de santé et la banque qui peuvent répondre de manière similaire à celle des humains en comprenant les nuances du langage. Ces outils LLM intégrés avec des données d’entreprise peuvent rationaliser l’accès et rendre les bonnes données disponibles aux bonnes personnes au bon moment.