La référence Michelangelo de DeepMind : révéler les limites des LLM à long contexte

Alors que l’intelligence artificielle (IA) continue de progresser, la capacité à traiter et à comprendre de longues séquences d’informations devient de plus en plus vitale. Les systèmes d’IA sont maintenant utilisés pour des tâches complexes comme l’analyse de longs documents, le suivi de conversations prolongées et le traitement de grandes quantités de données. Cependant, de nombreux modèles actuels ont du mal avec la raisonnement à long contexte. À mesure que les entrées s’allongent, ils perdent souvent la trace des détails importants, ce qui entraîne des résultats moins précis ou moins cohérents.

Ce problème est particulièrement préoccupant dans les secteurs de la santé, des services juridiques et de la finance, où les outils d’IA doivent gérer des documents détaillés ou des discussions prolongées tout en fournissant des réponses précises et sensibles au contexte. Un défi courant est la dérive de contexte, où les modèles perdent de vue les informations précédentes à mesure qu’ils traitent de nouvelles entrées, ce qui entraîne des résultats moins pertinents.

Pour remédier à ces limitations, DeepMind a développé la référence Michelangelo. Cet outil teste rigoureusement la capacité des modèles d’IA à gérer le raisonnement à long contexte. Inspirée par l’artiste Michelangelo, connu pour avoir révélé des sculptures complexes à partir de blocs de marbre, la référence aide à découvrir comment les modèles d’IA peuvent extraire des modèles significatifs de grandes bases de données. En identifiant les points faibles des modèles actuels, la référence Michelangelo conduit à des améliorations futures de la capacité de l’IA à raisonner sur de longs contextes.

Comprendre le raisonnement à long contexte dans l’IA

Le raisonnement à long contexte concerne la capacité d’un modèle d’IA à rester cohérent et précis sur de longues séquences de texte, de code ou de conversation. Les modèles comme GPT-4 et PaLM-2 fonctionnent bien avec des entrées courtes ou de longueur modérée. Cependant, ils ont du mal avec les contextes plus longs. À mesure que la longueur de l’entrée augmente, ces modèles perdent souvent la trace des détails essentiels des parties précédentes. Cela entraîne des erreurs de compréhension, de résumé ou de prise de décision. Ce problème est connu sous le nom de limitation de la fenêtre de contexte. La capacité du modèle à retenir et à traiter l’information diminue à mesure que le contexte s’allonge.

Ce problème est important dans les applications du monde réel. Par exemple, dans les services juridiques, les modèles d’IA analysent des contrats, des études de cas ou des réglementations qui peuvent faire des centaines de pages. Si ces modèles ne peuvent pas retenir et raisonner efficacement sur de tels documents longs, ils pourraient manquer des clauses essentielles ou interpréter incorrectement des termes juridiques. Cela pourrait entraîner des conseils ou des analyses incorrects. Dans le domaine de la santé, les systèmes d’IA doivent synthétiser des dossiers de patients, des antécédents médicaux et des plans de traitement qui s’étendent sur des années ou même des décennies. Si un modèle ne peut pas rappeler avec précision les informations critiques des dossiers précédents, il pourrait recommander des traitements inappropriés ou diagnostiquer incorrectement les patients.

Même si des efforts ont été faits pour améliorer les limites de jeton des modèles (comme GPT-4 qui gère jusqu’à 32 000 jetons, soit environ 50 pages de texte), le raisonnement à long contexte est toujours un défi. Le problème de la fenêtre de contexte limite la quantité d’entrée qu’un modèle peut gérer et affecte sa capacité à maintenir une compréhension précise tout au long de la séquence d’entrée. Cela entraîne une dérive de contexte, où le modèle oublie progressivement les détails précédents à mesure que de nouvelles informations sont introduites. Cela réduit sa capacité à générer des sorties cohérentes et pertinentes.

La référence Michelangelo : concept et approche

La référence Michelangelo aborde les défis du raisonnement à long contexte en testant les LLM sur des tâches qui nécessitent de retenir et de traiter l’information sur des séquences étendues. Contrairement aux références précédentes, qui se concentrent sur des tâches à court contexte comme la complétion de phrases ou la réponse à des questions simples, la référence Michelangelo met l’accent sur des tâches qui obligent les modèles à raisonner sur de longues séquences de données, souvent avec des distractions ou des informations non pertinentes.

La référence Michelangelo met les modèles d’IA à l’épreuve en utilisant le cadre des requêtes de structure latente (LSQ). Cette méthode oblige les modèles à trouver des modèles significatifs dans de grandes bases de données tout en filtrant les informations non pertinentes, similaire à la façon dont les humains trient les données complexes pour se concentrer sur ce qui est important. La référence se concentre sur deux domaines principaux : le langage naturel et le code, en introduisant des tâches qui testent plus que la simple récupération de données.

L’une des tâches importantes est la tâche de liste latente. Dans cette tâche, le modèle reçoit une séquence d’opérations sur des listes Python, comme l’ajout, la suppression ou le tri d’éléments, puis il doit produire la liste finale correcte. Pour la rendre plus difficile, la tâche inclut des opérations non pertinentes, telles que l’inversion de la liste ou l’annulation des étapes précédentes. Cela teste la capacité du modèle à se concentrer sur les opérations critiques, simulant la façon dont les systèmes d’IA doivent gérer de grandes bases de données avec des informations de pertinence mixte.

Une autre tâche critique est la résolution de co-référence multi-rondes (MRCR). Cette tâche mesure comment bien le modèle peut suivre les références dans de longues conversations avec des sujets chevauchants ou flous. Le défi est pour le modèle de relier les références faites plus tard dans la conversation à des points précédents, même lorsque ces références sont cachées sous des détails non pertinents. Cette tâche reflète les discussions du monde réel, où les sujets changent souvent et où l’IA doit suivre et résoudre les références pour maintenir une communication cohérente.

En outre, Michelangelo comporte la tâche IDK, qui teste la capacité d’un modèle à reconnaître lorsqu’il n’a pas suffisamment d’informations pour répondre à une question. Dans cette tâche, le modèle est présenté avec du texte qui peut ne pas contenir les informations pertinentes pour répondre à une requête spécifique. Le défi est pour le modèle d’identifier les cas où la réponse correcte est “Je ne sais pas” plutôt que de fournir une réponse plausible mais incorrecte. Cette tâche reflète un aspect critique de la fiabilité de l’IA – la reconnaissance de l’incertitude.

Grâce à des tâches comme celles-ci, Michelangelo va au-delà de la simple récupération pour tester la capacité d’un modèle à raisonner, à synthétiser et à gérer les entrées à long contexte. Il introduit une référence scalable, synthétique et non-fuie pour le raisonnement à long contexte, fournissant une mesure plus précise de l’état actuel et du potentiel futur des LLM.

Implications pour la recherche et le développement de l’IA

Les résultats de la référence Michelangelo ont des implications importantes pour le développement de l’IA. La référence montre que les LLM actuels ont besoin d’une meilleure architecture, en particulier dans les mécanismes d’attention et les systèmes de mémoire. Actuellement, la plupart des LLM reposent sur des mécanismes d’auto-attention. Ceux-ci sont efficaces pour les tâches courtes mais ont du mal lorsque le contexte s’allonge. C’est là que nous voyons le problème de la dérive de contexte, où les modèles oublient ou mélangent les détails précédents. Pour résoudre ce problème, les chercheurs explorent les modèles à mémoire augmentée. Ces modèles peuvent stocker les informations importantes des parties précédentes d’une conversation ou d’un document, permettant à l’IA de rappeler et d’utiliser ces informations lorsqu’elles sont nécessaires.

Une autre approche prometteuse est le traitement hiérarchique. Cette méthode permet à l’IA de diviser les entrées longues en parties plus petites et gérables, ce qui l’aide à se concentrer sur les détails les plus pertinents à chaque étape. De cette façon, le modèle peut gérer des tâches complexes sans être submergé par trop d’informations à la fois.

L’amélioration du raisonnement à long contexte aura un impact considérable. Dans le domaine de la santé, cela pourrait signifier une meilleure analyse des dossiers de patients, où l’IA peut suivre l’historique d’un patient dans le temps et offrir des recommandations de traitement plus précises. Dans les services juridiques, ces progrès pourraient conduire à des systèmes d’IA capables d’analyser des contrats longs ou des lois avec plus de précision, fournissant ainsi des insights plus fiables pour les avocats et les professionnels du droit.

Cependant, avec ces progrès viennent des préoccupations éthiques cruciales. À mesure que l’IA devient meilleure pour retenir et raisonner sur de longs contextes, il existe un risque d’exposer des informations sensibles ou privées. C’est une préoccupation réelle pour les secteurs de la santé et des services à la clientèle, où la confidentialité est critique.

Si les modèles d’IA retiennent trop d’informations d’interactions précédentes, ils pourraient involontairement révéler des détails personnels dans des conversations futures. De plus, à mesure que l’IA devient meilleure pour générer du contenu à long terme convaincant, il existe un danger qu’elle puisse être utilisée pour créer des informations erronées ou des désinformations plus avancées, compliquant ainsi les défis entourant la régulation de l’IA.

Le point clé

La référence Michelangelo a révélé des insights sur la façon dont les modèles d’IA gèrent des tâches complexes à long contexte, mettant en évidence leurs forces et leurs limites. Cette référence favorise l’innovation à mesure que l’IA se développe, encourageant de meilleures architectures de modèles et des systèmes de mémoire améliorés. Le potentiel de transformation d’industries comme la santé et les services juridiques est excitant mais vient avec des responsabilités éthiques.

Les préoccupations de confidentialité, de désinformation et d’équité doivent être abordées à mesure que l’IA devient plus habile à gérer de grandes quantités d’informations. La croissance de l’IA doit rester axée sur le bénéfice de la société de manière réfléchie et responsable.