Les meilleurs modèles d’IA ont du mal avec les documents longs

Une nouvelle étude menée par des chercheurs de l’Université Ludwig Maximilians de Munich, du Centre de machine learning de Munich et d’Adobe Research a mis au jour une faiblesse dans les modèles de langage d’IA : ils ont du mal à comprendre les documents longs de manière qui pourrait vous surprendre. Les résultats de l’équipe de recherche montrent que même les modèles d’IA les plus avancés ont des difficultés à établir des liens entre les informations lorsqu’ils ne peuvent pas se fier à la simple correspondance de mots.

Le problème caché des compétences de lecture de l’IA

Imaginez que vous essayez de trouver un détail spécifique dans un long article de recherche. Vous pourriez parcourir rapidement le document, en établissant des liens mentaux entre les différentes sections pour reconstituer les informations dont vous avez besoin. De nombreux modèles d’IA, il s’avère, ne fonctionnent pas de cette façon. Au lieu de cela, ils s’appuient souvent lourdement sur la recherche de correspondances de mots exacts, semblable à l’utilisation de Ctrl+F sur votre ordinateur.

L’équipe de recherche a développé un nouveau référentiel appelé NOLIMA (No Literal Matching) pour tester divers modèles d’IA. Les résultats ont montré que lorsque les modèles d’IA traitent des textes plus longs que 2 000 mots, leur performance chute de manière spectaculaire. Lorsqu’ils atteignent 32 000 mots – environ la longueur d’un court livre – la plupart des modèles fonctionnent à moitié de leur capacité habituelle. Cela comprenait des tests de modèles importants tels que GPT-4o, Gemini 1.5 Pro et Llama 3.3 70B.

Envisagez un chercheur médical utilisant l’IA pour analyser les dossiers des patients, ou une équipe juridique utilisant l’IA pour examiner les documents relatifs à une affaire. Si l’IA manque des liens cruciaux parce que les informations pertinentes utilisent des mots différents de ceux de la requête de recherche, les conséquences pourraient être importantes.

Pourquoi la correspondance de mots ne suffit pas

Les modèles d’IA actuels traitent le texte à l’aide d’un mécanisme d’attention. Ce système aide l’IA à se concentrer sur différentes parties du texte pour comprendre les relations entre les mots et les idées. Lorsqu’ils traitent des textes courts, cela fonctionne suffisamment bien. Cependant, la recherche montre que ce mécanisme est submergé à mesure que les textes s’allongent, en particulier lorsqu’il ne peut pas se fier à des correspondances de mots exactes.

Le test NOLIMA a révélé cette limitation en posant des questions aux modèles d’IA dont les réponses nécessitaient une compréhension du contexte plutôt que la recherche de mots correspondants. Les résultats ont été éloquents. Alors que les modèles fonctionnaient bien avec des textes courts, leur capacité à établir ces liens a chuté de manière significative à mesure que la longueur du texte augmentait. Même les modèles spécialisés conçus pour les tâches de raisonnement ont obtenu des scores d’exactitude inférieurs à 50 % lorsqu’ils traitaient des documents plus longs.

Sans le soutien de la correspondance de mots, les modèles d’IA ont du mal à:

• Établir des liens entre des concepts liés qui utilisent une terminologie différente
• Suivre des chemins de raisonnement multi-étapes
• Trouver des informations pertinentes lorsqu’elles apparaissent après le contexte clé
• Ignorer les correspondances de mots trompeuses dans les sections non pertinentes

Les chiffres racontent l’histoire

Les résultats de la recherche dressent un tableau sombre de la façon dont les modèles d’IA traitent les textes plus longs. GPT-4o a montré les meilleures performances, en maintenant son efficacité jusqu’à environ 8 000 jetons (environ 6 000 mots). Cependant, même ce modèle le plus performant a montré un déclin significatif avec des textes plus longs. La plupart des autres modèles, y compris Gemini 1.5 Pro et Llama 3.3 70B, ont connu un déclin aigu de leurs performances entre 2 000 et 8 000 jetons.

Le déclin des performances est devenu encore plus prononcé lorsque les tâches nécessitaient plusieurs étapes de raisonnement. Par exemple, si un modèle devait établir deux liens logiques – comme comprendre qu’un personnage vivait à proximité d’un point de repère, et que ce point de repère se trouvait dans une ville spécifique – le taux de réussite a chuté considérablement. La recherche a montré que ce type de raisonnement multi-étapes est particulièrement difficile dans les textes au-delà de 16 000 jetons, même en utilisant des techniques conçues pour améliorer le raisonnement, telles que Chain-of-Thought prompting.

Ce qui rend ces résultats particulièrement remarquables, c’est qu’ils remettent en question les allégations sur la capacité des modèles d’IA à gérer des contextes longs. Alors que de nombreux modèles annoncent un support pour des fenêtres de contexte étendues, le référentiel NOLIMA montre que la compréhension effective chute bien avant d’atteindre ces limites théoriques.

Source: Modarressi et al.

Lorsque l’IA manque la forêt pour les arbres

Ces limitations ont des implications graves pour la façon dont nous utilisons l’IA dans les applications du monde réel. Envisagez un système d’IA juridique qui recherche des précédents dans les lois. Il pourrait manquer des précédents pertinents simplement parce qu’ils utilisent une terminologie différente de celle de la requête de recherche. Le système pourrait plutôt se concentrer sur des affaires moins pertinentes qui partagent plus de mots avec les termes de recherche.

L’impact sur la recherche et l’analyse de documents est particulièrement préoccupant. Les systèmes de recherche actuels alimentés par l’IA s’appuient souvent sur une technique appelée Retrieval-Augmented Generation (RAG). Même lorsque ces systèmes parviennent à récupérer un document contenant les bonnes informations, l’IA pourrait échouer à reconnaître sa pertinence si la formulation diffère de la requête. Au lieu de cela, l’IA pourrait être attirée par des documents moins pertinents qui partagent des similitudes de surface avec les termes de recherche.

Pour les utilisateurs d’IA, ces résultats suggèrent plusieurs considérations importantes:

Premièrement, les requêtes et les documents plus courts donneront probablement des résultats plus fiables. Lorsque vous travaillez avec des textes plus longs, les diviser en segments plus petits et plus ciblés pourrait aider à maintenir les performances de l’IA.

Deuxièmement, les utilisateurs devraient être particulièrement prudents lorsqu’ils demandent à l’IA d’établir des liens entre différentes parties d’un document long. La recherche montre que les modèles d’IA ont le plus de mal lorsqu’ils doivent reconstituer des informations à partir de sections différentes, en particulier lorsque le lien n’est pas évident à travers le vocabulaire partagé.

Enfin, ces limitations mettent en évidence l’importance continue de la surveillance humaine. Alors que l’IA peut être un outil puissant pour traiter et analyser le texte, elle ne devrait pas être considérée comme un moyen unique d’identifier des liens importants dans des documents longs ou complexes. La capacité humaine à maintenir le contexte et à établir des liens conceptuels à travers des textes longs reste supérieure aux capacités actuelles de l’IA.

Les résultats servent de rappel que, malgré les progrès rapides de la technologie d’IA, ces systèmes traitent toujours l’information de manière très différente de celle des humains. Comprendre ces limitations est crucial pour utiliser les outils d’IA de manière efficace et pour savoir quand le jugement humain reste essentiel.

Que vient-il ensuite

Comprendre les limitations des modèles d’IA actuels pour traiter les textes longs ouvre des questions importantes sur l’avenir du développement d’IA. La recherche derrière le référentiel NOLIMA a révélé que nos approches actuelles de traitement de texte d’IA pourraient nécessiter un affinement significatif, en particulier dans la façon dont les modèles gèrent l’information à travers des passages plus longs.

Les solutions actuelles n’ont montré qu’un succès partiel. Le prompting de type Chain-of-Thought, qui encourage les modèles d’IA à décomposer leur raisonnement en étapes, améliore légèrement les performances. Par exemple, en utilisant cette technique, Llama 3.3 70B a montré une meilleure capacité à gérer des contextes plus longs. Cependant, cette approche est toujours insuffisante lorsqu’elle traite des textes au-delà de 16 000 jetons, suggérant que nous avons besoin de solutions plus fondamentales.

Le mécanisme d’attention, qui constitue le fondement de la façon dont les modèles d’IA actuels traitent le texte, nécessite une révision. Imaginez que vous essayez de mener une conversation dans une salle bondée – plus la conversation se prolonge, plus il devient difficile de suivre tous les points importants qui ont été mentionnés plus tôt. Nos modèles d’IA actuels sont confrontés à un défi similaire, mais à une échelle beaucoup plus grande.

En regardant vers l’avenir, les chercheurs explorent plusieurs directions prometteuses. Une approche consiste à développer de nouvelles façons pour l’IA d’organiser et de hiérarchiser l’information dans les textes longs, en allant au-delà de la simple correspondance de mots pour comprendre des liens conceptuels plus profonds. Cela pourrait fonctionner plus comme la façon dont les humains créent des cartes mentales d’informations, en connectant des idées en fonction de leur signification plutôt que juste de leur vocabulaire partagé.

Une autre zone de développement se concentre sur l’amélioration de la façon dont les modèles d’IA gèrent ce que les chercheurs appellent les “sauts latents” – les étapes logiques nécessaires pour relier différentes pièces d’information. Les modèles actuels ont du mal avec ces connexions, en particulier dans les textes plus longs, mais de nouvelles architectures pourraient aider à combler cet écart.

Pour ceux qui travaillent avec des outils d’IA aujourd’hui, ces résultats suggèrent plusieurs approches pratiques:

Envisagez de diviser les documents plus longs en segments significatifs lorsque vous travaillez avec l’IA. Cela aide à créer des sections logiques qui préservent le contexte important. Par exemple, si vous analysez un article de recherche, vous pourriez conserver les sections de méthodologie et de résultats ensemble, car elles contiennent souvent des informations liées.

Lorsque vous demandez à l’IA d’analyser des textes plus longs, soyez spécifique sur les liens que vous souhaitez qu’elle établisse. Au lieu de poser des questions larges, guidez l’IA vers les relations spécifiques que vous souhaitez explorer. Cela aide à compenser les limitations actuelles du modèle dans l’établissement de ces liens de manière indépendante.

Peut-être plus important encore, maintenez des attentes réalistes sur les capacités de l’IA avec les textes longs. Alors que ces outils peuvent être incroyablement utiles pour de nombreuses tâches, ils ne devraient pas être traités comme des remplacements complets de l’analyse humaine de documents complexes. La capacité humaine à maintenir le contexte et à établir des liens conceptuels à travers des textes longs reste supérieure aux capacités actuelles de l’IA.

La route à suivre pour le développement d’IA dans ce domaine est à la fois difficile et excitante. Alors que nous comprenons mieux ces limitations, nous pouvons travailler vers des systèmes d’IA qui comprennent vraiment les textes longs plutôt que de simplement les traiter. Jusqu’alors, utiliser l’IA de manière efficace signifie travailler avec ses limitations actuelles tout en appréciant ses forces.