Pourquoi les grands modèles de langage ignorent les instructions et comment résoudre le problème

Grands modèles de langage (LLM) sont rapidement devenus indispensables Intelligence artificielle (AI) Outils, alimentant des applications allant des chatbots à la création de contenu en passant par l'assistance au codage. Malgré leurs capacités impressionnantes, ces modèles sont souvent confrontés à un problème : ils ignorent parfois des parties des instructions reçues, notamment lorsque celles-ci sont longues ou comportent plusieurs étapes. Ce manquement entraîne des résultats incomplets ou inexacts, ce qui peut engendrer de la confusion et saper la confiance dans les systèmes d'IA. Comprendre pourquoi les LLM ignorent des instructions et comment résoudre ce problème est essentiel pour les utilisateurs qui s'appuient sur ces modèles pour obtenir des résultats précis et fiables.

Pourquoi les LLM sautent-ils les instructions ? 

Les LLM lisent le texte d'entrée comme une séquence de jetons. Ces jetons sont les petits fragments qui divisent le texte. Le modèle les traite les uns après les autres, du début à la fin. Ainsi, les instructions au début du texte d'entrée ont tendance à retenir davantage l'attention. Les instructions ultérieures peuvent être moins prises en compte et ignorées.

Cela est dû au fait que les LLM ont une capacité d'attention limitée. L'attention est le mécanisme utilisé par les modèles pour déterminer les éléments d'entrée essentiels à la génération de réponses. Lorsque l'entrée est courte, l'attention est efficace. Mais elle diminue à mesure que l'entrée s'allonge ou que les instructions deviennent complexes. Cela affaiblit la concentration sur les parties suivantes, ce qui entraîne des sauts.

De plus, la multiplication des instructions simultanées accroît la complexité. Lorsque les instructions se chevauchent ou sont contradictoires, les modèles peuvent être confus. Ils peuvent tenter de répondre à tout, mais produire des réponses vagues ou contradictoires. Il en résulte souvent l'omission de certaines instructions.

Les LLM partagent également certaines limites, similaires à celles des humains. Par exemple, les humains peuvent perdre leur concentration en lisant des textes longs ou répétitifs. De même, les LLM peuvent oublier instructions ultérieures à mesure qu'ils traitent davantage de jetons. Cette perte de concentration fait partie de la conception et des limites du modèle.

Une autre raison réside dans la manière dont les LLM sont entraînés. Ils voient de nombreux exemples d'instructions simples, mais moins d'instructions complexes comportant plusieurs étapes. De ce fait, les modèles ont tendance à privilégier les instructions simples, plus courantes dans leurs données d'entraînement. Ce biais les pousse à ignorer les instructions complexes. De plus, les limites de jetons limitent la quantité d'entrées que le modèle peut traiter. Lorsque les entrées dépassent ces limites, les instructions au-delà de cette limite sont ignorées.

Exemple : Supposons que vous donniez cinq instructions à un LLM dans une seule invite. Le modèle pourrait se concentrer principalement sur les deux premières instructions et ignorer partiellement ou totalement les trois dernières. Cela affecte directement la manière dont le modèle traite les jetons séquentiellement et ses limites d'attention.

Dans quelle mesure les LLM gèrent-ils les instructions séquentielles d'après les résultats du SIFo 2024 ?

Des études récentes ont examiné attentivement la capacité des étudiants en master à suivre plusieurs instructions successives. Une étude importante est celle de Instructions séquentielles suivantes (SIFo) Benchmark 2024. Ce benchmark teste les modèles sur des tâches nécessitant l'exécution d'instructions étape par étape, telles que la modification de texte, la réponse à des questions, les mathématiques et le respect des règles de sécurité. Chaque instruction de la séquence dépend de l'exécution correcte de la précédente. Cette approche permet de vérifier si le modèle a correctement suivi l'ensemble de la séquence.

Les résultats du SIFo montrent que même les meilleurs LLM, comme GPT-4 et Claude-3, ont souvent du mal à suivre correctement toutes les instructions. C'est particulièrement vrai lorsque celles-ci sont longues ou complexes. L'étude met en évidence trois problèmes principaux rencontrés par les LLM pour suivre correctement les instructions :

Compréhension: Comprendre pleinement ce que signifie chaque instruction.

Raisonnement: Relier plusieurs instructions de manière logique pour garder la réponse claire.

Sortie fiable : Produire des réponses complètes et précises, couvrant toutes les instructions données.

Des techniques telles que ingénierie rapide et le réglage fin contribuent à améliorer la capacité des modèles à suivre les instructions. Cependant, ces méthodes ne résolvent pas complètement le problème du saut d'instructions. Apprentissage par renforcement avec rétroaction humaine (RLHF) Cela améliore encore la capacité du modèle à réagir de manière appropriée. Cependant, les modèles rencontrent des difficultés lorsque les instructions nécessitent de nombreuses étapes ou sont très complexes.

L'étude montre également que les LLM fonctionnent mieux lorsque les instructions sont simples, clairement séparées et bien organisées. Lorsque les tâches nécessitent de longues chaînes de raisonnement ou de nombreuses étapes, la précision du modèle diminue. Ces résultats suggèrent de meilleures façons d'utiliser les LLM et soulignent la nécessité de construire des modèles plus robustes, capables de suivre les instructions les unes après les autres.

Pourquoi les LLM ignorent les instructions : défis techniques et considérations pratiques

Les LLM peuvent ignorer des instructions en raison de plusieurs facteurs techniques et pratiques liés à la manière dont ils traitent et codent le texte d'entrée.

Capacité d'attention limitée et dilution de l'information

Les LLM s'appuient sur mécanismes d'attention d'attribuer de l'importance aux différentes parties de l'entrée. Lorsque les invites sont concises, l'attention du modèle est concentrée et efficace. Cependant, à mesure que l'invite s'allonge ou se répète, l'attention se dilue et les éléments ou instructions ultérieurs reçoivent moins d'attention, augmentant ainsi le risque d'être négligés. Ce phénomène, appelé dilution de l'information, est particulièrement problématique pour les instructions apparaissant tard dans une invite. De plus, les modèles ont limites de jetons fixes (par exemple, 2048 jetons) ; tout texte au-delà de ce seuil est tronqué et ignoré, ce qui entraîne l'omission complète des instructions à la fin.

Complexité et ambiguïté des résultats

Les étudiants en Master peuvent avoir du mal à fournir des réponses claires et complètes face à des instructions multiples ou contradictoires. Le modèle peut générer des réponses partielles ou vagues pour éviter les contradictions ou la confusion, omettant ainsi certaines instructions. L'ambiguïté dans la formulation des instructions pose également problème : des instructions floues ou imprécises empêchent le modèle de déterminer les actions prévues, ce qui augmente le risque d'omettre ou de mal interpréter certaines parties des données saisies.

Sensibilité à la conception et au formatage des invites

La structure et la formulation des consignes jouent également un rôle essentiel dans le suivi des instructions. Les recherches montrent que même de petits changements dans la rédaction ou la mise en forme des instructions peuvent avoir un impact significatif sur le respect du modèle.

Des invites mal structurées, manquant de séparation claire, de puces ou de numérotation, rendent difficile la distinction des étapes par le modèle, augmentant ainsi le risque de fusion ou d'omission d'instructions. La représentation interne de l'invite par le modèle est très sensible à ces variations, ce qui explique pourquoi l'ingénierie des invites (reformulation ou restructuration des invites) peut améliorer considérablement le respect des instructions, même si le contenu sous-jacent reste le même.

Comment corriger le problème de saut d'instructions dans les LLM

Améliorer la capacité des LLM à suivre les instructions avec précision est essentiel pour produire des résultats fiables et précis. Les bonnes pratiques suivantes doivent être prises en compte pour minimiser les sauts d'instructions et améliorer la qualité des réponses générées par l'IA :

Les tâches doivent être décomposées en parties plus petites

Les instructions longues ou comportant plusieurs étapes doivent être divisées en segments plus courts et plus ciblés. Fournir une ou deux instructions à la fois permet au modèle de mieux maintenir son attention et réduit le risque de manquer des étapes.

Exemple

Au lieu de combiner toutes les instructions en une seule invite, comme par exemple : «Résumez le texte, listez les points principaux, suggérez des améliorations et traduisez-le en français« Chaque instruction doit être présentée séparément ou en petits groupes.

Les instructions doivent être formatées à l'aide de listes numérotées ou de puces

Organiser les instructions avec une mise en forme explicite, comme des listes numérotées ou des puces, permet d'indiquer que chaque élément constitue une tâche distincte. Cette clarté augmente les chances que la réponse réponde à toutes les instructions.

Exemple

• Résumez le texte suivant.
• Énumérez les points principaux.
• Proposer des améliorations.

Ce formatage fournit des repères visuels qui aident le modèle à reconnaître et à séparer des tâches distinctes dans une invite.

Les instructions doivent être explicites et sans ambiguïté

Il est essentiel que les instructions précisent clairement la nécessité de réaliser chaque étape. Tout langage ambigu ou vague doit être évité. L'invite doit indiquer explicitement qu'aucune étape ne peut être ignorée.

Exemple

Veuillez effectuer les trois tâches ci-dessous. Il est interdit de sauter une étape.

Des déclarations directes comme celles-ci réduisent la confusion et encouragent le modèle à fournir des réponses complètes.

Des invites distinctes doivent être utilisées pour les tâches à enjeux élevés ou critiques

Chaque instruction doit être soumise individuellement pour les tâches où la précision et l'exhaustivité sont essentielles. Bien que cette approche puisse augmenter le temps d'interaction, elle améliore considérablement la probabilité d'obtenir des résultats complets et précis. Cette méthode garantit que le modèle se concentre entièrement sur une tâche à la fois, réduisant ainsi le risque d'instructions manquées.

Stratégies avancées pour équilibrer exhaustivité et efficacité

Attendre une réponse après chaque instruction peut être chronophage pour les utilisateurs. Pour gagner en efficacité tout en préservant la clarté et en réduisant le nombre d'instructions ignorées, les techniques d'invite avancées suivantes peuvent s'avérer efficaces :

Instructions de lot avec un formatage clair et des étiquettes explicites

Plusieurs instructions connexes peuvent être combinées en une seule invite, mais chacune doit être séparée par une numérotation ou un titre. L'invite doit également demander au modèle de répondre à toutes les instructions dans leur intégralité et dans l'ordre.

Exemple d'invite

Veuillez effectuer soigneusement toutes les tâches suivantes sans en sauter aucune :

1. Résumez le texte ci-dessous.
2. Énumérez les points principaux de votre résumé.
3. Proposez des améliorations en fonction des points principaux.
4. Traduisez le texte amélioré en français.

Invites de style chaîne de pensée

L'incitation à la chaîne de pensée guide le modèle à raisonner sur chaque étape de la tâche avant de fournir une réponse. Encourager le modèle à traiter les instructions de manière séquentielle au sein d'une même réponse permet de s'assurer qu'aucune étape n'est oubliée, réduisant ainsi le risque de sauter des instructions et améliorant l'exhaustivité.

Exemple d'invite

Lisez le texte ci-dessous et effectuez les tâches suivantes dans l'ordre. Présentez clairement votre travail :

• Résumez le texte.
• Identifiez les points principaux de votre résumé.
• Proposez des améliorations au texte.
• Traduisez le texte amélioré en français.

Veuillez répondre à toutes les tâches complètement et séparément dans une seule réponse.

Ajouter des instructions de fin et des rappels

Rappelez explicitement au modèle de :

• « Répondez complètement à chaque tâche. »
• « Ne sautez aucune instruction. »
• « Séparez clairement vos réponses. »

De tels rappels aident le modèle à se concentrer sur l’exhaustivité lorsque plusieurs instructions sont combinées.

Différents modèles et paramètres doivent être testés

Tous les LLM ne sont pas aussi performants dans le suivi d'instructions multiples. Il est conseillé d'évaluer différents modèles afin d'identifier ceux qui excellent dans les tâches à plusieurs étapes. De plus, l'ajustement de paramètres tels que la température, le nombre maximal de jetons et les invites système peut améliorer la précision et l'exhaustivité des réponses. Tester ces paramètres permet d'adapter le comportement du modèle aux exigences spécifiques de la tâche.

Il convient d'envisager d'affiner les modèles et d'utiliser des outils externes

Les modèles doivent être affinés sur des ensembles de données comprenant des instructions en plusieurs étapes ou séquentielles afin d'améliorer leur adhésion aux instructions complexes. Des techniques telles que RLHF peuvent encore améliorer le suivi des instructions.

Pour les cas d'utilisation avancés, l'intégration d'outils externes tels que des API, des plugins spécifiques à des tâches ou Génération augmentée de récupération (RAG) les systèmes peuvent fournir un contexte et un contrôle supplémentaires, améliorant ainsi la fiabilité et la précision des résultats.

Conclusion

Les LLM sont des outils puissants, mais peuvent ignorer les instructions lorsque les consignes sont longues ou complexes. Cela est dû à la façon dont ils lisent les informations et concentrent leur attention. Les instructions doivent être claires, simples et bien organisées pour des résultats meilleurs et plus fiables. Décomposer les tâches en parties plus petites, utiliser des listes et donner des instructions directes aide les modèles à suivre les étapes à la lettre.

Des invites distinctes peuvent améliorer la précision des tâches critiques, même si elles prennent plus de temps. De plus, des méthodes d'invite avancées, comme la chaîne de pensée et une mise en forme claire, permettent d'équilibrer rapidité et précision. Tester différents modèles et affiner les résultats peut également améliorer les résultats. Ces idées aideront les utilisateurs à obtenir des réponses cohérentes et complètes et rendront les outils d'IA plus utiles dans le travail réel.