Pourquoi les grands modèles de langage sautent-ils les instructions et comment résoudre ce problème

Les grands modèles de langage (LLM) sont devenus rapidement des outils indispensables d’intelligence artificielle (IA), alimentant des applications allant des chatbots et de la création de contenu à l’assistance à la programmation. Malgré leurs capacités impressionnantes, un défi commun que les utilisateurs rencontrent est que ces modèles sautent parfois certaines parties des instructions qu’ils reçoivent, en particulier lorsque ces instructions sont longues ou impliquent plusieurs étapes. Ce saut conduit à des sorties incomplètes ou inexactes, ce qui peut causer de la confusion et éroder la confiance dans les systèmes d’IA. Comprendre pourquoi les LLM sautent les instructions et comment résoudre ce problème est essentiel pour les utilisateurs qui comptent sur ces modèles pour des résultats précis et fiables.

Pourquoi les LLM sautent-ils les instructions ?

Les LLM fonctionnent en lisant le texte d’entrée comme une séquence de jetons. Les jetons sont les petites parties dans lesquelles le texte est divisé. Le modèle traite ces jetons les uns après les autres, du début à la fin. Cela signifie que les instructions au début de l’entrée tendent à recevoir plus d’attention. Les instructions ultérieures peuvent recevoir moins d’attention et peuvent être ignorées.

Cela se produit parce que les LLM ont une capacité d’attention limitée. L’attention est le mécanisme que les modèles utilisent pour décider quelles parties de l’entrée sont essentielles lors de la génération de réponses. Lorsque l’entrée est courte, l’attention fonctionne bien. Mais l’attention devient moins efficace à mesure que l’entrée devient plus longue ou que les instructions deviennent plus complexes. Cette diminution de l’attention sur les parties ultérieures entraîne un saut.

De plus, de nombreuses instructions en même temps augmentent la complexité. Lorsque les instructions se chevauchent ou entrent en conflit, les modèles peuvent être déconcertés. Ils peuvent essayer de répondre à tout, mais produire des réponses vagues ou contradictoires. Cela entraîne souvent l’omission de certaines instructions.

Les LLM partagent également certaines limites humaines. Par exemple, les humains peuvent perdre leur concentration lors de la lecture de textes longs ou répétitifs. De même, les LLM peuvent oublier les instructions ultérieures à mesure qu’ils traitent davantage de jetons. Cette perte de concentration fait partie de la conception et des limites du modèle.

Une autre raison est la façon dont les LLM sont formés. Ils voient de nombreux exemples d’instructions simples, mais moins d’instructions complexes et à plusieurs étapes. En raison de cela, les modèles ont tendance à préférer suivre des instructions plus simples qui sont plus courantes dans leurs données de formation. Cette préférence les amène à sauter les instructions complexes. De plus, les limites de jetons restreignent la quantité d’entrée que le modèle peut traiter. Lorsque les entrées dépassent ces limites, les instructions au-delà de la limite sont ignorées.

Exemple : Supposons que vous donniez à un LLM cinq instructions dans une seule invite. Le modèle peut se concentrer principalement sur les deux premières instructions et ignorer partiellement ou entièrement les trois dernières. Cela affecte directement la façon dont le modèle traite les jetons de manière séquentielle et ses limites d’attention.

Comment les LLM gèrent-ils les instructions séquentielles selon les résultats de SIFo 2024

Des études récentes ont examiné attentivement la façon dont les LLM suivent plusieurs instructions données les unes après les autres. L’une de ces études importantes est le Benchmark de suivi d’instructions séquentielles (SIFo) 2024. Ce benchmark teste les modèles sur des tâches qui nécessitent la réalisation étape par étape d’instructions telles que la modification de texte, la réponse à des questions, les mathématiques et le suivi de règles de sécurité. Chaque instruction dans la séquence dépend de la réalisation correcte de celle qui la précède. Cette approche aide à vérifier si le modèle a suivi toute la séquence correctement.

Les résultats de SIFo montrent que même les meilleurs LLM, comme GPT-4 et Claude-3, ont souvent du mal à terminer toutes les instructions correctement. C’est particulièrement vrai lorsque les instructions sont longues ou complexes. La recherche met en évidence trois principaux problèmes que les LLM rencontrent lors du suivi d’instructions :

Compréhension : Comprendre pleinement ce que signifie chaque instruction.

Raisonnement : Relier logiquement plusieurs instructions pour maintenir la clarté de la réponse.

Sortie fiable : Produire des réponses complètes et précises, couvrant toutes les instructions données.

Des techniques telles que l’ingénierie d’invite et la fine-tuning aident à améliorer la façon dont les modèles suivent les instructions. Cependant, ces méthodes n’aident pas complètement à résoudre le problème de saut d’instructions. L’utilisation de l’apprentissage par renforcement avec rétroaction humaine (RLHF) améliore encore la capacité du modèle à répondre de manière appropriée. Cependant, les modèles ont des difficultés lorsqu’il s’agit d’instructions nécessitant de nombreuses étapes ou très complexes.

L’étude montre également que les LLM fonctionnent mieux lorsque les instructions sont simples, clairement séparées et bien organisées. Lorsque les tâches nécessitent de longues chaînes de raisonnement ou de nombreuses étapes, la précision du modèle diminue. Ces résultats aident à suggérer de meilleures façons d’utiliser les LLM et montrent la nécessité de construire des modèles plus solides capables de suivre réellement les instructions les unes après les autres.

Pourquoi les LLM sautent-ils les instructions : défis techniques et considérations pratiques

Les LLM peuvent sauter les instructions en raison de plusieurs facteurs techniques et pratiques enracinés dans la façon dont ils traitent et codent le texte d’entrée.

Capacité d’attention limitée et dilution d’informations

Les LLM s’appuient sur des mécanismes d’attention pour attribuer de l’importance à différentes parties de l’entrée. Lorsque les invites sont concises, l’attention du modèle est focalisée et efficace. Cependant, à mesure que l’invite devient plus longue ou plus répétitive, l’attention se dilue, et les jetons ou les instructions ultérieurs reçoivent moins d’attention, augmentant la probabilité qu’ils soient négligés. Ce phénomène, connu sous le nom de dilution d’informations, est particulièrement problématique pour les instructions qui apparaissent tard dans une invite. De plus, les modèles ont des limites de jetons fixes (par exemple, 2048 jetons) ; tout texte au-delà de ce seuil est tronqué et ignoré, provoquant le saut d’instructions à la fin.

Complexité et ambiguïté de la sortie

Les LLM peuvent avoir du mal à produire des réponses claires et complètes lorsqu’ils sont confrontés à des instructions multiples ou contradictoires. Le modèle peut générer des réponses partielles ou vagues pour éviter les contradictions ou la confusion, omettant ainsi certaines instructions. L’ambiguïté dans la formulation des instructions pose également des défis : les invites peu claires ou imprécises rendent difficile pour le modèle de déterminer les actions intentionnelles, augmentant le risque de sauter ou de mal interpréter certaines parties de l’entrée.

Sensibilité de la conception et du formatage de l’invite

La structure et la formulation des invites jouent également un rôle critique dans le suivi des instructions. La recherche montre que même de petits changements dans la façon dont les instructions sont écrites ou formatées peuvent avoir un impact significatif sur la façon dont le modèle les suit.

Les invites mal structurées, manquant de séparation claire, de points de liste ou de numérotation, rendent plus difficile pour le modèle de distinguer entre les étapes, augmentant la chance de fusionner ou d’omettre des instructions. La représentation interne du modèle de l’invite est très sensible à ces variations, ce qui explique pourquoi l’ingénierie d’invite (reformulation ou restructuration d’invites) peut améliorer considérablement l’adhésion aux instructions, même si le contenu sous-jacent reste le même.

Comment résoudre le problème de saut d’instructions dans les LLM

Améliorer la capacité des LLM à suivre les instructions avec précision est essentiel pour produire des résultats fiables et précis. Les meilleures pratiques suivantes devraient être considérées pour minimiser le saut d’instructions et améliorer la qualité des réponses générées par l’IA :

Les tâches doivent être divisées en parties plus petites

Les invites longues ou à plusieurs étapes doivent être divisées en segments plus courts et plus ciblés. Fournir une ou deux instructions à la fois permet au modèle de maintenir une meilleure attention et réduit la probabilité de manquer des étapes.

Exemple

Au lieu de combiner toutes les instructions dans une seule invite, comme “Résumez le texte, listez les points principaux, suggérez des améliorations et traduisez-le en français“, chaque instruction doit être présentée séparément ou en petits groupes.

Les instructions doivent être formatées à l’aide de listes numérotées ou de points de liste

Organiser les instructions avec un formatage explicite, tel que des listes numérotées ou des points de liste, aide à indiquer que chaque élément est une tâche individuelle. Cette clarté augmente les chances que la réponse aborde toutes les instructions.

Exemple

• Résumez le texte suivant.
• Listez les points principaux.
• Suggérez des améliorations.

Un tel formatage fournit des indices visuels qui aident le modèle à reconnaître et à séparer les tâches distinctes dans une invite.

Les instructions doivent être explicites et non ambiguës

Il est essentiel que les instructions indiquent clairement l’exigence de terminer chaque étape. Le langage ambigu ou vague doit être évité. L’invite doit indiquer explicitement qu’aucune étape ne peut être sautée.

Exemple

“Veuillez terminer toutes les trois tâches ci-dessous. Sauter des étapes n’est pas acceptable.”

Des déclarations directes comme celle-ci réduisent la confusion et encouragent le modèle à fournir des réponses complètes.

Des invites séparées doivent être utilisées pour les tâches à haut risque ou critiques

Chaque instruction doit être soumise comme une invite individuelle pour les tâches où l’exactitude et la complétude sont critiques. Même si cette approche peut augmenter le temps d’interaction, elle améliore considérablement la probabilité d’obtenir des sorties complètes et précises. Cette méthode garantit que le modèle se concentre entièrement sur une tâche à la fois, réduisant le risque d’instructions manquées.

Stratégies avancées pour équilibrer la complétude et l’efficacité

Attendre une réponse après chaque instruction peut être chronophage pour les utilisateurs. Pour améliorer l’efficacité tout en maintenant la clarté et en réduisant les instructions sautées, les techniques d’invite avancées suivantes peuvent être efficaces :

Les instructions doivent être regroupées avec un formatage clair et des étiquettes explicites

Plusieurs instructions liées peuvent être combinées dans une seule invite, mais chacune doit être séparée à l’aide de numérotation ou d’en-têtes. L’invite doit également instruire le modèle de répondre à toutes les instructions entièrement et dans l’ordre.

Exemple d’invite

Veuillez terminer toutes les tâches suivantes avec soin sans en sauter aucune :

1. Résumez le texte ci-dessous.
2. Listez les points principaux de votre résumé.
3. Suggérez des améliorations en fonction des points principaux.
4. Traduisez le texte amélioré en français.

Invites de chaîne de pensée

Les invites de style chaîne de pensée guident le modèle pour raisonner à travers chaque tâche étape par étape avant de fournir une réponse. Encourager le modèle à traiter les instructions de manière séquentielle dans une seule réponse aide à garantir que les étapes ne sont pas négligées, réduisant ainsi la probabilité de sauter des instructions et améliorant la complétude.

Exemple d’invite

Lisez le texte ci-dessous et effectuez les tâches suivantes dans l’ordre. Montrez votre travail clairement :

• Résumez le texte.
• Identifiez les points principaux de votre résumé.
• Suggérez des améliorations du texte.
• Traduisez le texte amélioré en français.

Veuillez répondre à toutes les tâches de manière complète et séparée dans une seule réponse.

Ajouter des instructions de terminaison et des rappels

Rappelez explicitement au modèle de :

• “Répondez à chaque tâche de manière complète.”
• “N’omettez aucune instruction.”
• “Séparez vos réponses clairement.”

De tels rappels aident le modèle à se concentrer sur la complétude lorsque plusieurs instructions sont combinées.

Des modèles et des paramètres différents doivent être testés

Tous les LLM ne performent pas de la même manière pour suivre plusieurs instructions. Il est conseillé d’évaluer différents modèles pour identifier ceux qui excellent dans les tâches à plusieurs étapes. De plus, ajuster des paramètres tels que la température, les jetons maximum et les invites système peut améliorer encore la focalisation et la complétude des réponses. Tester ces paramètres aide à adapter le comportement du modèle aux exigences spécifiques de la tâche.

La fine-tuning des modèles et l’utilisation d’outils externes doivent être considérées

Les modèles doivent être affinés sur des ensembles de données qui incluent des instructions à plusieurs étapes ou séquentielles pour améliorer leur adhésion aux invites complexes. Des techniques telles que RLHF peuvent encore améliorer le suivi des instructions.

Pour les cas d’utilisation avancés, l’intégration d’outils externes tels que des API, des plugins spécifiques à la tâche ou des systèmes de génération augmentée de récupération (RAG) peut fournir un contexte et un contrôle supplémentaires, améliorant ainsi la fiabilité et la précision des sorties.

En résumé

Les LLM sont des outils puissants mais peuvent sauter des instructions lorsque les invites sont longues ou complexes. Cela se produit en raison de la façon dont ils lisent l’entrée et focalisent leur attention. Les instructions doivent être claires, simples et bien organisées pour obtenir des résultats meilleurs et plus fiables. Diviser les tâches en parties plus petites, utiliser des listes et donner des instructions directes aident les modèles à suivre les étapes de manière complète.

Des invites séparées peuvent améliorer la précision pour les tâches critiques, bien qu’elles prennent plus de temps. De plus, des méthodes d’invite avancées comme la chaîne de pensée et le formatage clair aident à équilibrer la vitesse et la précision. En outre, tester différents modèles et affiner les paramètres peut également améliorer les résultats. Ces idées aideront les utilisateurs à obtenir des réponses cohérentes et complètes et à rendre les outils d’IA plus utiles dans le travail réel.