Dernières avancées modernes en ingénierie de prompt : un guide complet

L’ingénierie de prompt, l’art et la science de créer des prompts qui élicitent des réponses désirées des LLM, est devenue un domaine crucial de recherche et de développement.

De l’amélioration des capacités de raisonnement à la possibilité d’une intégration transparente avec des outils et des programmes externes, les dernières avancées en ingénierie de prompt ouvrent de nouvelles frontières dans l’intelligence artificielle. Nous allons discuter des dernières techniques et stratégies de pointe qui façonnent l’avenir de l’ingénierie de prompt.

Ingénierie de prompt

Stratégies de prompt avancées pour la résolution de problèmes complexes

Alors que le prompt CoT a prouvé son efficacité pour de nombreuses tâches de raisonnement, les chercheurs ont exploré des stratégies de prompt plus avancées pour résoudre des problèmes encore plus complexes. Une telle approche est le prompt Least-to-Most, qui décompose un problème complexe en sous-problèmes plus simples et plus gérables, résolus de manière indépendante puis combinés pour atteindre la solution finale.

Une autre technique innovante est le prompt Tree of Thoughts (ToT), qui permet au LLM de générer plusieurs lignes de raisonnement ou “pensées” en parallèle, d’évaluer ses progrès vers la solution et de revenir en arrière ou d’explorer des chemins alternatifs si nécessaire. Cette approche utilise des algorithmes de recherche tels que la recherche en largeur ou en profondeur, permettant au LLM de procéder à une recherche anticipée et à un retour en arrière pendant le processus de résolution de problèmes.

Intégration des LLM avec des outils et des programmes externes

Alors que les LLM sont incroyablement puissants, ils ont des limites inhérentes, telles que l’incapacité d’accéder à des informations à jour ou de réaliser un raisonnement mathématique précis. Pour remédier à ces inconvénients, les chercheurs ont développé des techniques qui permettent aux LLM d’intégrer de manière transparente des outils et des programmes externes.

Un exemple notable est Toolformer, qui enseigne aux LLM à identifier les scénarios qui nécessitent l’utilisation d’outils externes, à spécifier quel outil utiliser, à fournir des entrées pertinentes et à intégrer la sortie de l’outil dans la réponse finale. Cette approche implique la construction d’un jeu de données de formation synthétique qui démontre l’utilisation appropriée de diverses API de texte à texte.

Un autre cadre innovant, Chameleon, adopte une approche “plug-and-play”, permettant à un contrôleur LLM central de générer des programmes de langage naturel qui composent et exécutent un large éventail d’outils, y compris des LLM, des modèles de vision, des moteurs de recherche Web et des fonctions Python. Cette approche modulaire permet à Chameleon de résoudre des tâches de raisonnement complexes et multimodales en exploitant les forces de différents outils et modèles.

Stratégies de prompt fondamentales

Prompting zero-shot

Le prompting zero-shot consiste à décrire la tâche dans le prompt et à demander au modèle de résoudre le problème sans exemples. Par exemple, pour traduire “fromage” en français, un prompt zero-shot pourrait être :

Cette approche est simple mais peut être limitée par l’ambiguïté des descriptions de tâches.

Prompting few-shot

Le prompting few-shot améliore le prompting zero-shot en incluant plusieurs exemples de la tâche. Par exemple :

Cette méthode réduit l’ambiguïté et fournit un guide plus clair pour le modèle, en exploitant les capacités d’apprentissage en contexte des LLM.

Prompting d’instruction

Le prompting d’instruction décrit explicitement la sortie désirée, ce qui est particulièrement efficace avec des modèles formés pour suivre des instructions. Par exemple :

Des modèles comme GPT-4 ont été spécifiquement affinés pour suivre de telles instructions avec précision.

Techniques de prompt avancées

Amélioration des capacités de raisonnement avec le prompting Chain-of-Thought

L’une des avancées les plus significatives dans l’ingénierie de prompt a été le développement du prompting Chain-of-Thought (CoT). Cette technique vise à éliciter et à améliorer les capacités de raisonnement des LLM en les encourageant à générer un processus de pensée étape par étape ou une rationale avant de fournir la réponse finale.

Gauche : Les méthodes traditionnelles de prompting des LLM reposent sur des entrées génériques (0-shot CoT) ou nécessitent des exemples étiquetés (few-shot CoT). Droite : La nouvelle approche prompte les LLM à créer eux-mêmes des exemples pertinents avant de résoudre le problème, éliminant ainsi le besoin d’étiquetage tout en personnalisant les exemples pour chaque problème unique

Le prompting CoT fonctionne en présentant au LLM des exemples qui incluent non seulement l’entrée et la sortie, mais également les étapes de raisonnement intermédiaires ou “chaîne de pensée” qui mène à la solution. En apprenant à partir de ces exemples, le LLM peut alors générer sa propre chaîne de pensée lorsqu’il est confronté à de nouveaux problèmes, améliorant ainsi sa capacité à résoudre des tâches de raisonnement complexes.

Exemple :

Entrée : Natalie a 3 pommes et veut les partager à parts égales avec ses 2 amis. Combien de pommes chaque personne recevra ? Chaîne de pensée : Okay, décomposons cela étape par étape :

1. Natalie a 3 pommes
2. Elle veut les partager à parts égales avec 2 amis
3. Il y a donc 3 personnes au total (Natalie et ses 2 amis)
4. Pour partager les pommes à parts égales, on divise le nombre total de pommes (3) par le nombre de personnes (3)
5. 3 divisé par 3 égale 1
6. Chaque personne recevra donc 1 pomme. Sortie : Chaque personne recevra 1 pomme.

En générant explicitement le processus de raisonnement, des LLM comme GPT-3 et Codex ont démontré des améliorations significatives dans les tâches de raisonnement arithmétique, de sens commun et de raisonnement symbolique.

Auto-cohérence

L’auto-cohérence améliore la fiabilité du prompting CoT en générant plusieurs chaînes de pensée et en prenant un vote majoritaire sur la réponse finale. Cette méthode atténue l’impact d’une seule chaîne de raisonnement incorrecte.

Prompting de moindre à plus

Le prompting de moindre à plus décompose les problèmes complexes en sous-problèmes plus simples, en résolvant chaque sous-problème séquentiellement et en utilisant le contexte des solutions précédentes pour éclairer les étapes suivantes. Cette approche est bénéfique pour les tâches de raisonnement à plusieurs étapes.

Avancées récentes en ingénierie de prompt

L’ingénierie de prompt évolue rapidement, et plusieurs techniques innovantes ont émergé pour améliorer les performances des grands modèles de langage (LLM). Nous allons explorer certaines de ces méthodes de pointe en détail :

Auto-CoT (Prompting automatique de chaîne de pensée)

Ce qu’il est : Auto-CoT est une méthode qui automatise la génération de chaînes de raisonnement pour les LLM, éliminant ainsi le besoin de créer manuellement des exemples. Cette technique utilise le prompting CoT zero-shot, où le modèle est guidé pour penser étape par étape afin de générer ses propres chaînes de raisonnement.

Comment ça marche :

1. Prompting CoT zero-shot : Le modèle reçoit un prompt simple comme “Pensons étape par étape” pour encourager un raisonnement détaillé.
2. Diversité des démonstrations : Auto-CoT sélectionne des questions diverses et génère des chaînes de raisonnement pour ces questions, garantissant une variété de types de problèmes et de modèles de raisonnement.

Avantages :

• Automation : Réduit l’effort manuel nécessaire pour créer des démonstrations de raisonnement.
• Performance : Sur diverses tâches de raisonnement de référence, Auto-CoT a égalé ou dépassé les performances du prompting CoT manuel.

Prompting basé sur la complexité

Ce qu’il est : Cette technique sélectionne des exemples avec la complexité la plus élevée (c’est-à-dire le plus grand nombre d’étapes de raisonnement) pour les inclure dans le prompt. Elle vise à améliorer les performances du modèle sur les tâches nécessitant plusieurs étapes de raisonnement.

Comment ça marche :

1. Sélection d’exemples : Les prompts sont choisis en fonction du nombre d’étapes de raisonnement qu’ils contiennent.
2. Cohérence basée sur la complexité : Lors de la décoding, plusieurs chaînes de raisonnement sont échantillonnées, et le vote majoritaire est pris parmi les chaînes les plus complexes.

Avantages :

• Amélioration des performances : Précision nettement améliorée sur les tâches de raisonnement à plusieurs étapes.
• Robustesse : Efficace même avec différentes distributions de prompts et des données bruyantes.

Progressive-Hint Prompting (PHP)

Ce qu’il est : PHP affine itérativement les réponses du modèle en utilisant les rationales générées précédemment comme indices. Cette méthode exploite les réponses précédentes du modèle pour le guider vers la bonne réponse à travers plusieurs itérations.

Comment ça marche :

1. Réponse initiale : Le modèle génère une réponse de base à l’aide d’un prompt standard.
2. Indices et affinements : Cette réponse de base est ensuite utilisée comme indice dans les prompts suivants pour affiner la réponse.
3. Processus itératif : Ce processus se poursuit jusqu’à ce que la réponse se stabilise sur plusieurs itérations consécutives.

Avantages :

• Précision : Améliorations significatives de la précision du raisonnement.
• Efficacité : Réduit le nombre de chemins d’échantillonnage nécessaires, améliorant ainsi l’efficacité computationnelle.

Decomposed Prompting (DecomP)

Ce qu’il est : DecomP décompose les tâches complexes en sous-tâches plus simples, chacune gérée par un prompt ou un modèle spécifique. Cette approche modulaire permet une gestion plus efficace des problèmes complexes.

Comment ça marche :

1. Décomposition de la tâche : Le problème principal est divisé en sous-tâches plus simples.
2. Gestionnaires de sous-tâches : Chaque sous-tâche est gérée par un modèle ou un prompt dédié.
3. <strong:Intégration modulaire : Ces gestionnaires peuvent être optimisés, remplacés ou combinés au besoin pour résoudre la tâche complexe.

Avantages :

• Flexibilité : Facile à déboguer et à améliorer des sous-tâches spécifiques.
• Scalabilité : Gère efficacement les tâches avec des contextes longs et des sous-tâches complexes.

Prompting d’hypothèses à théories (HtT)

Ce qu’il est : HtT utilise un processus de découverte scientifique où le modèle génère et vérifie des hypothèses pour résoudre des problèmes complexes. Cette méthode implique la création d’une bibliothèque de règles à partir d’hypothèses vérifiées, que le modèle utilise pour son raisonnement.

Comment ça marche :

1. Étape d’induction : Le modèle génère des règles potentielles et les vérifie contre des exemples de formation.
2. Création de la bibliothèque de règles : Les règles vérifiées sont collectées pour former une bibliothèque de règles.
3. Étape de déduction : Le modèle applique ces règles à de nouveaux problèmes, en utilisant la bibliothèque de règles pour guider son raisonnement.

Avantages :

• Précision : Réduit la probabilité d’erreurs en s’appuyant sur un ensemble vérifié de règles.
• Transférabilité : Les règles apprises peuvent être transférées entre différents modèles et formes de problèmes.

Techniques de prompt améliorées par les outils

Toolformer

Toolformer intègre les LLM avec des outils externes via des API de texte à texte, permettant au modèle d’utiliser ces outils pour résoudre des problèmes qu’il ne pourrait pas résoudre autrement. Par exemple, un LLM pourrait appeler une API de calcul pour effectuer des opérations arithmétiques.

Chameleon

Chameleon utilise un contrôleur LLM central pour générer un programme qui compose plusieurs outils pour résoudre des tâches de raisonnement complexes. Cette approche exploite un large éventail d’outils, y compris des modèles de vision et des moteurs de recherche Web, pour améliorer les capacités de résolution de problèmes.

GPT4Tools

GPT4Tools affine des LLM open-source pour utiliser des outils multimodaux via une approche d’auto-instruction, démontrant que même les modèles non propriétaires peuvent exploiter efficacement des outils externes pour améliorer leurs performances.

Gorilla et HuggingGPT

Gorilla et HuggingGPT intègrent les LLM avec des modèles d’apprentissage profond spécialisés disponibles en ligne. Ces systèmes utilisent un processus de finetuning avec prise en compte de la récupération et une approche de planification et de coordination, respectivement, pour résoudre des tâches complexes impliquant plusieurs modèles.

Modèles de langage aidés par des programmes (PAL) et programmes de pensée (PoT)

En plus d’intégrer des outils externes, les chercheurs ont exploré des moyens d’améliorer les capacités de résolution de problèmes des LLM en combinant le langage naturel avec des constructions de programmation. Les modèles de langage aidés par des programmes (PAL) et les programmes de pensée (PoT) sont deux approches qui utilisent du code pour augmenter le processus de raisonnement du LLM.

PAL amène le LLM à générer une rationale qui intercale le langage naturel avec du code (par exemple, Python), qui peut ensuite être exécuté pour produire la solution finale. Cette approche résout un cas de défaillance courant où les LLM génèrent un raisonnement correct mais produisent une réponse finale incorrecte.

De même, PoT emploie une bibliothèque de mathématiques symboliques comme SymPy, permettant au LLM de définir des symboles et des expressions mathématiques qui peuvent être combinés et évalués à l’aide de la fonction de résolution de SymPy. En déléguant des calculs complexes à un interpréteur de code, ces techniques découplent le raisonnement de la computation, permettant ainsi aux LLM de résoudre des problèmes plus complexes de manière efficace.

Compréhension et exploitation des fenêtres de contexte

Les performances des LLM dépendent fortement de leur capacité à traiter et à exploiter le contexte fourni dans le prompt. Les chercheurs ont étudié la manière dont les LLM gèrent les contextes longs et l’impact de l’information non pertinente ou distrayante sur leurs sorties.

Le phénomène “Perdu dans le milieu” met en évidence la tendance des LLM à accorder plus d’attention aux informations situées au début et à la fin de leur contexte, tandis que les informations du milieu sont souvent négligées ou “perdues”. Cette compréhension a des implications pour l’ingénierie de prompt, car la positionnement soigneux de l’information pertinente dans le contexte peut avoir un impact significatif sur les performances.

Une autre ligne de recherche se concentre sur l’atténuation des effets néfastes du contexte non pertinent, qui peut dégrader considérablement les performances des LLM. Des techniques comme l’auto-cohérence, les instructions explicites pour ignorer les informations non pertinentes et l’inclusion d’exemples qui démontrent la résolution de problèmes avec un contexte non pertinent peuvent aider les LLM à apprendre à se concentrer sur les informations les plus pertinentes.

Amélioration des capacités d’écriture avec des stratégies de prompt

Alors que les LLM excellent dans la génération de texte similaire à celui des humains, leurs capacités d’écriture peuvent être encore améliorées grâce à des stratégies de prompt spécialisées. Une telle technique est le prompting Skeleton-of-Thought (SoT), qui vise à réduire la latence de la décoding séquentielle en imitant le processus d’écriture humain.

Le prompting SoT consiste à amener le LLM à générer d’abord un squelette ou une ébauche de sa réponse, suivie d’appels d’API parallèles pour remplir les détails de chaque élément de l’ébauche. Cette approche non seulement améliore la latence d’inférence mais peut également améliorer la qualité de l’écriture en encourageant le LLM à planifier et à structurer sa sortie de manière plus efficace.

Une autre stratégie de prompt, le prompting Chain of Density (CoD), se concentre sur l’amélioration de la densité d’information des résumés générés par les LLM. En ajoutant itérativement des entités dans le résumé tout en maintenant la longueur fixe, le prompting CoD permet aux utilisateurs d’explorer le compromis entre la concision et la complétude, aboutissant finalement à des résumés plus informatifs et plus lisibles.

Directions émergentes et perspectives futures

Ingénierie de prompt avancée

Le domaine de l’ingénierie de prompt évolue rapidement, avec des chercheurs qui explorent continuellement de nouvelles frontières et poussent les limites de ce qui est possible avec les LLM. Certaines directions émergentes incluent :

1. Prompting actif : Techniques qui exploitent les principes d’apprentissage actif basés sur l’incertitude pour identifier et annoter les exemples les plus utiles pour résoudre des problèmes de raisonnement spécifiques.
2. Prompting multimodal : Étendre les stratégies de prompt pour gérer des entrées multimodales qui combinent du texte, des images et d’autres modalités de données.
3. Génération automatique de prompts : Développer des techniques d’optimisation pour générer automatiquement des prompts efficaces adaptés à des tâches ou des domaines spécifiques.
4. Interprétabilité et explicabilité : Explorer des méthodes de prompt qui améliorent l’interprétabilité et l’explicabilité des sorties des LLM, permettant ainsi une meilleure transparence et confiance dans leurs processus de prise de décision.

À mesure que les LLM continuent de progresser et trouvent des applications dans divers domaines, l’ingénierie de prompt jouera un rôle crucial pour débloquer leur plein potentiel. En exploitant les dernières techniques et stratégies de prompt, les chercheurs et les praticiens peuvent développer des solutions d’IA plus puissantes, fiables et spécifiques aux tâches qui poussent les limites de ce qui est possible avec le traitement du langage naturel.

Conclusion

Le domaine de l’ingénierie de prompt pour les grands modèles de langage est en constante évolution, avec des chercheurs qui continuellement poussent les limites de ce qui est possible. Des améliorations des capacités de raisonnement avec des techniques comme le prompting Chain-of-Thought à l’intégration des LLM avec des outils et des programmes externes, les dernières avancées en ingénierie de prompt ouvrent de nouvelles frontières dans l’intelligence artificielle.