ChatGPT et ingénierie de prompts avancée : moteur de l’évolution de l’IA

OpenAI a joué un rôle déterminant dans le développement d’outils révolutionnaires comme OpenAI Gym, conçu pour la formation d’algorithmes de renforcement, et les modèles GPT-n. Le projecteur est également braqué sur DALL-E, un modèle d’IA qui crée des images à partir d’entrées textuelles. Un tel modèle qui a attiré une attention considérable est ChatGPT d’OpenAI, un exemple éblouissant dans le domaine des grands modèles de langage.

GPT-4 : Ingénierie de prompts

ChatGPT a transformé le paysage des chatbots, offrant des réponses similaires à celles des humains aux entrées des utilisateurs et élargissant ses applications à travers les domaines – de la conception et des tests de logiciels à la communication commerciale, et même à la création de poésie.

Dans les mains des entreprises et des particuliers, GPT-4, par exemple, pourrait servir de réservoir de connaissances inépuisable, compétent dans des sujets allant des mathématiques et de la biologie aux études juridiques. De tels modèles d’IA sophistiqués et accessibles sont sur le point de redéfinir l’avenir du travail, de l’apprentissage et de la créativité.

Les modèles génératifs comme GPT-4 peuvent produire de nouvelles données sur la base d’entrées existantes. Cette caractéristique distinctive leur permet d’effectuer diverses tâches, notamment la génération de texte, d’images, de musique et de vidéos.

Dans le contexte de ChatGPT et des modèles OpenAI, un prompt est l’entrée que les utilisateurs fournissent aux modèles, généralement sous forme de texte. Les prompts servent de principal moyen de contrôle de la sortie générée par ces modèles, les rendant cruciaux pour des conversations réussies et pertinentes.

L’impact de la qualité des prompts

Utiliser des prompts bien définis est la clé pour engager des conversations utiles et significatives avec les systèmes d’IA. Des prompts mal définis peuvent entraîner une sortie qui n’est pas utile pour l’utilisateur et peuvent même conduire à un contenu trompeur.

Pour démontrer l’impact de la qualité des prompts, comparons deux prompts différents donnés à ChatGPT. Le premier prompt, mal défini et supposant des connaissances préalables, génère une réponse potentiellement non utile pour l’utilisateur. En revanche, le deuxième prompt fournit plus de contexte et d’exemples, garantissant une réponse plus pertinente et compréhensible.

Prompt 1 : “Parlez-moi des réseaux de neurones convolutionnels.”

Response 1 : “Les réseaux de neurones convolutionnels (CNN) sont des réseaux de perceptron multi-couches qui se composent de couches entièrement connectées et de couches de pooling. Ils sont couramment utilisés pour les tâches de reconnaissance d’images. Le processus implique l’application de filtres aux images d’entrée et leur réduction à l’aide de couches de pooling.”

Prompt 2 : “Je veux apprendre sur les réseaux de neurones convolutionnels, mais je n’ai aucune connaissance préalable sur les réseaux de neurones artificiels. Pouvez-vous me fournir une explication pour débutants et un exemple de la façon dont les CNN sont utilisés pour la reconnaissance d’images ?”

Response 2 : “Les réseaux de neurones convolutionnels (CNN) sont un type de réseau de neurones principalement utilisé pour les tâches de reconnaissance d’images. Contrairement à d’autres réseaux de neurones, ils exploitent les couches convolutionnelles et les couches de pooling pour traiter les images. Imaginez que vous avez une image d’un chat. Les CNN peuvent identifier différentes caractéristiques de l’image, telles que les moustaches, les oreilles et la queue, en appliquant des filtres et en réduisant l’image à l’aide de couches de pooling. Ce processus rend les CNN très efficaces pour la reconnaissance d’objets dans les images.”

En comparant les deux réponses, il est évident qu’un prompt bien défini conduit à une réponse plus pertinente et conviviale pour l’utilisateur. La conception et l’ingénierie de prompts sont des disciplines en plein essor qui visent à optimiser la qualité de sortie des modèles d’IA comme ChatGPT.

Dans les sections suivantes de cet article, nous allons explorer le domaine des méthodologies avancées visant à raffiner les grands modèles de langage (LLM), telles que les techniques d’ingénierie de prompts et les tactiques. Celles-ci incluent l’apprentissage à few-shot, ReAct, la chaîne de pensée, RAG, et bien plus encore.

Techniques d’ingénierie avancées

Avant de poursuivre, il est important de comprendre un problème clé avec les LLM, appelé “hallucination”. Dans le contexte des LLM, “hallucination” signifie la tendance de ces modèles à générer des sorties qui pourraient sembler raisonnables mais ne sont pas ancrées dans la réalité factuelle ou le contexte d’entrée donné.

Ce problème a été mis en évidence de manière frappante dans un récent procès où un avocat de la défense a utilisé ChatGPT pour la recherche juridique. L’outil d’IA, en défaillance en raison de son problème d’hallucination, a cité des affaires juridiques inexistantes. Cette erreur a eu des conséquences importantes, entraînant confusion et sapant la crédibilité pendant les procédures. Cet incident constitue un rappel poignant de l’urgence de résoudre le problème d'”hallucination” dans les systèmes d’IA.

Notre exploration des techniques d’ingénierie de prompts vise à améliorer ces aspects des LLM. En améliorant leur efficacité et leur sécurité, nous ouvrons la voie à des applications innovantes telles que l’extraction d’informations. De plus, cela nous permet d’intégrer sans effort les LLM avec des outils et des sources de données externes, élargissant ainsi la gamme de leurs utilisations potentielles.

Apprentissage à zéro et à few-shot : optimisation avec des exemples

Les transformateurs pré-entraînés génératifs (GPT-3) ont marqué un tournant important dans le développement des modèles d’IA génératifs, en introduisant le concept d'”apprentissage à few-shot”. Cette méthode a été un jeu-changer en raison de sa capacité à fonctionner efficacement sans nécessiter un affinement complet. Le cadre GPT-3 est discuté dans le document “Les modèles de langage sont des apprentissages à few-shot“, où les auteurs montrent comment le modèle excelle dans divers cas d’utilisation sans nécessiter de jeux de données ou de code personnalisés.

Contrairement à l’affinement, qui exige des efforts constants pour résoudre des cas d’utilisation variés, les modèles à few-shot démontrent une adaptabilité plus facile à un large éventail d’applications. Même si l’affinement peut offrir des solutions robustes dans certains cas, il peut être coûteux à grande échelle, ce qui rend l’utilisation de modèles à few-shot une approche plus pratique, surtout lorsqu’elle est intégrée à l’ingénierie de prompts.

Imaginez que vous essayez de traduire l’anglais en français. Dans l’apprentissage à few-shot, vous fourniriez à GPT-3 quelques exemples de traduction comme “loutre de mer -> sea otter”. GPT-3, étant le modèle avancé qu’il est, est alors capable de continuer à fournir des traductions précises. Dans l’apprentissage à zéro-shot, vous ne fourniriez aucun exemple, et GPT-3 serait toujours capable de traduire l’anglais en français de manière efficace.

Le terme “apprentissage à few-shot” vient de l’idée que le modèle reçoit un nombre limité d’exemples pour “apprendre”. Il est important de noter que “apprendre” dans ce contexte ne signifie pas la mise à jour des paramètres ou des poids du modèle, mais plutôt son influence sur les performances du modèle.

Apprentissage à few-shot comme démontré dans le document GPT-3

L’apprentissage à zéro-shot va plus loin. Dans l’apprentissage à zéro-shot, aucun exemple de réalisation de tâche n’est fourni au modèle. Le modèle est censé performer bien sur la base de sa formation initiale, ce qui en fait une méthodologie idéale pour les scénarios de question-réponse à domaine ouvert tels que ChatGPT.

Les méthodes d’apprentissage à zéro-shot sont de plus en plus courantes. Ces méthodes sont caractérisées par leur capacité à reconnaître des objets non vus pendant la formation. Voici un exemple pratique d’un prompt à few-shot :

"Traduisez les phrases anglaises suivantes en français :

'loutre de mer' se traduit par 'sea otter'
'ciel' se traduit par 'sky'
Qu'est-ce que 'nuage' se traduit en français ?"

En fournissant le modèle avec quelques exemples et en posant une question, nous pouvons efficacement guider le modèle pour générer la sortie souhaitée. Dans ce cas, GPT-3 traduirait probablement correctement “nuage” en “nuage” en français.

Nous allons approfondir les nuances diverses de l’ingénierie de prompts et son rôle essentiel dans l’optimisation des performances du modèle pendant l’inférence. Nous examinerons également comment il peut être utilisé efficacement pour créer des solutions rentables et évolutives sur une large gamme de cas d’utilisation.

Alors que nous explorons davantage la complexité des techniques d’ingénierie de prompts dans les modèles GPT, il est important de souligner notre dernier article ‘Guide essentiel pour l’ingénierie de prompts dans ChatGPT‘. Ce guide fournit des informations sur les stratégies pour instruire les modèles d’IA de manière efficace dans une multitude de cas d’utilisation.

Dans nos discussions précédentes, nous avons abordé les méthodes de prompts fondamentales pour les grands modèles de langage (LLM) tels que l’apprentissage à zéro-shot et à few-shot, ainsi que le promptage d’instruction. Maîtriser ces techniques est crucial pour relever les défis plus complexes de l’ingénierie de prompts que nous allons explorer ici.

L’apprentissage à few-shot peut être limité en raison de la fenêtre de contexte restreinte de la plupart des LLM. De plus, sans les précautions appropriées, les LLM peuvent être induits en erreur et fournir des sorties potentiellement nuisibles. De nombreux modèles ont également du mal avec les tâches de raisonnement ou le suivi d’instructions multi-étapes.

Étant donné ces contraintes, le défi consiste à utiliser les LLM pour relever des tâches complexes. Une solution évidente pourrait être de développer des LLM plus avancés ou de raffiner les modèles existants, mais cela pourrait nécessiter des efforts considérables. Alors, la question se pose : comment pouvons-nous optimiser les modèles actuels pour une meilleure résolution de problèmes ?

Il est tout aussi fascinant d’explorer comment cette technique interfère avec des applications créatives dans le guide Unite AI ‘Maîtriser l’art de l’IA : Un guide concis pour Midjourney et l’ingénierie de prompts‘, qui décrit comment la fusion de l’art et de l’IA peut donner lieu à un art époustouflant.

Promptage en chaîne de pensée

Le promptage en chaîne de pensée exploite les propriétés auto-régressives inhérentes aux grands modèles de langage (LLM), qui excellent dans la prédiction du mot suivant dans une séquence donnée. En incitant un modèle à expliciter son processus de pensée, il induit une génération plus approfondie et méthodique d’idées, qui tend à s’aligner étroitement sur des informations précises. Cette alignment découle de la tendance du modèle à traiter et à livrer des informations de manière réfléchie et ordonnée, similaire à un expert humain guidant un auditeur à travers un concept complexe. Une simple déclaration comme “parcourez-moi étape par étape…” est souvent suffisante pour déclencher cette sortie plus détaillée.

Promptage en chaîne de pensée à zéro-shot

Alors que le promptage en chaîne de pensée conventionnel nécessite une formation préalable avec des démonstrations, un domaine émergent est le promptage en chaîne de pensée à zéro-shot. Cette approche, introduite par Kojima et al. (2022), ajoute de manière innovante la phrase “Pensons étape par étape” au prompt d’origine.

Créons un prompt avancé où ChatGPT est chargé de résumer les points clés de la recherche en IA et en traitement automatique des langues.

Dans cette démonstration, nous allons utiliser la capacité du modèle à comprendre et à résumer des informations complexes à partir de textes académiques. En utilisant l’approche d’apprentissage à few-shot, enseignons à ChatGPT à résumer les points clés de la recherche en IA et en traitement automatique des langues :

1. Titre du document : "L'attention est tout ce dont vous avez besoin"
Point clé : A introduit le modèle de transformateur, mettant l'accent sur l'importance des mécanismes d'attention par rapport aux couches récurrentes pour les tâches de transduction de séquences.

2. Titre du document : "BERT : Pré-entraînement de transformateurs bidirectionnels profonds pour la compréhension du langage"
Point clé : A introduit BERT, démontrant l'efficacité du pré-entraînement de modèles bidirectionnels profonds, atteignant ainsi des résultats de pointe dans diverses tâches de traitement automatique des langues.

Maintenant, avec le contexte de ces exemples, résumez les points clés du document suivant :

Titre du document : "Ingénierie de prompts dans les grands modèles de langage : Un examen"

Ce prompt non seulement maintient une chaîne de pensée claire mais utilise également l’approche d’apprentissage à few-shot pour guider le modèle. Il relie nos mots clés en se concentrant sur les domaines de l’IA et du traitement automatique des langues, en chargeant spécifiquement ChatGPT de réaliser une opération complexe liée à l’ingénierie de prompts : la synthèse de documents de recherche.

Prompt ReAct

ReAct, ou “Raisonner et Agir”, a été introduit par Google (GOOGL ) dans le document “ReAct : Synergiser la raison et l’action dans les modèles de langage“, et a révolutionné la façon dont les modèles de langage interagissent avec une tâche, en incitant le modèle à générer dynamiquement à la fois des traces de raisonnement verbales et des actions spécifiques à la tâche.

Imaginez un chef humain en cuisine : il ne réalise pas seulement une série d’actions (couper des légumes, faire bouillir de l’eau, mélanger des ingrédients) mais s’engage également dans un raisonnement verbal ou une parole intérieure (“maintenant que les légumes sont coupés, je devrais mettre la casserole sur le feu”). Ce dialogue mental constant aide à la stratégie du processus, à s’adapter aux changements soudains (“je n’ai pas d’huile d’olive, j’utiliserai du beurre à la place”), et à se souvenir de la séquence des tâches. ReAct imite cette capacité humaine, permettant au modèle d’apprendre rapidement de nouvelles tâches et de prendre des décisions robustes, tout comme un humain le ferait dans de nouvelles ou incertaines circonstances.

ReAct peut résoudre le problème d’hallucination, un problème courant avec les systèmes de chaîne de pensée (CoT). CoT, bien qu’une technique efficace, manque de capacité à interagir avec le monde extérieur, ce qui pourrait potentiellement conduire à des hallucinations de faits et à la propagation d’erreurs. ReAct, cependant, compense cela en interagissant avec des sources d’information externes. Cette interaction permet au système non seulement de valider son raisonnement mais également de mettre à jour ses connaissances en fonction des informations les plus récentes du monde extérieur.

Le fonctionnement fondamental de ReAct peut être expliqué à travers un exemple de HotpotQA, une tâche nécessitant un raisonnement d’ordre supérieur. Lorsqu’il reçoit une question, le modèle ReAct décompose la question en parties gérables et crée un plan d’action. Le modèle génère une trace de raisonnement (pensée) et identifie une action pertinente. Il peut décider de consulter des informations sur la télécommande Apple (AAPL ) sur une source externe comme Wikipedia (action), et met à jour sa compréhension en fonction des informations obtenues (observation). À travers plusieurs étapes de pensée-action-observation, ReAct peut récupérer des informations pour étayer son raisonnement tout en affinant ce qu’il doit récupérer ensuite.

Note :

HotpotQA est un ensemble de données, dérivé de Wikipedia, composé de 113 000 paires question-réponse conçues pour former les systèmes d’IA dans le raisonnement complexe, car les questions nécessitent un raisonnement sur plusieurs documents pour répondre. D’un autre côté, CommonsenseQA 2.0, construit à travers la gamification, comprend 14 343 questions oui/non et est conçu pour mettre au défi la compréhension de l’IA du sens commun, car les questions sont intentionnellement conçues pour induire les modèles d’IA en erreur.

Le processus pourrait ressembler à ceci :

1. Pensée : “J’ai besoin de rechercher la télécommande Apple et ses appareils compatibles.”
2. Action : Recherche “appareils compatibles avec la télécommande Apple” sur une source externe.
3. Observation : Obtient une liste d’appareils compatibles avec la télécommande Apple à partir des résultats de recherche.
4. Pensée : “Sur la base des résultats de recherche, plusieurs appareils, outre la télécommande Apple, peuvent contrôler le programme pour lequel elle a été conçue à l’origine.”

Le résultat est un processus dynamique et fondé sur le raisonnement qui peut évoluer en fonction des informations avec lesquelles il interagit, conduisant à des réponses plus précises et fiables.

Visualisation comparative de quatre méthodes de promptage – Standard, Chaîne de pensée, Act-Only et ReAct, pour résoudre HotpotQA et AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

La conception d’agents ReAct est une tâche spécialisée, compte tenu de sa capacité à atteindre des objectifs complexes. Par exemple, un agent conversationnel, construit sur le modèle ReAct de base, intègre une mémoire conversationnelle pour offrir des interactions plus riches. Cependant, la complexité de cette tâche est simplifiée par des outils tels que Langchain, qui est devenu la norme pour concevoir ces agents.

Promptage fidèle au contexte

Le document ‘Promptage fidèle au contexte pour les grands modèles de langage‘ souligne que, même si les LLM ont montré un succès considérable dans les tâches de traitement automatique des langues basées sur les connaissances, leur dépendance excessive à l’égard des connaissances paramétriques peut les égarer dans les tâches sensibles au contexte. Par exemple, lorsqu’un modèle de langage est formé sur des faits obsolètes, il peut produire des réponses incorrectes s’il ignore les indices contextuels.

Ce problème est apparent dans les cas de conflit de connaissances, où le contexte contient des faits qui diffèrent des connaissances préexistantes du LLM. Considérez un cas où un LLM, préparé avec des données avant la Coupe du monde 2022, reçoit un contexte indiquant que la France a gagné le tournoi. Cependant, le LLM, en s’appuyant sur ses connaissances préentraînées, continue d’insister que l’équipe gagnante précédente, c’est-à-dire l’équipe qui a gagné en 2018, est toujours le champion en titre. Cela démontre un cas classique de “conflit de connaissances”.

En essence, le conflit de connaissances dans un LLM surgit lorsque de nouvelles informations fournies dans le contexte contredisent les connaissances préexistantes sur lesquelles le modèle a été formé. La tendance du modèle à s’appuyer sur ses connaissances antérieures plutôt que sur le contexte fourni peut entraîner des sorties incorrectes. D’un autre côté, l’hallucination dans les LLM est la génération de réponses qui peuvent sembler plausibles mais ne sont pas ancrées dans les données de formation du modèle ou dans le contexte fourni.

Un autre problème se pose lorsque le contexte fourni ne contient pas suffisamment d’informations pour répondre à une question avec précision, une situation connue sous le nom de “prédiction avec abstention”. Par exemple, si un LLM est interrogé sur le fondateur de Microsoft (MSFT ) sur la base d’un contexte qui ne fournit pas cette information, il devrait idéalement s’abstenir de deviner.

Plus d’exemples de conflit de connaissances et du pouvoir de l’abstention

Pour améliorer la fidélité contextuelle des LLM dans ces scénarios, les chercheurs ont proposé une gamme de stratégies de promptage. Ces stratégies visent à rendre les réponses des LLM plus attentives au contexte plutôt qu’à leur dépendance à l’égard des connaissances codées.

L’une de ces stratégies consiste à formuler les prompts sous forme de questions basées sur des opinions, où le contexte est interprété comme une déclaration du narrateur, et la question se rapporte à cette déclaration du narrateur. Cette approche recentre l’attention du LLM sur le contexte présenté plutôt que de recourir à ses connaissances préexistantes.

L’ajout de démonstrations contrefactuelles aux prompts a également été identifié comme un moyen efficace d’augmenter la fidélité dans les cas de conflit de connaissances. Ces démonstrations présentent des scénarios avec des faits faux, qui guident le modèle pour prêter une attention plus grande au contexte afin de fournir des réponses précises.

Affinement d’instruction

L’affinement d’instruction est une phase d’apprentissage supervisé qui capitalise sur la fourniture au modèle d’instructions spécifiques, par exemple “Expliquez la distinction entre un lever et un coucher de soleil.” L’instruction est associée à une réponse appropriée, comme “Un lever de soleil fait référence au moment où le soleil apparaît au-dessus de l’horizon le matin, tandis qu’un coucher de soleil marque le point où le soleil disparaît sous l’horizon le soir.” À travers cette méthode, le modèle apprend essentiellement à adhérer à et à exécuter les instructions.

Cette approche a un impact significatif sur le processus de promptage des LLM, conduisant à un changement radical dans le style de promptage. Un LLM affiné avec des instructions permet une exécution immédiate de tâches à zéro-shot, offrant des performances de tâche sans effort. Si le LLM n’est pas encore affiné, une approche d’apprentissage à few-shot peut être nécessaire, en incorporant quelques exemples dans votre prompt pour guider le modèle vers la réponse souhaitée.

“Affinement d’instruction avec GPT-4′ discute de la tentative d’utiliser GPT-4 pour générer des données de suivi d’instructions pour l’affinement des LLM. Ils ont utilisé un riche ensemble de données, composé de 52 000 entrées uniques de suivi d’instructions en anglais et en chinois.

L’ensemble de données joue un rôle crucial dans l’affinement d’instruction des modèles LLaMA, une série de LLM open source, aboutissant à une amélioration des performances à zéro-shot pour de nouvelles tâches. Des projets notables tels que Stanford Alpaca ont efficacement utilisé l’affinement auto-instructif, une méthode efficace pour aligner les LLM avec l’intention humaine, en exploitant des données générées par des modèles d’instruction avancés et affinés.

L’objectif principal de la recherche sur l’affinement d’instruction est d’améliorer les capacités de généralisation à zéro-shot et à few-shot des LLM. Une plus grande collecte de données et un scaling de modèle peuvent fournir des informations précieuses. Avec la taille actuelle des données GPT-4 à 52 000 et la taille de base du modèle LLaMA à 7 milliards de paramètres, il existe un énorme potentiel pour collecter plus de données d’instruction GPT-4 et les combiner avec d’autres sources de données, conduisant à la formation de modèles LLaMA plus grands pour de meilleures performances.

STaR : Bootstrapping du raisonnement avec le raisonnement

Le potentiel des LLM est particulièrement visible dans des tâches de raisonnement complexes telles que les mathématiques ou la question-réponse basée sur le sens commun. Cependant, le processus d’incitation d’un modèle de langage à générer des justifications étape par étape, ou une “chaîne de pensée”, présente ses propres défis. Cela nécessite souvent la construction de grands ensembles de données de justifications ou un sacrifice en termes de précision en raison de la dépendance à l’égard de l’inférence à few-shot.

“Self-Taught Reasoner” (STaR) offre une solution innovante à ces défis. Il utilise une simple boucle pour améliorer continuellement la capacité de raisonnement d’un modèle. Ce processus itératif commence par la génération de justifications pour répondre à plusieurs questions en utilisant quelques exemples rationnels. Si les réponses générées sont incorrectes, le modèle tente à nouveau de générer une justification, cette fois en fournissant la bonne réponse. Le modèle est ensuite affiné sur toutes les justifications qui ont conduit à des réponses correctes, et le processus se répète.

Méthodologie STaR, démontrant sa boucle d’affinement et une génération d’exemple de justification sur l’ensemble de données CommonsenseQA (https://arxiv.org/pdf/2203.14465.pdf)

Pour illustrer cela avec un exemple pratique, considérons la question “Qu’est-ce qui peut être utilisé pour transporter un petit chien ?” avec des choix de réponses allant d’une piscine à un panier. Le modèle STaR génère une justification, identifiant que la réponse doit être quelque chose capable de transporter un petit chien et aboutissant à la conclusion qu’un panier, conçu pour contenir des objets, est la bonne réponse.

La démarche de STaR est unique en ce qu’elle exploite la capacité de raisonnement préexistante du modèle de langage. Il utilise un processus d’auto-génération et d’affinement des justifications, améliorant de manière itérative les capacités de raisonnement du modèle. Cependant, la boucle de STaR a ses limites. Le modèle peut échouer à résoudre de nouveaux problèmes dans l’ensemble de formation parce qu’il ne reçoit pas de signal de formation direct pour les problèmes qu’il échoue à résoudre. Pour résoudre ce problème, STaR introduit la rationalisation. Pour chaque problème que le modèle échoue à répondre correctement, il génère une nouvelle justification en fournissant au modèle la bonne réponse, ce qui permet au modèle de raisonner à rebours.

STaR, par conséquent, s’avère être une méthode de bootstrapping évolutif qui permet aux modèles d’apprendre à générer leurs propres justifications tout en apprenant à résoudre des problèmes de plus en plus difficiles. L’application de STaR a montré des résultats prometteurs dans des tâches impliquant l’arithmétique, les problèmes de mots mathématiques et le raisonnement basé sur le sens commun. Sur CommonsenseQA, STaR a amélioré à la fois la baseline à few-shot et la baseline affinée pour prédire directement les réponses et a performé de manière comparable à un modèle 30 fois plus grand.

Prompts de contexte étiquetés

Le concept de ‘prompts de contexte étiquetés‘ tourne autour de la fourniture au modèle d’IA d’une couche supplémentaire de contexte en étiquetant certaines informations dans l’entrée. Ces étiquettes agissent essentiellement comme des balises pour l’IA, guidant la façon dont elle interprète le contexte avec précision et génère une réponse qui est à la fois pertinente et factuelle.

Imaginez que vous discutez avec un ami sur un sujet particulier, disons “les échecs”. Vous faites une déclaration et l’étiquetez ensuite avec une référence, comme “(source : Wikipedia)”. Maintenant, votre ami, qui dans ce cas est le modèle d’IA, sait exactement d’où vient votre information. Cette approche vise à rendre les réponses de l’IA plus fiables en réduisant le risque d’hallucinations, ou la génération de faits faux.

Un aspect unique des prompts de contexte étiquetés est leur potentiel à améliorer l'”intelligence contextuelle” des modèles d’IA. Par exemple, le document démontre cela en utilisant un ensemble diversifié de questions extraites de multiples sources, comme des articles de Wikipedia résumés sur divers sujets et des sections d’un livre récemment publié. Les questions sont étiquetées, fournissant au modèle d’IA des informations contextuelles supplémentaires sur la source de l’information.

Cette couche supplémentaire de contexte peut s’avérer incroyablement bénéfique lorsqu’il s’agit de générer des réponses non seulement précises mais également conformes au contexte fourni, rendant ainsi la sortie de l’IA plus fiable et digne de confiance.

Conclusion : Un regard sur les techniques prometteuses et les directions futures

ChatGPT d’OpenAI met en évidence le potentiel inexploré des grands modèles de langage (LLM) pour relever des tâches complexes avec une efficacité remarquable. Des techniques avancées telles que l’apprentissage à few-shot, le promptage ReAct, la chaîne de pensée et STaR permettent de exploiter ce potentiel à travers une multitude d’applications. Alors que nous creusons plus en profondeur dans les nuances de ces méthodologies, nous découvrons comment elles façonnent le paysage de l’IA, offrant des interactions plus riches et plus sûres entre les humains et les machines.

Malgré les défis tels que les conflits de connaissances, la dépendance excessive à l’égard des connaissances paramétriques et le potentiel d’hallucination, ces modèles d’IA, avec l’ingénierie de prompts appropriée, se sont avérés être des outils transformateurs. L’affinement d’instruction, le promptage fidèle au contexte et l’intégration avec des sources de données externes amplifient encore leur capacité à raisonner, apprendre et s’adapter.