Prévention de l'« hallucination » dans GPT-3 et d'autres modèles de langage complexes

Une caractéristique déterminante des « fausses nouvelles » est qu'elles présentent fréquemment de fausses informations dans un contexte d'informations factuellement correctes, les fausses données gagnant une autorité perçue par une sorte d'osmose littéraire - une démonstration inquiétante du pouvoir des demi-vérités.

Les modèles sophistiqués de traitement génératif du langage naturel (NLP) tels que GPT-3 ont également tendance à 'halluciner' ce genre de données trompeuses. Cela s'explique en partie par le fait que les modèles de langage nécessitent la capacité de reformuler et de résumer des textes longs et souvent labyrinthiques, sans aucune contrainte architecturale capable de définir, d'encapsuler et de "sceller" des événements et des faits afin qu'ils soient protégés du processus de sémantique. reconstruction.

Par conséquent, les faits ne sont pas sacrés pour un modèle PNL ; ils peuvent facilement finir par être traités dans le contexte de «briques Lego sémantiques», en particulier lorsque la grammaire complexe ou le matériel source obscur rend difficile la séparation des entités discrètes de la structure du langage.

Une observation de la façon dont le matériel source à la formulation tortueuse peut confondre les modèles de langage complexes tels que GPT-3. La source: Génération de paraphrases à l'aide de l'apprentissage par renforcement profond

Ce problème s'étend de l'apprentissage automatique basé sur du texte à la recherche en vision par ordinateur, en particulier dans les secteurs qui utilisent la discrimination sémantique pour identifier ou décrire des objets.

Les hallucinations et les réinterprétations "cosmétiques" inexactes affectent également la recherche sur la vision par ordinateur.

Dans le cas de GPT-3, le modèle peut devenir frustré par des questions répétées sur un sujet qu'il a déjà abordé aussi bien que possible. Dans le meilleur des cas, il s'avouera vaincu :

Une de mes expériences récentes avec le moteur Davinci de base dans GPT-3. Le modèle obtient la bonne réponse du premier coup, mais est vexé de se voir poser la question une deuxième fois. Puisqu'il conserve une mémoire à court terme de la réponse précédente et traite la question répétée comme un rejet de cette réponse, il admet la défaite. Source : https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci et DaVinci Instruct (Beta) font mieux à cet égard que les autres modèles GPT-3 disponibles via l'API. Ici, le modèle de Curie donne la mauvaise réponse, tandis que le modèle de Babbage développe avec confiance une réponse tout aussi fausse :

Ce qu'Einstein n'a jamais dit

Lors de la sollicitation du moteur GPT-3 DaVinci Instruct (qui semble actuellement être le plus performant) pour la célèbre citation d'Einstein " Dieu ne joue pas aux dés avec l'univers ", DaVinci instruct ne parvient pas à trouver la citation et invente une non-citation, continuant d'halluciner trois autres citations relativement plausibles et totalement inexistantes (d'Einstein ou de n'importe qui) en réponse à des requêtes similaires :

GPT-3 produit quatre citations plausibles d'Einstein, dont aucune ne produit de résultats dans une recherche Internet en texte intégral, bien que certaines déclenchent d'autres (vraies) citations d'Einstein sur le thème de "l'imagination".

Si GPT-3 se trompait systématiquement en citant, il serait plus facile d'ignorer ces hallucinations par programmation. Cependant, plus une citation est diffusée et célèbre, plus GPT-3 est susceptible d'obtenir la bonne citation :

GPT-3 trouve apparemment des citations correctes lorsqu'elles sont bien représentées dans les données contributives.

Un deuxième problème peut survenir lorsque les données d'historique de session de GPT-3 se transforment en une nouvelle question :

Einstein serait probablement scandalisé de se voir attribuer ce dicton. La citation semble être une hallucination absurde d'un vrai Winston Churchill aphorisme. La question précédente de la session GPT-3 concernait Churchill (et non Einstein), et GPT-3 semble avoir utilisé par erreur ce jeton de session pour informer la réponse.

Lutter économiquement contre les hallucinations

L'hallucination est un obstacle notable à l'adoption de modèles sophistiqués de PNL comme outils de recherche - d'autant plus que la sortie de ces moteurs est fortement abstraite du matériel source qui l'a formée, de sorte que l'établissement de la véracité des citations et des faits devient problématique.

Par conséquent, l'un des défis généraux actuels de la recherche en PNL est d'établir un moyen d'identifier les textes hallucinés sans avoir besoin d'imaginer des modèles PNL entièrement nouveaux qui incorporent, définissent et authentifient les faits en tant qu'entités discrètes (un objectif à plus long terme et distinct dans un certain nombre d'applications informatiques plus larges). secteurs de recherche).

Identifier et générer du contenu halluciné

Une nouvelle collaboration entre l'Université Carnegie Mellon et Facebook AI Research propose une nouvelle approche du problème des hallucinations, en formulant une méthode pour identifier la sortie hallucinée et en utilisant des textes synthétiques hallucinés pour créer un ensemble de données qui peut être utilisé comme base pour les futurs filtres et mécanismes qui pourraient éventuellement devenir une partie essentielle des architectures NLP.

Source : https://arxiv.org/pdf/2011.02593.pdf

Dans l'image ci-dessus, le matériel source a été segmenté par mot, avec l'étiquette « 0 » attribuée aux mots corrects et l'étiquette « 1 » attribuée aux mots hallucinés. Ci-dessous, nous voyons un exemple de sortie hallucinée qui est liée aux informations d'entrée, mais qui est augmentée de données non authentiques.

Le système utilise un auto-encodeur de débruitage pré-formé qui est capable de mapper une chaîne hallucinée vers le texte original à partir duquel la version corrompue a été produite (similaire à mes exemples ci-dessus, où les recherches sur Internet ont révélé la provenance de fausses citations, mais avec un programmatique et méthodologie sémantique automatisée). Plus précisément, Facebook BART Le modèle d'autoencodeur est utilisé pour produire les phrases corrompues.

Attribution d'étiquette.

Le processus de cartographie de l'hallucination à la source, ce qui n'est pas possible dans le fonctionnement courant des modèles PNL de haut niveau, permet de cartographier la «distance d'édition» et facilite une approche algorithmique pour identifier le contenu halluciné.

Les chercheurs ont constaté que le système est même capable de bien généraliser lorsqu'il n'a pas accès au matériel de référence disponible pendant la formation, ce qui suggère que le modèle conceptuel est solide et largement reproductible.

Lutter contre le surapprentissage

Afin d'éviter le surajustement et d'arriver à une architecture largement déployable, les chercheurs ont supprimé au hasard des jetons du processus, et ont également utilisé la paraphrase et d'autres fonctions de bruit.

La traduction automatique (MT) fait également partie de ce processus d'obscurcissement, car la traduction de texte dans différentes langues est susceptible de préserver le sens de manière robuste et d'empêcher davantage le surajustement. Par conséquent, les hallucinations ont été traduites et identifiées pour le projet par des locuteurs bilingues dans une couche d'annotation manuelle.

L'initiative a obtenu de nouveaux meilleurs résultats dans un certain nombre de tests sectoriels standard et est la première à obtenir des résultats acceptables en utilisant des données dépassant 10 millions de jetons.

Le code du projet, intitulé Détection de contenu halluciné dans la génération conditionnelle de séquences neurales, A été publié sur GitHub, et permet aux utilisateurs de générer leurs propres données synthétiques avec BART à partir de n'importe quel corpus de texte. Des dispositions sont également prévues pour la génération ultérieure de modèles de détection des hallucinations.