Les Périls de l’Utilisation de Citations pour Authentifier le Contenu NLG

Opinion Les modèles de génération de langage naturel tels que GPT-3 sont prone à ‘halluciner’ du matériel qu’ils présentent dans le contexte d’informations factuelles. Dans une ère qui est extraordinairement préoccupée par la croissance des fausses nouvelles basées sur le texte, ces ‘envolées de fantaisie’ représentent un obstacle existentiel pour le développement de systèmes de rédaction et de résumé automatisés, et pour l’avenir du journalisme basé sur l’IA, parmi d’autres sous-secteurs de traitement du langage naturel (NLP).

Le problème central est que les modèles de langage de type GPT dérivent des fonctionnalités et des classes clés de très grands corpus de textes de formation, et apprennent à utiliser ces fonctionnalités comme blocs de construction du langage de manière adroite et authentique, indépendamment de l’exactitude du contenu généré, ou même de son acceptabilité.

Les systèmes NLG reposent donc actuellement sur la vérification humaine des faits dans l’une des deux approches: que les modèles sont soit utilisés comme générateurs de texte de départ qui sont immédiatement transmis à des utilisateurs humains, soit pour la vérification ou une autre forme d’édition ou d’adaptation; ou que les humains sont utilisés comme filtres coûteux pour améliorer la qualité des ensembles de données destinés à informer des modèles moins abstraits et plus ‘créatifs’ (qui sont eux-mêmes inévitablement encore difficiles à faire confiance en termes d’exactitude factuelle, et qui nécessiteront des couches supplémentaires de surveillance humaine).

Actualités anciennes et faits faux

Les modèles de génération de langage naturel (NLG) sont capables de produire des sorties convaincantes et plausibles parce qu’ils ont appris l’architecture sémantique, plutôt que d’assimiler de manière plus abstraite l’histoire, la science, l’économie ou tout autre sujet sur lequel ils pourraient être amenés à s’exprimer, qui sont effectivement entrelacés comme ‘passagers’ dans les données sources.

L’exactitude factuelle des informations que les modèles NLG génèrent suppose que les données d’entrée sur lesquelles ils sont formés sont en elles-mêmes fiables et à jour, ce qui présente une charge extraordinaire en termes de prétraitement et de vérification humaine – un obstacle coûteux que le secteur de la recherche en NLP aborde actuellement sur de nombreux fronts.

Les systèmes à l’échelle de GPT-3 nécessitent une quantité extraordinaire de temps et d’argent pour être formés, et, une fois formés, sont difficiles à mettre à jour à ce qui pourrait être considéré comme le ‘niveau noyau’. Bien que les modifications locales et basées sur les sessions puissent augmenter l’utilité et l’exactitude des modèles implémentés, ces avantages utiles sont difficiles, parfois impossibles à transmettre au modèle de base sans nécessiter une réformation complète ou partielle.

Pour cette raison, il est difficile de créer des modèles de langage formés qui puissent utiliser les dernières informations.

Formé avant même l’avènement de la COVID, text-davinci-002 – l’itération de GPT-3 considérée comme ‘la plus capable’ par son créateur OpenAI – peut traiter 4000 jetons par demande, mais ne sait rien de la COVID-19 ou de l’invasion ukrainienne de 2022 (ces invites et réponses sont de la date du 5 avril 2022). Intéressant, ‘inconnu’ est en fait une réponse acceptable dans les deux cas de défaillance, mais des invites supplémentaires établissent facilement que GPT-3 est ignorant de ces événements. Source: https://beta.openai.com/playground

Un modèle formé ne peut accéder qu’aux ‘vérités’ qu’il a internalisées au moment de la formation, et il est difficile d’obtenir une citation exacte et pertinente par défaut, lorsque l’on tente d’obtenir que le modèle vérifie ses allégations. Le véritable danger de l’obtention de citations à partir de GPT-3 par défaut (par exemple) est qu’il produit parfois des citations correctes, conduisant à une fausse confiance dans cet aspect de ses capacités:

En haut, trois citations exactes obtenues par GPT-3 de l’ère 2021. Au centre, GPT-3 échoue à citer l’une des citations les plus célèbres d’Einstein ("Dieu ne joue pas aux dés avec l’univers"), malgré une invite non cryptique. En bas, GPT-3 attribue une citation scandaleuse et fictive à Albert Einstein, apparemment un débordement d’invites antérieures sur Winston Churchill dans la même session. Source: L’article de l’auteur de 2021 à https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

Dans l’espoir de remédier à cette lacune générale dans les modèles NLG, Google’s DeepMind a récemment proposé GopherCite, un modèle à 280 milliards de paramètres capable de citer des preuves spécifiques et exactes pour étayer ses réponses générées aux invites.

Trois exemples de GopherCite étayant ses allégations avec des citations réelles. Source: https://arxiv.org/pdf/2203.11147.pdf

GopherCite utilise l’apprentissage par renforcement à partir de préférences humaines (RLHP) pour former des modèles de requête capables de citer des citations réelles comme preuves à l’appui. Les citations sont tirées en direct de multiples sources de documents obtenues à partir de moteurs de recherche, ou d’un document spécifique fourni par l’utilisateur.

Les performances de GopherCite ont été mesurées par une évaluation humaine des réponses du modèle, qui ont été considérées comme de ‘haute qualité’ 80 % du temps sur l’ensemble de données NaturalQuestions de Google, et 67 % du temps sur l’ensemble de données ELI5.

Citant des faussetés

Cependant, lorsqu’il a été testé contre la référence TruthfulQA de l’Université d’Oxford, les réponses de GopherCite ont rarement été notées comme véridiques, par rapport aux réponses ‘correctes’ établies par les humains.

Les auteurs suggèrent que cela est dû au fait que le concept de ‘réponses étayées’ ne définit pas de manière objective la vérité en soi, puisque l’utilité des citations sources peut être compromise par d’autres facteurs, tels que la possibilité que l’auteur de la citation soit lui-même ‘en train de halluciner’ (c’est-à-dire en train d’écrire sur des mondes fictifs, en produisant du contenu publicitaire, ou en fantasmant autrement du matériel non authentique.

Cas où GopherCite où la plausibilité ne correspond pas nécessairement à la ‘vérité’.

En effet, il devient nécessaire de distinguer entre ‘étayé’ et ‘vrai’ dans de tels cas. La culture humaine est actuellement loin en avant de l’apprentissage automatique en termes d’utilisation de méthodes et de cadres conçus pour obtenir des définitions objectives de la vérité, et même là, l’état naturel de la ‘vérité importante’ semble être la controverse et la négation marginale.

Le problème est récursif dans les architectures NLG qui cherchent à concevoir des mécanismes de ‘corroboration’ définitifs: le consensus humain est pressé au service d’une référence de vérité par le biais de modèles de type AMT où les évaluateurs humains (et les autres humains qui médiatisent les litiges entre eux) sont en eux-mêmes partiels et biaisés.

Par exemple, les expériences initiales de GopherCite utilisent un modèle de ‘super-rater’ pour choisir les meilleurs sujets humains pour évaluer la sortie du modèle, en sélectionnant uniquement les évaluateurs qui ont obtenu au moins 85 % par rapport à un ensemble de garantie de la qualité. Finalement, 113 super-évaluateurs ont été sélectionnés pour la tâche.

Capture d’écran de l’application de comparaison utilisée pour évaluer la sortie de GopherCite.

On peut dire que c’est une image parfaite d’une poursuite fractale ingagnable: l’ensemble de garantie de la qualité utilisé pour noter les évaluateurs est lui-même une autre ‘métrique humaine’ de vérité, tout comme l’ensemble TruthfulQA d’Oxford contre lequel GopherCite a été trouvé déficient.

En termes de contenu étayé et ‘authentifié’, tout ce que les systèmes NLG peuvent espérer synthétiser à partir de la formation sur des données humaines est la disparité et la diversité humaines, qui est en soi un problème mal posé et non résolu. Nous avons une tendance innée à citer des sources qui soutiennent nos points de vue, et à parler de manière autoritaire et avec conviction dans les cas où nos informations sources peuvent être obsolètes, entièrement inexactes ou délibérément faussées de diverses manières; et une disposition à diffuser ces points de vue directement dans la nature, à une échelle et à une efficacité sans précédent dans l’histoire humaine, directement sur le chemin des cadres de scraping de connaissances qui alimentent les nouveaux cadres NLG.

Par conséquent, le danger impliqué dans le développement de systèmes NLG à l’appui des citations semble lié à la nature imprévisible du matériel source. Tout mécanisme (comme la citation directe et les citations) qui augmente la confiance de l’utilisateur dans la sortie NLG est, à l’état actuel de l’art, ajouté de manière dangereuse à l’authenticité, mais pas à la véracité de la sortie.

De telles techniques sont susceptibles d’être utiles lorsque le NLP finira par recréer les ‘kaleïdoscopes’ de fiction d’Orwell dans 1984; mais ils représentent une poursuite périlleuse pour l’analyse de documents objectifs, le journalisme basé sur l’IA et d’autres applications possibles de résumé de machine et de génération de texte spontanée ou guidée.

Publié pour la première fois le 5 avril 2022. Mis à jour à 15h29 EET pour corriger le terme.