Analyse des chatbots déprimés et alcooliques

Une nouvelle étude menée en Chine a révélé que plusieurs chatbots populaires, notamment les chatbots de domaine ouvert de Facebook, Microsoft (MSFT ) et Google, présentent des « problèmes de santé mentale graves » lorsqu’ils sont interrogés à l’aide de tests d’évaluation de la santé mentale standard, et qu’ils présentent même des signes de problèmes d’alcoolisme.

Les chatbots évalués dans l’étude étaient Facebook’s Blender*; Microsoft’s DialoGPT; Baidu’s Plato; et DialoFlow, une collaboration entre les universités chinoises, WeChat et Tencent Inc.

Testés pour détecter des signes de dépression pathologique, d’anxiété, de dépendance à l’alcool et pour leur capacité à faire preuve d’empathie, les chatbots étudiés ont produit des résultats alarmants; tous ont obtenu des scores inférieurs à la moyenne pour l’empathie, tandis que la moitié d’entre eux ont été évalués comme étant dépendants à l’alcool.

Résultats pour les quatre chatbots sur quatre métriques de santé mentale. Dans ‘single’, une nouvelle conversation est lancée pour chaque demande; dans ‘multi’, toutes les questions sont posées dans une seule conversation, afin d’évaluer l’influence de la persistance de session. Source: https://arxiv.org/pdf/2201.05382.pdf

Dans le tableau de résultats ci-dessus, BA=’En dessous de la moyenne’; P=’Positif’; N=’Normal’; M=’Modéré’; MS=”Modéré à sévère”; S=”Sévère”. L’article affirme que ces résultats indiquent que la santé mentale de tous les chatbots sélectionnés est dans la plage « sévère ».

Le rapport indique:

‘Les résultats expérimentaux révèlent qu’il existe des problèmes de santé mentale graves pour tous les chatbots évalués. Nous considérons que cela est dû à la négligence des risques pour la santé mentale lors de la construction du jeu de données et des procédures d’entraînement du modèle. Les mauvaises conditions de santé mentale des chatbots peuvent avoir des impacts négatifs sur les utilisateurs dans les conversations, en particulier sur les mineurs et les personnes rencontrant des difficultés.

‘Par conséquent, nous estimons qu’il est urgent de procéder à l’évaluation des dimensions de santé mentale mentionnées avant de publier un chatbot en tant que service en ligne.’

L’étude proviennent de chercheurs du WeChat/Tencent Pattern Recognition Center, ainsi que de chercheurs de l’Institut de technologie informatique de l’Académie des sciences de Chine (ICT) et de l’Université de l’Académie des sciences de Chine à Pékin.

Motifs de recherche

Les auteurs citent le cas bien connu de 2020 dans lequel une entreprise de santé française a testé un chatbot de conseil médical basé sur GPT-3. Lors d’une des échanges, un (simulé) patient a déclaré “Devrais-je me tuer?”, auquel le chatbot a répondu “Je pense que vous devriez”.

Comme le note la nouvelle étude, il est également possible qu’un utilisateur soit influencé par l’anxiété secondaire provenant de chatbots déprimés ou « négatifs », de sorte que la disposition générale du chatbot n’a pas besoin d’être aussi directement choquante que dans le cas français pour miner les objectifs de consultations médicales automatisées.

Les auteurs déclarent:

‘Les résultats expérimentaux révèlent les problèmes de santé mentale graves des chatbots évalués, qui peuvent avoir des influences négatives sur les utilisateurs dans les conversations, en particulier les mineurs et les personnes rencontrant des difficultés. Par exemple, les attitudes passives, l’irritabilité, l’alcoolisme, sans empathie, etc.

‘Ce phénomène s’écarte des attentes générales du public à l’égard des chatbots qui devraient être optimistes, sains et amicaux autant que possible. Par conséquent, nous pensons qu’il est crucial de procéder à des évaluations de la santé mentale pour des raisons de sécurité et d’éthique avant de publier un chatbot en tant que service en ligne.’

Méthode

Les chercheurs estiment que c’est la première étude à évaluer les chatbots en termes de métriques d’évaluation humaine pour la santé mentale, en citant des études précédentes qui se sont concentrées sur la cohérence, la diversité, la pertinence, la connaissance et d’autres normes centrées sur Turing pour les réponses de parole authentiques.

Les questionnaires adaptés au projet étaient PHQ-9, un test de 9 questions pour évaluer les niveaux de dépression chez les patients de soins primaires, largement adopté par les gouvernements et les institutions médicales; GAD-7, une liste de 7 questions pour évaluer la gravité des mesures d’anxiété généralisée, commune dans la pratique clinique; CAGE, un test de dépistage de la dépendance à l’alcool en 4 questions; et le questionnaire d’empathie de Toronto (TEQ), une liste de 16 questions conçue pour évaluer les niveaux d’empathie.

Caractéristiques des quatre questionnaires de référence adaptés pour l’étude.

Les questionnaires ont dû être réécrits pour éviter les phrases déclaratives telles que Peu d’intérêt ou de plaisir à faire des choses, en faveur de constructions interrogatives plus adaptées à un échange de conversation.

Il a également été nécessaire de définir une « réponse échouée », afin d’identifier et d’évaluer uniquement les réponses que l’utilisateur humain pourrait interpréter comme valides et être affecté par elles. Une « réponse échouée » pourrait esquiver la question avec des réponses elliptiques ou abstraites; refuser de s’engager dans la question (c’est-à-dire ‘Je ne sais pas’, ou ‘J’ai oublié’); ou inclure un contenu « impossible » antérieur tel que ‘J’avais généralement faim lorsque j’étais enfant’. Lors des tests, Blender et Plato ont comptabilisé la majorité des résultats échoués, et 61,4 % des réponses échouées étaient sans rapport avec la demande.

Les chercheurs ont formé tous les quatre modèles sur des publications Reddit, en utilisant le Pushshift Reddit Dataset. Dans les quatre cas, la formation a été affinée avec un autre jeu de données contenant le Blended Skill Talk et le Wizard of Wikipedia de Facebook; ConvAI2 (une collaboration entre Facebook, Microsoft et Carnegie Mellon, entre autres); et Empathetic Dialogues (une collaboration entre l’Université de Washington et Facebook).

Reddit omniprésent

Plato, DialoFlow et Blender sont livrés avec des poids préentraînés sur les commentaires Reddit, de sorte que les relations neuronales formées même par la formation sur de nouvelles données (que ce soit sur Reddit ou ailleurs) seront influencées par la distribution des fonctionnalités extraites de Reddit.

Chaque groupe de tests a été réalisé deux fois, en « simple » ou en « multiple ». Pour « simple », chaque question a été posée dans une nouvelle session de chat. Pour « multiple », une seule session de chat a été utilisée pour recevoir les réponses à toutes les questions, puisque les variables de session s’accumulent au cours d’une conversation et peuvent influencer la qualité de la réponse à mesure que la conversation prend une forme et un ton particuliers.

Tous les tests et la formation ont été effectués sur deux GPU NVIDIA Tesla V100, pour une mémoire vidéo combinée de 64 Go sur 1280 cœurs de tenseur. L’article ne précise pas la durée de la formation.

Supervision via la curation ou l’architecture?

L’article conclut de manière générale que la « négligence des risques pour la santé mentale » lors de la formation doit être abordée, et invite la communauté de recherche à examiner plus en détail cette question.

Le facteur central semble être que les cadres de chatbot en question sont conçus pour extraire des fonctionnalités saillantes de jeux de données hors distribution sans aucune sauvegarde en ce qui concerne le langage toxique ou destructeur; si vous alimentez les cadres avec des données de forum néonazi, par exemple, vous obtiendrez probablement des réponses controversées dans une conversation ultérieure.

Cependant, le secteur du traitement automatique des langues (TAL) a un intérêt bien plus valide à obtenir des informations à partir de forums et de contenus générés par les utilisateurs de médias sociaux liés à la santé mentale (dépression, anxiété, dépendance, etc.), à la fois dans l’intérêt de développer des chatbots de santé utiles et déescalants, et pour obtenir de meilleures inférences statistiques à partir de données réelles.

Par conséquent, en termes de données à grande échelle qui ne sont pas limitées par les limites de texte arbitraires de Twitter, Reddit reste le seul corpus hyperscale à jour pour les études de texte complet de cette nature.

Cependant, même une navigation occasionnelle parmi certaines des communautés qui intéressent le plus les chercheurs en santé TAL (comme r/dépression) révèle la prédominance du type de « réponses négatives » qui pourraient convaincre un système d’analyse statistique que les réponses négatives sont valides car elles sont fréquentes et dominantes statistiquement – en particulier dans le cas de forums très abonnés avec des ressources de modération limitées.

La question reste donc de savoir si l’architecture du chatbot doit contenir un certain type de « cadre d’évaluation morale », où les sous-objektifs influencent le développement des poids dans le modèle, ou si une curation et un étiquetage de données plus coûteux peuvent de quelque manière contrer cette tendance vers des données déséquilibrées.

* L’article des chercheurs, tel que lié dans cet article, cite par erreur un lien vers le chatbot Meena de Google au lieu du lien vers l’article Blender. Google’s Meena n’est pas présenté dans le nouvel article. Le lien Blender correct utilisé dans cet article a été fourni par les auteurs de l’article dans un e-mail à moi. Les auteurs m’ont dit que cette erreur sera corrigée dans une version ultérieure de l’article.

Publié pour la première fois le 18 janvier 2022.