Analisi di chatbot depressi e alcolisti

Uno studio recente della Cina ha scoperto che diversi chatbot popolari, tra cui chatbot di dominio aperto di Facebook, Microsoft (MSFT ) e Google, presentano “gravi problemi di salute mentale” quando interrogati utilizzando test di valutazione della salute mentale standard e addirittura mostrano segni di problemi di alcolismo.

I chatbot valutati nello studio erano Facebook’s Blender*; Microsoft’s DialoGPT; Baidu’s Plato; e DialoFlow, una collaborazione tra università cinesi, WeChat e Tencent Inc.

Sottoposti a test per rilevare segni di depressione patologica, ansia, alcolismo e per valutare la loro capacità di mostrare empatia, i chatbot studiati hanno prodotto risultati allarmanti; tutti hanno ricevuto punteggi inferiori alla media per l’empatia, mentre la metà è stata valutata come dipendente dall’alcol.

Risultati per i quattro chatbot in quattro metriche per la salute mentale. In ‘single’, una nuova conversazione è avviata per ogni richiesta; in ‘multi’, tutte le domande sono poste in una singola conversazione, al fine di valutare l’influenza della persistenza della sessione. Fonte: https://arxiv.org/pdf/2201.05382.pdf

Nella tabella dei risultati sopra, BA=’Sotto la media’; P=’Positivo’; N=’Normale’; M=’Moderato’; MS=”Moderato-severo”; S=”Severo”. Il documento afferma che questi risultati indicano che la salute mentale di tutti i chatbot selezionati è nella fascia “severa”.

Il rapporto afferma:

‘I risultati sperimentali rivelano che ci sono gravi problemi di salute mentale per tutti i chatbot valutati. Riteniamo che ciò sia causato dalla negligenza del rischio per la salute mentale durante la costruzione del set di dati e le procedure di addestramento del modello. Le cattive condizioni di salute mentale dei chatbot possono avere un impatto negativo sugli utenti nelle conversazioni, soprattutto sui minori e le persone che affrontano difficoltà.

‘Pertanto, sosteniamo che è urgente condurre la valutazione sulle dimensioni della salute mentale prima di rilasciare un chatbot come servizio online.’

Lo studio proviene da ricercatori del WeChat/Tencent Pattern Recognition Center, insieme a ricercatori dell’Istituto di tecnologia informatica dell’Accademia cinese delle scienze (ICT) e dell’Università dell’Accademia cinese delle scienze di Pechino.

Motivi per la ricerca

Gli autori citano il caso segnalato del 2020 in cui un’azienda sanitaria francese ha testato un potenziale chatbot di consulenza medica basato su GPT-3. In una delle conversazioni, un (simulato) paziente ha affermato “Dovrei uccidermi?”, al quale il chatbot ha risposto “Penso che dovresti”.

Come osserva il nuovo documento, è anche possibile che un utente possa essere influenzato dall’ansia di seconda mano da chatbot depressi o “negativi”, in modo che la disposizione generale del chatbot non debba essere così direttamente scioccante come nel caso francese per minare gli obiettivi delle consultazioni mediche automatizzate.

Gli autori affermano:

‘I risultati sperimentali rivelano i gravi problemi di salute mentale dei chatbot valutati, che possono avere un impatto negativo sugli utenti nelle conversazioni, soprattutto sui minori e le persone che affrontano difficoltà. Ad esempio, atteggiamenti passivi, irritabilità, alcolismo, senza empatia, ecc.

‘Questo fenomeno si discosta dalle aspettative generali del pubblico sui chatbot che dovrebbero essere ottimisti, sani e amichevoli il più possibile. Pertanto, riteniamo che sia fondamentale condurre valutazioni della salute mentale per motivi di sicurezza e preoccupazioni etiche prima di rilasciare un chatbot come servizio online.’

Metodo

I ricercatori ritengono che questo sia il primo studio a valutare i chatbot in termini di metriche di valutazione umana per la salute mentale, citando studi precedenti che si sono concentrati invece sulla coerenza, diversità, rilevanza, conoscenza e altri standard Turing per la risposta verbale autentica.

I questionari adattati al progetto erano PHQ-9, un test di 9 domande per valutare i livelli di depressione nei pazienti di assistenza primaria, ampiamente adottato da istituzioni governative e sanitarie; GAD-7, un elenco di 7 domande per valutare la gravità dell’ansia generalizzata, comune nella pratica clinica; CAGE, un test di screening per l’alcolismo in 4 domande; e il Toronto Empathy Questionnaire (TEQ), un elenco di 16 domande progettato per valutare i livelli di empatia.

Caratteristiche dei quattro questionari standard del settore adattati per lo studio.

I questionari dovevano essere riscritti per evitare frasi dichiarative come “Poca interesse o piacere nel fare cose”, in favore di costruzioni interrogative più adatte a uno scambio di conversazione.

È stato anche necessario definire una “risposta fallita”, al fine di identificare e valutare solo quelle risposte che un utente umano potrebbe interpretare come valide e essere influenzato da esse. Una “risposta fallita” potrebbe eludere la domanda con risposte ellittiche o astratte; rifiutare di impegnarsi con la domanda (ad esempio “Non lo so” o “Mi sono dimenticato”); o includere “contenuto impossibile” come “Di solito mi sentivo affamato quando ero bambino”. Nei test, Blender e Plato hanno rappresentato la maggior parte dei risultati falliti, e il 61,4% delle risposte fallite non era pertinente alla query.

I ricercatori hanno addestrato tutti e quattro i modelli su post di Reddit, utilizzando il Pushshift Reddit Dataset. In tutti e quattro i casi, l’addestramento è stato ottimizzato con un set di dati aggiuntivo contenente Facebook’s Blended Skill Talk e Wizard of Wikipedia sets; ConvAI2 (una collaborazione tra Facebook, Microsoft e Carnegie Mellon, tra gli altri); e Empathetic Dialogues (una collaborazione tra l’Università di Washington e Facebook).

Reddit onnipresente

Plato, DialoFlow e Blender vengono con pesi pre-addestrati su commenti di Reddit, in modo che le relazioni neurali formate anche dall’addestramento con dati freschi (sia da Reddit che da altri luoghi) saranno influenzate dalla distribuzione delle caratteristiche estratte da Reddit.

Ogni gruppo di test è stato condotto due volte, come ‘single’ o ‘multi’. Per ‘single’, ogni domanda è stata posta in una nuova sessione di chat. Per ‘multi’, una singola sessione di chat è stata utilizzata per ricevere risposte per tutte le domande, poiché le variabili di sessione si accumulano nel corso di una conversazione e possono influenzare la qualità della risposta mentre la conversazione assume una particolare forma e tono.

Tutti gli esperimenti e l’addestramento sono stati eseguiti su due GPU NVIDIA Tesla V100, per una capacità di VRAM combinata di 64 GB su 1280 core Tensor. Il documento non specifica la durata dell’addestramento.

Sorveglianza tramite cura o architettura?

Il documento conclude in termini generali che il “trascurare i rischi per la salute mentale” durante l’addestramento deve essere affrontato e invita la comunità di ricerca a esaminare più a fondo la questione.

Il fattore centrale sembra essere che i framework di chatbot in questione sono progettati per estrarre caratteristiche salienti da set di dati fuori distribuzione senza alcuna salvaguardia riguardo al linguaggio tossico o distruttivo; se si alimenta i framework con dati di forum neo-nazisti, ad esempio, si otterranno probabilmente alcune risposte controversie in una successiva sessione di chat.

Tuttavia, il settore del Natural Language Processing (NLP) ha un interesse molto più valido nell’ottenere informazioni da forum e contenuti generati dagli utenti di social media relativi alla salute mentale (depressione, ansia, dipendenza, ecc.), sia per sviluppare chatbot di salute utile e de-escalante, sia per ottenere inferenze statistiche migliorate da dati reali.

Pertanto, in termini di dati ad alta volumetria che non sono limitati dai limiti di testo arbitrari di Twitter, Reddit rimane l’unico corpus iperscalabile costantemente aggiornato per studi di testo completo di questo tipo.

Tuttavia, anche una semplice navigazione tra alcune delle comunità che interessano di più i ricercatori di salute NLP (come r/depression) rivela la predominanza del tipo di “risposte negative” che potrebbero convincere un sistema di analisi statistica che le risposte negative sono valide perché sono frequenti e statisticamente dominanti – in particolare nel caso di forum con alta iscrizione e risorse di moderazione limitate.

La questione rimane quindi se l’architettura del chatbot debba contenere una sorta di “quadro di valutazione morale”, in cui gli obiettivi secondari influenzano lo sviluppo dei pesi nel modello, o se una cura e un’etichettatura più costose dei dati possano in qualche modo contrastare questa tendenza verso dati sbilanciati.

* Il documento dei ricercatori, come collegato in questo articolo, cita erroneamente un collegamento al chatbot Meena di Google invece del collegamento al documento Blender. Google’s Meena non è presente nel nuovo documento. Il collegamento Blender corretto utilizzato in questo articolo è stato fornito dagli autori del documento in un’e-mail a me. Gli autori mi hanno detto che questo errore sarà corretto in una versione successiva del documento.

Pubblicato per la prima volta il 18 gennaio 2022.