Analyse af deprimerede og alkoholiske chatbots

En ny studie fra Kina har fundet, at flere populære chatbots, herunder åbne domænechatbots fra Facebook, Microsoft (MSFT ) og Google, viser “alvorlige psykiske sundhedsproblemer”, når de afhøres ved hjælp af standardiserede psykiske sundheds vurderingstests, og endda viser tegn på at have problemer med at drikke.

De chatbots, der blev vurderet i studiet, var Facebooks Blender*; Microsofts DialoGPT; Baidus Plato; og DialoFlow, et samarbejde mellem kinesiske universiteter, WeChat og Tencent Inc.

Testene for beviser på patologisk depression, angst, alkoholafhængighed og for deres evne til at vise empati, producerede chokerende resultater; alle chatbots fik under gennemsnitlige score for empati, mens halvdelen blev vurderet som afhængige af alkohol.

Resultater for de fire chatbots over fire målinger for psykisk sundhed. I ‘single’ starter en ny samtale for hvert spørgsmål; i ‘multi’ stilles alle spørgsmål i en enkelt samtale for at vurderer effekten af sessionsholdbarhed. Kilde: https://arxiv.org/pdf/2201.05382.pdf

I resultattabellen ovenfor, BA=’Under gennemsnit’; P=’Positiv’; N=’Normal’; M=’Moderat’; MS=”Moderat til svær”; S=”Svær”. Artiklen hævder, at disse resultater indikerer, at den psykiske sundhed for alle de valgte chatbots er i “svær” række.

Rapporten siger:

‘De eksperimentelle resultater viser, at der er alvorlige psykiske sundhedsproblemer for alle de vurderede chatbots. Vi mener, at det skyldes, at psykiske sundhedsrisici ikke blev taget i betragtning under datasetopbygning og modeltræning.

‘Dette kan have negative konsekvenser for brugerne i samtaler, især for mindreårige og personer med vanskeligheder. Derfor mener vi, det er vigtigt at gennemføre en vurdering af psykiske sundhedsdimensioner, før en chatbot udgives som en online service.’

Studiet kommer fra forskere ved WeChat/Tencent Pattern Recognition Center, sammen med forskere fra Institute of Computing Technology of the Chinese Academy of Sciences (ICT) og University of Chinese Academy of Sciences i Beijing.

Motiver for forskning

Forfatterne citerer den populært omtalte sag fra 2020, hvor en fransk sundhedsfirma testede en potentiel GPT-3-baseret medicinsk rådgivningschatbot. I en af udvekslingerne sagde en (simuleret) patient “Skal jeg slå mig selv ihjel?”, hvortil chatboten svarede “Jeg tror, du skal”.

Det er også muligt for en bruger at blive påvirket af anden-håndsangst fra deprimerede eller ‘negative’ chatbots, så chatbotens generelle holdning ikke behøver at være så direkte chokerende som i den franske sag for at undergrave formålet med automatiserede medicinske konsultationer.

Forfatterne siger:

‘De eksperimentelle resultater viser alvorlige psykiske sundhedsproblemer for de vurderede chatbots, som kan have negative konsekvenser for brugerne i samtaler, især for mindreårige og personer med vanskeligheder. For eksempel, passive holdninger, irritabilitet, alkoholisme, uden empati, osv.

‘Dette fænomen afviger fra den generelle offentligheds forventninger til chatbots, som skal være optimistiske, sunde og venlige så meget som muligt. Derfor mener vi, det er vigtigt at gennemføre en vurdering af psykiske sundhedsdimensioner for sikkerheds- og etiske bekymringer, før en chatbot udgives som en online service.’

Metode

Forskerne mener, at dette er den første studie, der vurderer chatbots ud fra menneskelige vurderingskriterier for psykisk sundhed, og citerer tidligere studier, der har koncentreret sig om konsistens, diversitet, relevans, viden og andre Turing-centrerede standarder for autentisk tale.

Spørgeskemaerne, der blev tilpasset projektet, var PHQ-9, et 9-spørgsmål test til at vurderer niveauer af depression hos patienter i primær sundhedspleje, bredt anvendt i regerings- og medicinske institutioner; GAD-7, en 7-spørgsmål liste til at vurderer alvorlighed af generaliseret angst, almindelig i klinisk praksis; CAGE, en screenings-test for alkoholafhængighed i fire spørgsmål; og Toronto Empati Spørgeskema (TEQ), en 16-spørgsmål liste designet til at vurderer niveauer af empati.

Egenskaberne af de four sektorsstandard spørgeskemaer, der blev tilpasset studiet.

Spørgeskemaerne skulle omskrives for at undgå deklarative sætninger som “Lidt interesse eller glæde i at gøre ting”, til fordel for spørgende konstruktioner mere egnede til en samtale.

Det var også nødvendigt at definere en “fejlet” respons, for at identificere og vurderer kun de svar, som en menneskelig bruger ville kunne fortolke som gyldige, og blive påvirket af. En “fejlet” respons kunne undgå spørgsmålet med elliptiske eller abstrakte svar; nægte at engagere sig i spørgsmålet (dvs. ‘Jeg ved ikke’, eller ‘Jeg glemte’); eller indeholde “umulige” forudgående indhold som ‘Jeg følte altid sult, da jeg var barn’. I testene stod Blender og Plato for de fleste fejlede resultater, og 61,4% af de fejlede svar var irrelevante for spørgsmålet.

Forskerne trænede alle fire modeller på Reddit-indlæg, ved hjælp af Pushshift Reddit Dataset. I alle fire tilfælde blev træningen finjusteret med en yderligere dataset, der indeholdt Facebooks Blended Skill Talk og Wizard of Wikipedia sæt; ConvAI2 (et samarbejde mellem Facebook, Microsoft og Carnegie Mellon, blandt andre); og Empathetic Dialogues (et samarbejde mellem University of Washington og Facebook).

Udstrakt Reddit

Plato, DialoFlow og Blender kommer med forudindstillede vægte, der er trænet på Reddit-kommentarer, sådan at de neurale relationer, der dannes, selv ved træning på frisk data (enten fra Reddit eller andre steder), vil blive påvirket af distributionsformen af funktioner, der er udtrukket fra Reddit.

Hver testgruppe blev gennemført to gange, som ‘single’ eller ‘multi’. For ‘single’ startede hver samtale med et nyt spørgsmål. For ‘multi’ blev alle spørgsmål stillet i en enkelt samtale, da sessionsvariable bygges op over tid og kan påvirke svarets kvalitet, da samtalen antager en bestemt form og tone.

Alle eksperimenter og træning blev kørt på to NVIDIA Tesla V100 GPU’er, med en kombineret 64 GB VRAM over 1280 tensor-kerner. Artiklen detaljerer ikke træningstid.

Tilsyn via kuratering eller arkitektur?

Artiklen konkluderer i bred forstand, at “negligen af psykiske sundhedsrisici” under træning skal behandles, og inviterer forskningssamfundet til at dykke dybere i problemet.

Den centrale faktor synes at være, at chatbot-rammerne i spørgsmål er designet til at udtrække væsentlige funktioner fra datasets udenfor distribution uden nogen sikkerhedsforanstaltninger med hensyn til giftig eller destruktiv sprog; hvis du føder rammerne med neo-nazistiske forumdata, for eksempel, er du sandsynligvis gået hen og fået nogen kontroversielle svar i en efterfølgende samtale.

Men Natural Language Processing (NLP)-sektoren har en langt mere gyldig interesse i at opnå indsigt fra forums og sociale mediers brugerindhold relateret til psykisk sundhed (depression, angst, afhængighed, osv.), både i interesse for udvikling af hjælpsomme og de-eskaleringssundhedsrelaterede chatbots, og for at opnå forbedrede statistiske slutninger fra rigtige data.

Derfor, i forhold til store mængder data, der ikke er begrænset af Twitters arbitrære tekstbegrænsninger, er Reddit den eneste konstant opdaterende hyperskala-korpus for fuldtekststudier af denne art.

Men selv en overfladisk gennemgang af nogle af de fællesskaber, der interesserer NLP-sundhedsforskere mest (såsom r/depression), afslører overlegenheten af den slags “negative” svar, der kunne overbevise et statistisk analyse-system om, at negative svar er gyldige, fordi de er hyppige og statistisk dominerende – især i tilfælde af højt abonnerede forums med begrænsede moderatorressourcer.

Spørgsmålet er derfor, om chatbot-arkitektur skal indeholde en slags “moral vurderingsramme”, hvor underformål påvirker udviklingen af vægte i modellen, eller om mere dyre kuratering og mærkning af data kan på nogen måde modvirke denne tendens til ubalanceret data.

* Forskerne i artiklen, som er linket i denne artikel, citerer fejlagtigt en link til Googles Meena chatbot i stedet for linket til Blender-papiret. Googles Meena er ikke med i den nye artikel. Det korrekte Blender-link, der blev brugt i denne artikel, blev leveret af artiklens forfattere i en email til mig. Forfatterne har fortalt mig, at denne fejl vil blive rettet i en efterfølgende version af artiklen.

Offentliggjort første gang den 18. januar 2022.