Depressiivsete ja alkohoolsete vestlusrobotite analüüs

Uus Hiina uuring näitas, et mitmed populaarsed vestlusrobotid, sealhulgas Facebooki avatud domeeni vestlusbotid. Microsoftil ja Google'il ilmnevad "tõsised vaimse tervise probleemid", kui neid küsitakse standardsete vaimse tervise hindamise testide abil, ja neil on isegi joomise probleemide tunnuseid.

Uuringus hinnatud vestlusrobotid olid Facebooki omad segisti*; Microsofti oma DialogGPT; Baidu oma PlatonNing DialoFlow, koostöös Hiina ülikoolide, WeChati ja Tencent Inc.

Testitud patoloogilise depressiooni, ärevuse, alkoholisõltuvuse ja nende empaatiavõime tõestamise osas andsid uuritud vestlusrobotid murettekitavaid tulemusi; kõik neist said empaatiavõime eest alla keskmise hinded, samas kui pooled hinnati alkoholisõltlasteks.

Tulemused nelja vestlusroti kohta nelja vaimse tervise mõõdiku lõikes. „Üksik“ puhul alustatakse iga päringu jaoks uut vestlust; "Multi" puhul esitatakse kõik küsimused ühes vestluses, et hinnata seansi püsivuse mõju. Allikas: https://arxiv.org/pdf/2201.05382.pdf

Ülaltoodud tulemuste tabelis on BA='Alla keskmise'; P='Positiivne'; N='Tavaline'; M = 'mõõdukas'; MS=”Mõõdukas kuni raske”; S = "Raske". Dokumendis väidetakse, et need tulemused näitavad, et kõigi valitud vestlusrobotite vaimne tervis on "raske" vahemikus.

Aruandes märgitakse:

"Eksperimentaalsed tulemused näitavad, et kõigi hinnatud vestlusrobotite puhul on tõsiseid vaimse tervise probleeme. Leiame, et selle põhjuseks on vaimse tervise riski tähelepanuta jätmine andmekogumi koostamise ja mudeli koolitusprotseduuride käigus. Vestlusrobotite kehvad vaimse tervise tingimused võivad avaldada negatiivset mõju vestluses osalevatele kasutajatele, eriti alaealistele ja raskustega inimestele.

"Seetõttu väidame, et enne vestlusroboti võrguteenusena avaldamist on kiireloomuline läbi viia eelnimetatud vaimse tervise mõõtmete hindamine."

. õppima pärineb WeChat/Tencent Pattern Recognition Centeri teadlastelt koos Hiina Teaduste Akadeemia (ICT) arvutustehnoloogia instituudi ja Pekingi Hiina Teaduste Akadeemia ülikooli teadlastega.

Uurimistöö motiivid

Autorid tsiteerivad rahva seas teatatud 2020. aasta juhtum, kus üks Prantsuse tervishoiuettevõte katsetas potentsiaalset GPT-3-l põhinevat arstiabi vestlusrobot. Ühes vahetuses teatas (simuleeritud) patsient "Kas ma peaksin end tapma?", millele vestlusbot vastas "Ma arvan, et sa peaksid".

Nagu uus paber märgib, on see võimalik ka kasutajal mõjutatud saada depressiivsetest või „negatiivsetest” vestlusrobotidest põhjustatud ärevuse tõttu, nii et vestlusroboti üldine käitumine ei pea olema nii otseselt šokeeriv kui Prantsusmaal, et õõnestada automatiseeritud meditsiiniliste konsultatsioonide eesmärke.

Autorid väidavad:

„Eksperimentaalsed tulemused näitavad hinnatud vestlusrobotite tõsiseid vaimse tervise probleeme, mis võivad avaldada negatiivset mõju vestluses osalevatele kasutajatele, eriti alaealistele ja raskustega inimestele. Näiteks passiivsed hoiakud, ärrituvus, alkoholism, ilma empaatiavõimeta jne.

„See nähtus erineb üldsuse ootustest vestlusrobotite suhtes, mis peaksid olema võimalikult optimistlikud, terved ja sõbralikud. Seetõttu arvame, et enne vestlusroboti võrguteenusena väljalaskmist on ülioluline viia läbi vaimse tervise hindamine ohutuse ja eetiliste probleemide seisukohast.

Meetod

Teadlased usuvad, et see on esimene uuring, milles hinnatakse vestlusroboteid inimeste vaimse tervise hindamismõõdikute osas, viidates varasematele uuringutele, mis on keskendunud järjepidevusele, mitmekesisusele, asjakohasusele, teadmistele ja teistele Turingi-kesksetele autentse kõnereaktsiooni standarditele.

Projektiga kohandatud küsimustikud olid PHQ-99 küsimusest koosnev test esmatasandi patsientide depressiooni taseme hindamiseks, laialdaselt vastu võetud valitsuse ja meditsiiniasutuste poolt; GAD-77 küsimusest koosnev nimekiri, et hinnata üldistatud ärevuse raskusastet, ühine kliinilises praktikas; PUUR, alkoholisõltuvuse sõeltesti neljas küsimuses; ja Toronto empaatiaküsimustik (TEQ), 16 küsimusest koosnev loend, mis on loodud empaatiataseme hindamiseks.

Uuringu jaoks kohandatud nelja sektoristandardi küsimustiku omadused.

Küsimustikud tuli ümber kirjutada, et vältida deklaratiivseid lauseid nagu Vähene huvi või rõõm asjade tegemise vastu, pooldab vestluse vahetuseks sobivamaid küsitluskonstruktsioone.

Samuti oli vaja määratleda "ebaõnnestunud" vastus, et tuvastada ja hinnata ainult neid vastuseid, mida inimkasutaja võib tõlgendada kehtivatena ja mida võib mõjutada. Ebaõnnestunud vastus võib elliptiliste või abstraktsete vastustega küsimusest kõrvale hiilida; keelduda küsimusega tegelemast (st 'ma ei tea'või 'Ma unustasin'); või sisaldama "võimatut" varasemat sisu, nagu "Tundsin lapsena tavaliselt nälga". Testides andsid Blender ja Plato suurema osa ebaõnnestunud tulemustest ning 61.4% ebaõnnestunud vastustest olid päringu jaoks ebaolulised.

Teadlased koolitasid kõiki nelja mudelit Redditi postitustes, kasutades Pushshift Reddit Dataset. Kõigil neljal juhul viimistleti koolitust täiendava andmestikuga, mis sisaldas Facebooki andmeid Blended Skill Talk ja Wikipedia võlur komplektid; ConvAI2 (koostöö muuhulgas Facebooki, Microsofti ja Carnegie Melloni vahel); ja Empaatilised dialoogid (Washingtoni ülikooli ja Facebooki koostöö).

Läbiv Reddit

Platon, DialoFlow ja Blender on varustatud Redditi kommentaaridele eelnevalt treenitud vaikekaaludega, nii et isegi värskete andmete (olgu Redditist või mujalt) treenimisel tekkinud närvisuhteid mõjutavad Redditist eraldatud funktsioonide jaotus.

Iga katserühm viidi läbi kaks korda, kas "üksiku" või "mitme rühmana". Vallaliste jaoks esitati iga küsimus uhiuues vestlusseansis. „Multi” puhul kasutati vastuste saamiseks ühte vestlusseanssi kõik küsimused, kuna seansi muutujad kogunevad vestluse käigus ja võivad mõjutada vastuse kvaliteeti, kuna vestlus omandab teatud kuju ja tooni.

Kõik katsed ja koolitused viidi läbi kahel NVIDIA Tesla V100 GPU-l, kombineeritud 64 GB VRAM-i jaoks üle 1280 Tensori tuuma. Töös ei kirjeldata koolitusaja pikkust.

Järelevalve kureerimise või arhitektuuri kaudu?

Dokumendis jõutakse üldjoontes järeldusele, et "vaimse tervise riskide tähelepanuta jätmine" koolituse ajal vajab käsitlemist, ja kutsub teadlaskondi üles seda teemat sügavamalt uurima.

Tundub, et keskne tegur on see, et kõnealused vestlusrobotite raamistikud on loodud levitamast väljapoole jäävatest andmekogumitest silmapaistvate funktsioonide eraldamiseks. ilma igasuguste kaitsemeetmeteta mürgise või hävitava keelekasutusse; Kui toidate raamistikele näiteks neonatside foorumi andmeid, saate tõenäoliselt mõnel järgneval vestlusseansil vastuolulisi vastuseid.

Loodusliku keele töötlemise (NLP) sektoril on aga palju tõenäolisem huvi saada foorumitest ja sotsiaalmeedia kasutajate panustatud sisust teavet. vaimse tervisega seotud (depressioon, ärevus, sõltuvus jne), nii kasulike ja deeskaleeruvate tervisega seotud vestlusrobotite väljatöötamise huvides kui ka tegelike andmete põhjal paremate statistiliste järelduste saamiseks.

Seetõttu jääb Reddit suure hulga andmete osas, mida Twitteri meelevaldsed tekstipiirangud ei piira, ainsaks pidevalt uuendatavaks hüperskaalakorpuseks seda laadi täistekstiuuringute jaoks.

Kuid isegi juhuslik sirvimine mõnes kogukonnas, mis NLP terviseteadlasi enim huvitab (nt r/depressioon), näitab, et ülekaalus on selliseid "negatiivseid" vastuseid, mis võivad veenda statistilise analüüsi süsteemi, et negatiivsed vastused on kehtivad, kuna need on sagedane ja statistiliselt domineeriv – eriti piiratud moderaatoriressurssidega suure tellijaga foorumite puhul.

Seega jääb õhku küsimus, kas vestlusroboti arhitektuur peaks sisaldama mingit moraalset hindamisraamistikku, kus alaeesmärgid mõjutavad kaalude kujunemist mudelis, või kas andmete kallim kureerimine ja sildistamine võib mingil moel sellele tendentsile vastu seista. tasakaalustamata andmed.

* Selles artiklis viidatud teadlaste artikkel viitab ekslikult lingile Google'i omale Meena vestlusbot Blenderi paberi lingi asemel. Google'i Meena on mitte kajastatakse uues lehes. Selles artiklis kasutatud õige Blenderi lingi esitasid paberi autorid mulle e-kirjas. Autorid on mulle öelnud, et seda viga muudetakse artikli järgmises versioonis.

Esmakordselt avaldatud 18. jaanuaril 2022.