Mielenterveysjärjestelmien diagnosointi tekoälyllä kasvojen ilmeiden arvioinnissa

Saksalaiset tutkijat ovat kehittäneet menetelmän mielenterveysjärjestelmien tunnistamiseksi tietokoneavusteisen kasvojen ilmeiden tulkinnan avulla.

Uusi lähestymistapa voi erottaa sekä vaikuttamattomat että vaikuttuneet henkilöt ja myös erottaa masennuksen skitsofreniasta sekä määrittää, kuinka paljon potilas on tällä hetkellä sairauden vaikutuksen alaisena.

Tutkijat ovat tarjonneet yhdistetyn kuvan, joka edustaa heidän testien vertailuryhmää (kuvan vasemmalla puolella) ja potilaita, jotka kärsivät mielenterveysjärjestelmistä (oikealla). Useiden ihmisten identiteetti on sekoitettu edustuksiin, eikä kumpikaan kuva esita yksittäistä yksilöä:

Lähde: https://arxiv.org/pdf/2208.01369.pdf

Affektiivisten häiriöiden sairastuneilla on taipumus korostaa kulmakarvoja, joilla on johtavat katseet, turvotettuja kasvoja ja alakuloisia suun ilmeitä. Potilaiden yksityisyyden suojaamiseksi nämä yhdistetyt kuvat ovat ainoat, jotka on julkaistu uuden tutkimuksen tueksi.

Toistaiseksi kasvojen ilmeiden tunnistaminen on ollut lähinnä mahdollinen väline perustason diagnosoinnissa. Uusi lähestymistapa tarjoaa mahdollisen menetelmän potilaiden edistyksen arviointiin hoidon aikana tai mahdollisesti jopa heidän omassa kodissaan ulkosalla seurannassa.

Artikkelissa todetaan*:

‘Menevä aiemmin luotuun affektiiviseen tietokoneavusteiseen diagnostiikkaan, joka on kehitetty aiemmissa tutkimuksissa, osoitamme, että tietokoneavusteisesti arvioitava affektiivinen tila sisältää paljon enemmän tietoa kuin pelkästään kategorinen luokittelu.’

Tutkijat ovat nimeäneet tämän tekniikan Opto Electronic Encephalography (OEG), joka on täysin passiivinen menetelmä mielentilan arvioimiseksi kasvojen kuvan analyysin avulla ilman paikallisia antureita tai säteilyyn perustuvia lääketieteellisiä kuvantamistekniikoita.

Tutkijat päättävät, että OEG voi olla ei vain toissijainen apuväline diagnosoinnissa ja hoidossa, vaan myös mahdollinen korvike tietyille arviointiosuuksille hoidon prosessissa, ja se voi lyhentää potilaiden seurannan ja alkuvaiheen diagnosoinnin aikaa. He huomauttavat:

‘Yleensä ottaen tulokset, jotka kone on ennustanut, ovat paremmassa suhteessa verrattuna pelkästään kliiniseen havaintoon perustuviin kyselyihin ja ne ovat myös objektiivisia. Tietokoneavusteisen lähestymistavan suhteellisen lyhyt mittausaika, joka kestää vain muutamia minuutteja, on myös merkittävä, kun taas kliiniset haastattelut voivat kestää useita tunteja.’

Kuitenkin tutkijat korostavat, että potilaiden hoito tässä alalla on monimuotoinen, ja siinä on otettava huomioon useita muita potilaan tilan osoittimia kuin vain heidän kasvojen ilmeitä, ja että on liian aikaista ajatella, että tällainen järjestelmä voisi korvata perinteiset lähestymistavat mielenterveysjärjestelmien hoitoon. Kuitenkin he pitävät OEG:ta lupaavana apuvälineenä, erityisesti menetelmänä arvioida lääkehoitojen vaikutuksia potilaan määrättyyn hoitosuunnitelmaan.

Tutkimus artikkeli on nimeltään Affektiivisten häiriöiden kasvot, ja se on peräisin kahdeksalta tutkijalta laajasta joukosta instituutioita yksityiseltä ja julkiselta lääketieteelliseltä tutkimusalalta.

Data

(Uusi tutkimus käsittelee pääasiassa eri teorioita ja menetelmiä, joita käytetään potilaiden mielenterveysjärjestelmien diagnosoinnissa, ja vähemmän huomiota on kiinnitetty itse tekniikoihin ja prosesseihin, joita käytetään kokeissa ja eri kokeissa)

Datakeräys tapahtui Aachenin yliopistosairaalassa, jossa osallistujina oli 100 sukupuolitasapainotettua potilasta ja 50:henkinen vertailuryhmä, johon kuului terveitä ihmisiä. Potilaiden joukossa oli 35 skitsofreniaa sairastavaa ja 65 masennuksesta kärsivää.

Potilasosuuksien osalta alkumittaukset tehtiin sairaalahoitoon otettaessa, ja toiset ennen heidän sairaalasta poistumistaan, ja keskimääräinen väliaika oli 12 viikkoa. Vertailuryhmän osallistujat rekrytoitiin satunnaisesti paikallisen väestön joukosta, ja heidän omat pääsy- ja “lääkehoitonsa” seurasivat potilaiden tapaan.

Tosiasiallisesti tärkein “todellinen totuus” tällaiselle kokeelle on diagnoosit, jotka on saatu hyväksytyillä ja standardoiduilla menetelmillä, ja tämä oli tapaus myös OEG-kokeissa.

Kuitenkin datakeräysvaiheessa saatiin myös lisää tietoa, joka soveltuu koneelliseen tulkintaan: 90 minuutin haastattelut tallennettiin kolmessa vaiheessa Logitech c270 -kuluttajakameran avulla 25 fps:llä.

Ensimmäinen vaihe koostui standardista Hamiltonin haastattelusta (joka perustuu noin vuonna 1960 tehtyyn tutkimukseen), kuten mitä yleensä annetaan sairaalaan otettaessa. Toisessa vaiheessa potilaita (ja heidän vertailuryhmänsä) pyydettiin katsomaan videoita, joissa oli eri kasvojen ilmeitä, ja pyydettiin matkimaan niitä ja kertomaan omasta arviostaan mielentilastaan silloin, mukaan lukien emotionaalinen tila ja voimakkuus. Tämä vaihe kesti noin kymmenen minuuttia.

Kolmannessa ja viimeisessä vaiheessa osallistujat saivat katsella 96 videota, joissa näyttelijät kertoivat voimakkaita emotionaalisia kokemuksia, ja kestivät hieman yli kymmenen sekuntia. Osallistujilta pyydettiin arvioimaan emotionaalisuutta ja voimakkuutta videossa, sekä heidän omaa vastaavaa tunnettaan. Tämä vaihe kesti noin 15 minuuttia.

Menetelmä

Tulokset saatiin aikaan seuraavasti:

EmoNet-kehyksellä havaittiin emotionaaliset merkkipaikat. Sen jälkeen määritettiin kasvojen muodon ja keskiarvon (keskiarvoistetun) kasvojen muodon välinen vastaavuus pala kohtaisella affiinimuunnoksella.

Dimensioinen emotionaalisuuden tunnistaminen ja silmän katseennustus suoritettiin jokaisella edellisessä vaiheessa tunnistetulla merkkipaikalla.

Tässä vaiheessa äänipohjainen emotionaalisuuden arviointi osoitti, että opetettava hetki on saavutettu potilaan mielentilassa, ja tehtävä on havainnoida vastaava kasvokuvaa ja kehittää sen mukaista ulottuvuutta ja aluetta heidän affektiivisessa tilassa.

(Yllä olevassa videossa nähdään työ, jonka dimensional emotion recognition -tekniikoiden kehittäjät ovat kehittäneet uutta tutkimusta varten).

Materiaalin muodon geodesia laskettiin jokaiselle kehykselle, ja sovellettiin SVD-pudotusta. Tulokset muodostivat aikasarja, joka mallinnettiin VAR-prosessina, ja sitten edelleen vähennettiin SVD:llä ennen MAP-mallin sovittamista.

Geodesian reduktio-prosessin työkalu.

Myös EmoNet-verkossa olevat valenssi- ja hermostusarvot käsiteltiin samalla tavoin VAR-mallinnuksella ja jono-ytimen laskennalla.

Kokeet

Kuten aiemmin selitetty, uusi tutkimus on pääasiassa lääketieteellinen tutkimusartikkeli eikä standardi tietokoneavusteinen tutkimus. Viittaamme lukijaa itse artikkeliin, jossa on tarkka kuvaus monista OEG-kokeista, joita tutkijat ovat suorittaneet.

Kuitenkin tiivistämällä osaa niistä:

Affektiivisten häiriöiden vihjeet

Tässä 40 osallistujaa (ei vertailuryhmästä tai potilasryhmästä) pyydettiin arvioimaan keskiarvoa kasvojen ilmeistä (ks. yllä) useiden kysymysten suhteen ilman tietoa datan kontekstista. Kysymykset olivat:

Mikä on kahden kasvon sukupuoli?
Onko kasvoilla viehättävä ulkonäkö?
Ovatko kasvot luotettavien henkilöiden kasvoja?
Miten arvioit kykyä toimia?
Mikä on kahden kasvon emotionaalinen tila?
Mikä on kahden kasvon ihon ulkonäkö?
Mikä on katseen vaikutelma?
Onko kasvoilla alakuloisia suunurkkia?
Onko kasvoilla kohotettuja kulmakarvoja?
Ovatko nämä henkilöt kliinisiä potilaita?

Tutkijat totesivat, että nämä sokeat arviot korreloivat rekisteröityyn tilaan:

Ruutuplotin tulokset ‘keskiarvoisen kasvon’ kyselystä.

Kliininen arviointi

Tutkijat arvioivat OEG:n hyödyllisyyttä alkuvaiheen arvioinnissa ja miten tehokasta standardi kliininen arviointi on itsessään. He mitäsivät paranemisen tasoa induktiosta toiseen vaiheeseen (jolloin potilas on yleensä sairaalassa ja saa lääkitystä).

Tutkijat totesivat, että tila ja oireiden vakavuus voidaan arvioida hyvin tällä menetelmällä, ja se saavutti korrelaation 0,82. Kuitenkin tarkan diagnoosin saaminen joko skitsofreniasta tai masennuksesta oli haasteellisempaa, ja standardimenetelmä sai vain -0,03 pisteen tässä vaiheessa.

Tutkijat kommentoivat:

‘Itse asiassa potilaan tila voidaan määrittää suhteellisen hyvin käyttämällä normaaleja kyselyjä. Kuitenkin se on kaikki, mitä voidaan siitä päätellä. Onko joku masentunut vai skitsofrenia, ei voida siitä päätellä. Sama koskee hoitovastetta.’

Koneen prosessoinnin tulokset pystyivät saavuttamaan paremmat tulokset tässä ongelma-alueessa ja vertailukelpoiset tulokset alkuvaiheen potilasarvioinnissa:

Korkeammat numerot ovat parempia. Vasemmalla on standardihaastattelupohjaisen arvioinnin tarkkuustulokset neljässä vaiheessa; oikealla on konepohjaiset tulokset.

Häiriöiden diagnosointi

Depression ja skitsofrenian erottaminen staattisista kasvokuvista ei ole triviaali asia. Ristivalidoitu, konepohjainen prosessi pystyi saavuttamaan korkeat tarkkuustulokset eri kokeiden vaiheissa:

Muiden kokeiden tulokset osoittivat, että OEG voi havaita potilaiden paranemisen lääkehoitojen avulla ja yleisen hoidon:

‘Kausaaliset johtopäätökset empiirisestä etuoikeudesta sovitettiin lääkehoitoon, jotta voidaan havaita paluu fysiologiseen sääntelyyn kasvojen dynamiikassa. Tällaista paluuta ei voitu havaita kliinisessä määräyksessä.’

‘Tällä hetkellä ei ole selvää, johtaisiko konepohjainen suositus todella merkittävästi parempaan hoitotulokseen. Erityisesti koska tiedetään, mitä sivuvaikutuksia lääkkeillä voi olla pitkällä aikavälillä.’

‘Kuitenkin tämänkaltaiset potilaskohtaiset lähestymistavat rikkoisivat yleisesti käytössä olevan kategorisen luokittelujärjestelmän esteet.’

* Käännökseni alkuperäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran 3. elokuuta 2022.