Diagnostika duševních poruch pomocí hodnocení mimiky obličeje pomocí umělé inteligence

Výzkumníci z Německa vyvinuli metodu pro identifikaci duševních poruch na základě mimiky obličeje interpretované počítačovým viděním.

Tato nová metoda může nejen rozlišit mezi nezasaženými a postiženými subjekty, ale také správně rozlišit depresi od schizofrenie, stejně jako stupeň, v jakém je pacient v současné době ovlivněn onemocněním.

Výzkumníci poskytli kompozitní obraz, který reprezentuje kontrolní skupinu pro jejich testy (vlevo na obrázku níže) a pacienty, kteří trpí duševními poruchami (vpravo). Identity více lidí jsou smíšeny v reprezentacích a žádný z obrázků nezobrazuje konkrétního jedince:

Zdroj: https://arxiv.org/pdf/2208.01369.pdf

Jedinci s afektivními poruchami tendují mít zvýšené obočí, těžký pohled, otoky obličeje a ústa svisle dolů. Pro ochranu soukromí pacientů jsou tyto kompozitní obrázky jediné, které jsou k dispozici ve prospěch nové práce.

Dosud byla rozpoznávání emocí obličeje primárně používáno jako potenciální nástroj pro základní diagnózu. Nová metoda nabízí možný způsob, jak vyhodnotit pokrok pacienta během léčby, nebo případně (i když článek to nenaznačuje) v jejich vlastním domácím prostředí pro ambulantní monitorování.

Článek uvádí*:

‘Přejít beyond strojové diagnózy deprese v afektivní výpočetní technice, která byla vyvinuta v předchozích studích, ukazujeme, že měřitelný afektivní stav odhadnutý pomocí počítačového vidění obsahuje mnohem více informací než čistá kategoriální klasifikace.’

Výzkumníci nazvali tuto techniku Opto Electronic Encephalography (OEG), kompletně pasivní metodu pro odvození duševního stavu pomocí analýzy obličeje namísto topických senzorů nebo technologií založených na paprscích.

Autoři závěrem uvádějí, že OEG by mohl být nejen pomocníkem pro diagnózu a léčbu, ale v dlouhodobém horizontu i potenciálním náhradou za některé vyhodnocovací části léčebného procesu, a to způsobem, který by mohl zkrátit dobu potřebnou pro monitorování a počáteční diagnózu pacienta. Poznamenávají:

‘Celkově výsledky předpovězené strojem ukazují lepší korelace ve srovnání s čistou klinickou pozorovatelskou hodnocením založenou na dotaznících a jsou také objektivní. Relativně krátká měřicí doba několika minut pro počítačové vidění je také pozoruhodná, zatímco klinické rozhovory někdy vyžadují hodiny.’

Nicméně, autoři jsou ochotni zdůraznit, že péče o pacienty v této oblasti je multimodální, s mnoha dalšími indikátory stavu pacienta, než je pouze jejich mimika, a že je příliš brzy uvažovat o tom, že takový systém by mohl zcela nahradit tradiční přístupy k duševním poruchám. Přesto považují OEG za slibnou pomocnou technologii, zejména jako metodu pro hodnocení účinků farmakologické léčby v předepsaném režimu pacienta.

Článek článku se nazývá Obličej afektivní poruchy a pochází od osmi výzkumníků z širokého spektra institucí z privátního a veřejného sektoru lékařského výzkumu.

Data

(Nový článek se zabývá především různými teoriemi a metodami, které jsou v současné době populární v diagnostice duševních poruch u pacientů, s menší pozorností než je obvyklé k samotným technologiím a procesům používaným v testech a různých experimentech)

Shromažďování dat probíhalo na Univerzitní nemocnici v Aachenu, se 100 pacienty s vyváženým pohlavím a kontrolní skupinou 50 nezasažených lidí. Pacienti zahrnovali 35 osob trpících schizofrenií a 65 osob trpících depresí.

Pro pacientskou část testovací skupiny byly počáteční měření provedena v době první hospitalizace a druhé před jejich propuštěním z nemocnice, s průměrným intervalem 12 týdnů. Účastníci kontrolní skupiny byli náhodně vybráni z místní populace, se svou vlastní indukcí a ‘propuštěním’, které kopírovaly ty skutečné pacienty.

Ve skutečnosti je nejůležitější ‘ground truth’ pro takový experiment diagnóza získaná schválenými a standardními metodami, a to bylo případ OEG testů.

Avšak fáze shromažďování dat získala další data více vhodné pro strojové interpretace: rozhovory trvající v průměru 90 minut byly zaznamenány ve třech fázích pomocí webové kamery Logitech c270 s frekvencí 25 fps.

První fáze se skládala ze standardního Hamiltonova rozhovoru (založeného na výzkumu z roku 1960), takového, jaký by byl obvykle proveden při přijetí. Ve druhé fázi, neobvykle, byli pacienti (a jejich protějšky v kontrolní skupině) ukázány videa s řadou mimických výrazů a byli požádáni, aby je napodobovali, zatímco uváděli svou vlastní odhad svého duševního stavu v té době, včetně emočního stavu a intenzity. Tato fáze trvala kolem 10 minut.

V třetí a poslední fázi byli účastníci ukázány 96 videí herců, trvajících něco přes 10 sekund, které se zdály vyprávět intenzivní emoční zkušenosti. Účastníci byli poté požádáni, aby vyhodnotili emoci a intenzitu reprezentovanou ve videích, stejně jako své vlastní odpovídající pocity. Tato fáze trvala kolem 15 minut.

Metoda

Chcete-li dospět k průměrné hodnotě zachycených obličejů (viz první obrázek výše), byly emocionální orientační body zachyceny pomocí EmoNet frameworku. Následně byla určena korespondence mezi tvarem obličeje a průměrným (průměrným) tvarem obličeje pomocí piecewise affine transformace.

Rozpoznávání emocí a predikce pohledu byly provedeny na každém orientačním bodě identifikovaném v předchozí fázi.

V tomto okamžiku naznačila audio-založená inference emocí, že nastal učitelný okamžik v duševním stavu pacienta, a úkolem je zachytit odpovídající obličejový obraz a vyvinout tuto dimenzi a doménu jeho afektového stavu.

(Na videu výše vidíme práci vyvinutou autory dimenzionálního rozpoznávání emocí používanou výzkumníky pro novou práci).

Geodetická dráha materiálu byla vypočtena pro každou rámcovou datovou sadu, a aplikována redukce Singular Value Decomposition (SVD). Výsledná časová řada dat byla nakonec modelována jako VAR proces, a poté dále redukována pomocí SVD před MAP adaptací.

Pracovní postup pro geodetickou redukci.

Hodnoty valence a arousal ve síti EmoNet byly také podobně zpracovány pomocí VAR modelování a sekvenční kernelové výpočtu.

Experimenty

Jak je vysvětleno dříve, nová práce je primárně lékařský výzkumný článek než standardní příspěvek počítačového vidění, a odkazujeme čtenáře na článek sám pro podrobné pokrytí různých experimentů OEG provedených výzkumníky.

Nicméně, aby se shrnula výběr z nich:

Signály afektivní poruchy

Zde 40 účastníků (ne z kontrolní nebo pacientské skupiny) byli požádáni, aby ohodnotili vyhodnocené průměrné obličeje (viz výše) ve vztahu k řadě otázek, aniž by byli informováni o kontextu dat. Otázky byly:

Jaké je pohlaví dvou obličejů?
Mají obličeje atraktivní vzhled?
Jsou tyto obličeje důvěryhodnými osobami?
Jak hodnotíte schopnost těchto lidí jednat?
Jaká je emoce dvou obličejů?
Jaký je vzhled pleti dvou obličejů?
Jaký je dojem pohledu?
Mají dvě obličeje koutky úst směřující dolů?
Mají dvě obličeje zvýšené obočí?
Jsou tito lidé kliničtí pacienti?

Výzkumníci zjistili, že tyto slepé hodnocení korelovala s registrovaným stavem zpracovaných dat:

Box plot výsledky pro ‘průměrnou obličej’ průzkum.

Klinické hodnocení

Chcete-li posoudit užitečnost OEG v počátečním hodnocení, výzkumníci nejprve vyhodnotili, jak efektivní je standardní klinické hodnocení samo o sobě, měřením úrovní zlepšení mezi indukcí a druhou fází (kdy pacient obvykle dostává lékovou léčbu.

Výzkumníci dospěli k závěru, že stav a závažnost symptomů lze dobře vyhodnotit touto metodou, dosáhnuvši korelace 0,82. Avšak přesná diagnóza buď schizofrenie nebo deprese se ukázala být obtížnější, s standardní metodou, která dosáhla skóre pouze -0,03 v tomto raném stadiu.

Autoři komentují:

‘Podstatou je, že stav pacienta lze relativně dobře určit pomocí standardních dotazníků. Avšak to je prakticky vše, co lze z toho vyvodit. Zda je někdo deprimovaný nebo spíše schizofrenní, není z toho zřejmé. Totéž platí pro reakci na léčbu.’

Výsledky z procesu stroje byly schopny získat vyšší skóre v této problémové oblasti a srovnatelné skóre pro počáteční hodnocení pacienta:

Vyšší čísla jsou lepší. Vlevo, výsledky standardního interview-založeného hodnocení přes čtyři fáze testovací architektury; vpravo, stroj-založené výsledky.

Diagnóza poruchy

Rozlišení deprese od schizofrenie pomocí statických obličejových obrazů není triviální záležitostí. Křížově validované, strojový proces byl schopen získat vysoké přesné skóre v různých fázích testů:

V dalších experimentech výzkumníci byli schopni prokázat důkazy, že OEG může vnímat zlepšení pacienta prostřednictvím farmakologické léčby a obecné léčby poruchy:

‘Kauzální inference nad empirickými znalostmi sběru dat upravila farmakologickou léčbu, aby se pozorovalo navrácení k fyziologické regulaci obličejové dynamiky. Takové navrácení nebylo pozorováno během klinického předpisu.

‘V současné době není jasné, zda by taková stroj-založená doporučení skutečně vedla k významně lepšímu úspěchu léčby. Zvláště proto, že je známo, jakými vedlejšími účinky mohou mít léky dlouhodobě.

‘Nicméně, [takové druhy] pacientsky přizpůsobené přístupy by prolomily bariéry běžné kategoriální klasifikační schématiky, která je stále dominantně používána v denním životě.’

* Můj převod inline citací autorů na odkazy.

Poprvé zveřejněno 3. srpna 2022.