Diagnozowanie zaburzeń zdrowia psychicznego za pomocą oceny wyrazu twarzy przy użyciu sztucznej inteligencji

Naukowcy z Niemiec opracowali metodę identyfikacji zaburzeń psychicznych na podstawie wyrazu twarzy interpretowanego przez komputerową wizję.

Nowy podejście nie tylko może odróżnić osoby niezachorowane od chorych, ale także poprawnie odróżnić depresję od schizofrenii, a także stopień, w jakim pacjent jest obecnie dotknięty chorobą.

Naukowcy udostępnili złożone obrazy, które reprezentują grupę kontrolną dla swoich testów (po lewej stronie na poniższym obrazie) i pacjentów cierpiących na zaburzenia psychiczne (po prawej stronie). Tożsamości wielu osób są zmieszane w tych reprezentacjach, a żaden z obrazów nie przedstawia konkretnego osobnika:

Źródło: https://arxiv.org/pdf/2208.01369.pdf

Osoby z zaburzeniami afektywnymi mają tendencję do uniesionych brwi, ołowianego spojrzenia, opuchniętych twarzy i wyrazu twarzy z opadniętymi kącikami ust. W celu ochrony prywatności pacjentów, te złożone obrazy są jedynymi dostępnymi w ramach nowej pracy.

Do tej pory rozpoznawanie wyrazu twarzy było głównie używane jako potencjalne narzędzie do podstawowej diagnozy. Nowe podejście oferuje możliwą metodę oceny postępów pacjenta w trakcie leczenia lub potencjalnie (choć artykuł nie sugeruje tego) w ich własnym środowisku domowym do monitorowania ambulatoryjnego.

W artykule stwierdza się*:

‘Przechodząc poza maszynową diagnozę depresji w komputerowym rozpoznawaniu emocji, która została opracowana w poprzednich badaniach, pokazujemy, że mierzalny stan emocjonalny oszacowany za pomocą komputerowej wizji zawiera znacznie więcej informacji niż czysta klasyfikacja kategorialna.’

Naukowcy nazwali tę technikę Opto Electronic Encephalography (OEG), całkowicie bierną metodę wnioskowania o stanie psychicznym poprzez analizę obrazu twarzy zamiast sensorycznych czujników lub promieniowania medycznego.

Autorzy wnioskują, że OEG może potencjalnie nie być tylko pomocnym narzędziem w diagnozie i leczeniu, ale także potencjalnym zastępnikiem niektórych oceniających części procesu leczenia, co mogłoby skrócić czas potrzebny do monitorowania pacjenta i wstępnej diagnozy. Zaznaczają oni:

‘Ogólnie, wyniki przewidywane przez maszynę pokazują lepsze korelacje w porównaniu z czystą oceną kliniczną opartą na ankietach i są również obiektywne. Bardzo krótki okres pomiaru, który trwa kilka minut dla podejść komputerowych, jest również godny uwagi, podczas gdy czasami wymagane są godziny dla wywiadów klinicznych.’

Jednak autorzy są skłonni podkreślić, że opieka nad pacjentem w tej dziedzinie jest wielomodalnym przedsięwzięciem, z wieloma innymi wskaźnikami stanu pacjenta do rozważenia niż tylko ich wyraz twarzy, i że jest zbyt wcześnie, aby rozważać, że taki system mógłby całkowicie zastąpić tradycyjne podejścia do zaburzeń psychicznych. Niemniej, uważają OEG za obiecującą technologię wspomagającą, szczególnie jako metodę oceny efektów leczenia farmakologicznego w przepisanym reżimie pacjenta.

Artykuł artykuł nosi tytuł Twarz zaburzeń afektywnych i pochodzi od ośmiu naukowców z różnych instytucji z sektora prywatnego i publicznego badania medycznego.

Dane

(Nowy artykuł zajmuje się głównie różnymi teoriami i metodami, które są obecnie popularne w diagnozie pacjentów z zaburzeniami psychicznymi, z mniejszą uwagą niż zwykle do rzeczywistych technologii i procesów używanych w testach i eksperymentach)

Zbieranie danych odbywało się w Uniwersyteckim Szpitalu w Akwizgranie, z 100 pacjentami o równym podziale na płeć i grupą kontrolną 50 niezachorowanych osób. W grupie pacjentów znalazło się 35 osób cierpiących na schizofrenię i 65 osób cierpiących na depresję.

Dla części pacjentów testowych pomiary wstępne zostały wykonane w momencie pierwszego hospitalizacji, a drugie przed ich wypisem ze szpitala, co trwało średnio 12 tygodni. Uczestnicy grupy kontrolnej zostali wybrani losowo z lokalnej populacji, a ich własna indukcja i “wypis” były lustrzanym odbiciem tych samych pacjentów.

W istocie, najważniejsza “prawda” dla takiego eksperymentu musi być diagnoza uzyskana za pomocą zatwierdzonych i standardowych metod, i tak było w przypadku testów OEG.

Jednak etap zbierania danych uzyskał dodatkowe dane bardziej odpowiednie dla interpretacji maszynowej: wywiady trwające średnio 90 minut zostały nagrane w trzech fazach przy użyciu kamery internetowej Logitech c270 o rozdzielczości 25 klatek na sekundę.

Pierwsza sesja składała się z standardowego wywiadu Hamiltona (opartego na badaniach z 1960 roku), takiego jak zwykle przeprowadzanego przy przyjęciu. W drugiej fazie, niezwykle, pacjenci (i ich odpowiednicy w grupie kontrolnej) zostali pokazani filmy z serią wyrazów twarzy, a poproszeni o naśladownictwo każdego z nich, jednocześnie podając swoją własną ocenę stanu psychicznego w tym czasie, w tym stanu emocjonalnego i intensywności. Ta faza trwała około 10 minut.

W trzeciej i ostatniej fazie uczestnicy zostali pokazani 96 filmów z aktorami, trwających nieco ponad 10 sekund każdy, wydawałoby się, że opowiadają o intensywnych doświadczeniach emocjonalnych. Uczestnicy zostali poproszeni o ocenę emocji i intensywności przedstawionych w filmach, a także o własne odpowiednie uczucia. Ta faza trwała około 15 minut.

Metoda

Aby uzyskać średnią wyraz twarzy (patrz pierwszy obraz powyżej), punkty emocjonalne zostały przechwycone za pomocą ramy EmoNet. Następnie określono korelację między kształtem twarzy a średnim (uśrednionym) kształtem twarzy za pomocą przekształcenia afrynowego.

Rozpoznawanie emocji w wymiarze i przewidywanie spojrzenia zostało wykonane na każdym segmencie punktów emocjonalnych zidentyfikowanych w poprzedniej fazie.

W tym momencie inferencja emocjonalna oparta na dźwięku wskazała, że nadszedł moment nauczenia, i zadaniem jest przechwycenie odpowiedniego obrazu twarzy i rozwinięcie tej dimensji i dziedziny stanu emocjonalnego.

(W powyższym filmie widać pracę opracowaną przez autorów technologii rozpoznawania emocji wymiarowych użytych przez naukowców w nowej pracy).

Geodezyjny kształt materiału został obliczony dla każdej ramki danych, a następnie zastosowano redukcję SVD. Wynikowy szereg czasowy został ostatecznie zmodelowany jako proces VAR, a następnie dodatkowo zredukowany za pomocą SVD przed dostosowaniem MAP.

Przepływ pracy procesu geodezyjnego.

Wartości valence i arousal w sieci EmoNet zostały również podobnie przetworzone z modelem VAR i obliczeniem jądra sekwencji.

Eksperymenty

Jak wyjaśniono wcześniej, nowa praca jest głównie artykułem badawczym z dziedziny medycyny, a nie standardowym artykułem z dziedziny komputerowej wizji, i odsyłamy czytelnika do samego artykułu w celu uzyskania szczegółowych informacji o różnych eksperymentach OEG przeprowadzonych przez naukowców.

Niemniej, aby podsumować wybór z nich:

Sygnały zaburzeń afektywnych

Tutaj 40 uczestników (nie z grupy kontrolnej ani pacjentów) zostało poproszonych o ocenę średnich twarzy (patrz powyżej) w odniesieniu do szeregu pytań, bez informacji o kontekście danych. Pytania brzmiały:

Jaka jest płeć dwóch twarzy?
Czy twarze mają atrakcyjny wygląd?
Czy te twarze są godne zaufania?
Jak oceniasz zdolność tych ludzi do działania?
Jaka jest emocja dwóch twarzy?
Jaki jest wygląd skóry dwóch twarzy?
Jaki jest wygląd spojrzenia?
Czy dwie twarze mają opadnięte kąciki ust?
Czy dwie twarze mają uniesione brwi?
Czy są to kliniczni pacjenci?

Naukowcy stwierdzili, że te ślepe oceny korelują z zarejestrowanym stanem przetworzonych danych:

Wyniki ankiety ‘średniej twarzy’.

Ocena kliniczna

Aby ocenić przydatność OEG w ocenie wstępnej, naukowcy najpierw ocenili, jak skuteczna jest standardowa ocena kliniczna, mierząc poziomy poprawy między indukcją a drugą fazą (w której pacjent zwykle otrzymuje leczenie farmakologiczne.

Naukowcy stwierdzili, że stan i nasilenie objawów mogą być dobrze ocenione za pomocą tej metody, uzyskując korelację 0,82. Jednak dokładna diagnoza depresji lub schizofrenii okazała się bardziej wymagająca, a standardowa metoda uzyskała wynik tylko -0,03 na tym wczesnym etapie.

Autorzy komentują:

‘W istocie, stan pacjenta można określić dość dobrze za pomocą standardowych ankiet. Jednak to wszystko, co można z nich wywnioskować. Czy ktoś jest depresyjny czy raczej schizofreniczny, nie jest wskazane. To samo dotyczy reakcji na leczenie.’

Wyniki procesu maszynowego były w stanie uzyskać wyższe wyniki w tym obszarze problemów i porównywalne wyniki dla wstępnej oceny pacjenta:

Wyniki lepsze są po prawej stronie. Po lewej, wyniki dokładności oceny opartej na wywiadach w czterech fazach architektury testowej; po prawej, wyniki maszynowe.

Diagnoza zaburzeń

Różnicowanie depresji od schizofrenii za pomocą statycznych obrazów twarzy nie jest trywialną sprawą. W cross-walidacji proces maszynowy był w stanie uzyskać wysokie wyniki dokładności w różnych fazach testów:

W innych eksperymentach naukowcy byli w stanie udowodnić dowody, że OEG może postrzegać poprawę pacjenta za pomocą leczenia farmakologicznego i ogólnego leczenia zaburzenia:

‘Wnioskowanie przyczynowe nad empiryczną wiedzą na temat zbierania danych dostosowało leczenie farmakologiczne, aby zaobserwować powrót do fizjologicznej regulacji dynamiki twarzy. Tego nie można było zaobserwować podczas klinicznego przepisywania.

‘Na razie nie jest jasne, czy taka maszynowa rekomendacja rzeczywiście doprowadziłaby do znacznie lepszego powodzenia terapii. Szczególnie dlatego, że wiadomo, jakie skutki uboczne mogą mieć leki przez długi czas.

‘Jednak tego rodzaju podejścia dostosowane do pacjenta mogłyby przełamać bariery powszechnie używanej schematycznej klasyfikacji kategorialnej w codziennym życiu.’

* Moja konwersja cytatów wstawionych przez autorów do postaci linków.

Pierwotnie opublikowane 3 sierpnia 2022.