Rozpoznawanie zaburzeń zdrowia psychicznego za pomocą oceny wyrazu twarzy przy użyciu sztucznej inteligencji

Naukowcy z Niemiec opracowali metodę identyfikacji zaburzeń psychicznych na podstawie wyrazu twarzy interpretowanego przez komputerową wizję.

Nowe podejście może nie tylko odróżnić osoby niezachorowane od chorych, ale także poprawnie odróżnić depresję od schizofrenii, a także stopień, w jakim pacjent jest obecnie dotknięty chorobą.

Naukowcy dostarczyli złożone obrazy, które reprezentują grupę kontrolną dla swoich testów (po lewej stronie poniższego obrazu) i pacjentów cierpiących na zaburzenia psychiczne (po prawej stronie). Tożsamości wielu osób są połączone w przedstawieniach, a żaden z obrazów nie przedstawia konkretnego osobnika:

Source: https://arxiv.org/pdf/2208.01369.pdf

Osoby z zaburzeniami afektywnymi mają tendencję do unoszenia brwi, posiadania ołowianych spojrzań, opuchniętych twarzy i wyrazu twarzy z opadniętymi kącikami ust. W celu ochrony prywatności pacjentów, te złożone obrazy są jedynymi, które są udostępniane w ramach nowej pracy.

Do tej pory rozpoznawanie wyrazu twarzy było głównie używane jako potencjalne narzędzie do podstawowej diagnozy. Nowe podejście oferuje możliwą metodę oceny postępów pacjenta w trakcie leczenia, lub ewentualnie (potencjalnie, choć praca nie sugeruje tego) w ich własnym środowisku domowym do monitorowania ambulatoryjnego.

W pracy napisano*:

‘Przechodząc poza maszynową diagnozę depresji w komputerowej nauce o afektywności, która została opracowana w poprzednich badaniach, pokazujemy, że mierzalny stan afektywny oszacowany za pomocą komputerowej wizji zawiera o wiele więcej informacji niż czysta klasyfikacja kategorialna.’

Naukowcy nazwali tę technikę Opto Electronic Encephalography (OEG), całkowicie bierną metodą inferowania stanu psychicznego przez analizę obrazu twarzy zamiast sensorów lub technologii medycznych opartych na promieniach.

Autorzy pracy stwierdzają, że OEG może być nie tylko pomocnym narzędziem w diagnozie i leczeniu, ale także potencjalnym zamiennikiem dla pewnych części procesu diagnostycznego, który może skrócić czas potrzebny do monitorowania pacjenta i wstępnej diagnozy. Zaznaczają:

‘Ogólnie, wyniki przewidywane przez maszynę pokazują lepsze korelacje w porównaniu z czystymi ankietami opartymi na ocenach klinicznych i są również obiektywne. Bardzo krótki okres pomiaru, wynoszący kilka minut dla podejść komputerowej wizji, jest również godny uwagi, podczas gdy czasem wymagane są godziny dla wywiadów klinicznych.’

Jednak autorzy są skłonni podkreślić, że opieka nad pacjentem w tej dziedzinie jest wieloaspektowym przedsięwzięciem, z wieloma innymi wskaźnikami stanu pacjenta do rozważenia niż tylko ich wyraz twarzy, i że jest zbyt wcześnie, aby rozważać, że taki system mógłby całkowicie zastąpić tradycyjne podejścia do zaburzeń psychicznych. Niemniej jednak uważają OEG za obiecujące narzędzie pomocnicze, szczególnie jako metodę oceny efektów leczenia farmakologicznego w przepisanym schemacie pacjenta.

Praca pracy nosi tytuł Twarz zaburzeń afektywnych i pochodzi od ośmiu naukowców z różnych instytucji z sektora prywatnego i publicznego badania medycznego.

Dane

(Nowa praca zajmuje się głównie różnymi teoriami i metodami, które są obecnie popularne w diagnozie pacjentów z zaburzeniami psychicznymi, z mniejszą uwagą niż zwykle do rzeczywistych technologii i procesów używanych w testach i eksperymentach)

Gromadzenie danych odbywało się w Uniwersyteckim Szpitalu w Akwizgranie, z 100 pacjentami o równym podziale na płeć i grupą kontrolną 50 osób niezachorowanych. Pacjenci obejmowali 35 osób cierpiących na schizofrenię i 65 osób cierpiących na depresję.

Dla części pacjentów testowych pomiary wstępne zostały wykonane w momencie pierwszego hospitalizacji, a drugie przed ich wypisem ze szpitala, co trwało średnio 12 tygodni. Uczestnicy grupy kontrolnej zostali wybrani losowo z lokalnej populacji, z ich własnym wprowadzeniem i “wypisem” naśladującym ten sam schemat co pacjenci.

W efekcie, najważniejsza “prawda” dla takiego eksperymentu musi być diagnoza uzyskana za pomocą zatwierdzonych i standardowych metod, i tak było w przypadku prób OEG.

Jednak etap gromadzenia danych uzyskał dodatkowe dane bardziej odpowiednie dla interpretacji maszynowej: wywiady trwające średnio 90 minut zostały zarejestrowane w trzech fazach z kamerą Logitech c270 pracującą z prędkością 25 klatek na sekundę.

Pierwsza sesja składała się ze standardowego wywiadu Hamiltona (opartego na badaniach z około 1960 roku), takiego jak zwykle przeprowadzanego przy przyjęciu. W drugiej fazie, niezwykle, pacjenci (i ich odpowiednicy w grupie kontrolnej) zostali pokazani filmy z serią wyrazów twarzy, i poproszeni o naśladowanie każdego z nich, podczas gdy oceniali swój własny stan psychiczny w tym czasie, w tym stan emocjonalny i intensywność. Faza ta trwała około 10 minut.

W trzeciej i ostatniej fazie uczestnicy zostali pokazani 96 filmów z aktorami, trwających nieco ponad 10 sekund każdy, opowiadających o intensywnych doświadczeniach emocjonalnych. Uczestnicy zostali poproszeni o ocenę emocji i intensywności przedstawionych w filmach, a także o własne odpowiednie uczucia. Faza ta trwała około 15 minut.

Metoda

Aby uzyskać średnią wyrazu twarzy (patrz pierwszy obraz powyżej), punkty emocjonalne zostały przechwycone za pomocą ramy EmoNet. Następnie określono korelację między kształtem twarzy a średnim (średnim) kształtem twarzy za pomocą przekształcenia afrynowego.

Rozpoznawanie emocji wymiarowych i przewidywanie spojrzenia oka zostało wykonane na każdym segmencie punktów identyfikowanych w poprzedniej fazie.

W tym momencie inferencja emocjonalna oparta na dźwięku wskazała, że nadszedł moment nauczania, i zadaniem jest przechwycenie odpowiedniego obrazu twarzy i rozwinięcie tej wymiaru i dziedziny stanu afektywnego.

https://www.youtube.com/watch?v=J8Skph65ghM

(W powyższym filmie widzimy pracę opracowaną przez autorów technologii rozpoznawania emocji wymiarowych używanych przez naukowców w nowej pracy).

Geodezyjny kształt materiału został obliczony dla każdego klatki danych, a redukcja Singular Value Decomposition (SVD) została zastosowana. Wynikowy szereg czasowy został ostatecznie zmodelowany jako VAR proces, a następnie dalej zredukowany za pomocą SVD przed MAP adaptacją.

Przepływ pracy dla procesu geodezyjnego.

Wartości walencji i pobudzenia w sieci EmoNet zostały również podobnie przetworzone z modelem VAR i obliczeniem jądra sekwencji.

Eksperymenty

Jak wyjaśniono wcześniej, nowa praca jest głównie pracą badawczą medyczną, a nie standardową pracą komputerową, i odsyłamy czytelnika do samej pracy dla szczegółowego omówienia różnych eksperymentów OEG przeprowadzonych przez naukowców.

Niemniej jednak, aby podsumować wybór z nich:

Sygnalizacja zaburzeń afektywnych

Tutaj 40 uczestników (nie z grupy kontrolnej ani pacjentów) zostało poproszonych o ocenę średnich twarzy (patrz powyżej) w odniesieniu do szeregu pytań, bez informacji o kontekście danych. Pytania brzmiały:

Jaka jest płeć dwóch twarzy?
Czy twarze mają atrakcyjny wygląd?
Czy są to osoby godne zaufania?
Jak oceniasz zdolność tych ludzi do działania?
Jaka jest emocja dwóch twarzy?
Jaki jest wygląd skóry dwóch twarzy?
Jaki jest wyraz spojrzenia?
Czy dwie twarze mają opadnięte kąciki ust?
Czy dwie twarze mają uniesione brwi?
Czy są to pacjenci kliniczni?

Naukowcy stwierdzili, że te ślepe oceny korelowały z zarejestrowanym stanem przetworzonych danych:

Wyniki ankiety ‘średniej twarzy’.

Ocena kliniczna

Aby ocenić użyteczność OEG w wstępnej ocenie, naukowcy najpierw ocenili, jak skuteczna jest standardowa ocena kliniczna, mierząc poziomy poprawy między indukcją a drugą fazą (w której pacjent zwykle otrzymuje leczenie farmakologiczne).

Naukowcy stwierdzili, że status i ciężkość objawów mogą być dobrze ocenione za pomocą tej metody, uzyskując korelację 0,82. Jednak dokładna diagnoza schizofrenii lub depresji okazała się bardziej wymagająca, z standardową metodą uzyskującą wynik -0,03 na tym wczesnym etapie.

Autorzy komentują:

‘W istocie, stan pacjenta można określić dość dobrze za pomocą zwykłych ankiet. Jednak to wszystko, co można wnioskować z nich. Czy ktoś jest depresyjny, czy raczej schizofreniczny, nie jest wskazane. To samo dotyczy reakcji na leczenie.’

Wyniki z procesu maszynowego były w stanie uzyskać wyższe wyniki w tym obszarze problemów, oraz porównywalne wyniki dla wstępnej oceny pacjenta:

Wyższe liczby są lepsze. Po lewej, standardowa ocena wywiadu oparta na wynikach ankiet przez cztery fazy architektury testowej; po prawej, wyniki maszynowe.

Diagnoza zaburzeń

Rozróżnienie depresji od schizofrenii za pomocą statycznych obrazów twarzy nie jest trywialną sprawą. Przy walidacji krzyżowej, proces maszynowy był w stanie uzyskać wysokie wyniki dokładności w różnych fazach prób:

W innych eksperymentach naukowcy byli w stanie udowodnić dowody, że OEG może postrzegać poprawę pacjenta za pomocą leczenia farmakologicznego, oraz ogólnego leczenia zaburzenia:

‘Wnioskowanie przyczynowe nad empiryczną wiedzą ze zbioru danych dostosowało leczenie farmakologiczne, aby zaobserwować powrót do fizjologicznej regulacji dynamiki twarzy. Taki powrót nie mógł być zaobserwowany podczas klinicznego przepisu.

‘Na razie nie jest jasne, czy taka maszynowa rekomendacja rzeczywiście przyniosłaby znacznie lepszy sukces terapii. Szczególnie dlatego, że wiadomo, jakie skutki uboczne leki mogą mieć przez długi czas.

‘Jednak tego rodzaju podejścia dostosowane do pacjenta złamią bariery powszechnie używanej schematyki kategorialnej w codziennym życiu.’

* Moja konwersja cytowań wstawionych autorów do łączy.

Pierwotnie opublikowane 3 sierpnia 2022.