Diagnose von psychischen Störungen durch künstliche Intelligenz und Gesichtsausdrucksanalyse

Forscher aus Deutschland haben eine Methode entwickelt, um psychische Störungen anhand von Gesichtsausdrücken zu identifizieren, die von Computervision interpretiert werden.

Der neue Ansatz kann nicht nur zwischen unbeeinflussten und betroffenen Personen unterscheiden, sondern auch zwischen Depression und Schizophrenie sowie dem Ausmaß, in dem die Patienten derzeit von der Krankheit betroffen sind.

Die Forscher haben ein Composite-Bild bereitgestellt, das die Kontrollgruppe für ihre Tests darstellt (links im Bild unten) und die Patienten, die an psychischen Störungen leiden (rechts). Die Identitäten mehrerer Personen sind in den Darstellungen gemischt, und keines der Bilder zeigt eine bestimmte Person:

Quelle: https://arxiv.org/pdf/2208.01369.pdf

Personen mit affektiven Störungen neigen dazu, erhobene Augenbrauen, bleierne Blicke, geschwollene Gesichter und hängende Mundwinkel zu haben. Um die Privatsphäre der Patienten zu schützen, sind diese Composite-Bilder die einzigen, die im Rahmen der neuen Arbeit verfügbar gemacht werden.

Bislang wurde die Gesichtsausdrucksanalyse hauptsächlich als potenzielles Diagnoseinstrument eingesetzt. Der neue Ansatz bietet jedoch eine mögliche Methode, um den Behandlungsfortschritt der Patienten zu bewerten oder möglicherweise (obwohl dies in der Arbeit nicht vorgeschlagen wird) in ihrer häuslichen Umgebung für die ambulante Überwachung.

Die Arbeit besagt*:

‘Über die maschinelle Diagnose von Depressionen in der affektiven Informatik hinaus, die in früheren Studien entwickelt wurde, zeigen wir, dass der messbare affektive Zustand, der durch Computervision geschätzt wird, viel mehr Informationen enthält als die reine kategorische Klassifizierung.’

Die Forscher haben diese Technik Opto-Elektronische Enzephalographie (OEG) genannt, eine vollständig passive Methode, um den mentalen Zustand durch Gesichtsbildanalyse anstelle von topischen Sensoren oder strahlungsbasierten medizinischen Bildgebungsverfahren abzuleiten.

Die Autoren kommen zu dem Schluss, dass OEG nicht nur ein sekundäres Hilfsmittel für Diagnose und Behandlung sein könnte, sondern langfristig auch ein potenzieller Ersatz für bestimmte Bewertungsaspekte der Behandlungspipeline und ein Mittel, um die Zeit für die Patientenüberwachung und die anfängliche Diagnose zu verkürzen. Sie bemerken:

‘Insgesamt zeigen die von der Maschine vorhergesagten Ergebnisse bessere Korrelationen im Vergleich zu den rein klinischen Beobachter-Rating-Fragebögen und sind auch objektiv. Die relativ kurze Messdauer von wenigen Minuten für die Computervision-Ansätze ist auch bemerkenswert, während für die klinischen Interviews manchmal Stunden erforderlich sind.’

Jedoch betonen die Autoren, dass die Patientenversorgung in diesem Bereich ein multimodales Vorhaben ist, bei dem viele andere Indikatoren für den Zustand des Patienten berücksichtigt werden müssen als nur ihre Gesichtsausdrücke, und dass es noch zu früh ist, um zu erwägen, dass ein solches System traditionelle Ansätze für psychische Störungen vollständig ersetzen könnte. Dennoch betrachten sie OEG als vielversprechende Ergänzungstechnologie, insbesondere als Methode, um die Wirkungen von pharmazeutischer Behandlung in der verschriebenen Medikation des Patienten zu bewerten.

Die Arbeit trägt den Titel Das Gesicht affektiver Störungen und stammt von acht Forschern aus verschiedenen Institutionen des privaten und öffentlichen medizinischen Forschungssektors.

Daten

(Die neue Arbeit beschäftigt sich hauptsächlich mit den verschiedenen Theorien und Methoden, die derzeit in der Patientendiagnose von psychischen Störungen populär sind, mit weniger Aufmerksamkeit als üblich für die tatsächlichen Technologien und Prozesse, die in den Tests und Experimenten verwendet werden)

Die Datenerfassung fand im Universitätsklinikum Aachen statt, mit 100 geschlechtsbalancierten Patienten und einer Kontrollgruppe von 50 nicht-betroffenen Personen. Die Patienten umfassten 35 Schizophrenie-Erkrankte und 65 Menschen mit Depressionen.

Für den Patiententeil der Testgruppe wurden die anfänglichen Messungen zum Zeitpunkt der ersten Hospitalisierung durchgeführt, und die zweite vor ihrer Entlassung aus dem Krankenhaus, was im Durchschnitt einen Zeitraum von 12 Wochen umfasste. Die Teilnehmer der Kontrollgruppe wurden willkürlich aus der lokalen Bevölkerung rekrutiert, und ihre eigene Induktion und “Entlassung” spiegelten die der tatsächlichen Patienten wider.

Im Wesentlichen muss die wichtigste “Ground Truth” für ein solches Experiment die durch anerkannte und standardisierte Methoden erhaltenen Diagnosen sein, und dies war der Fall für die OEG-Tests.

Die Datenerfassungsphase erhielt jedoch zusätzliche Daten, die besser für die maschinelle Interpretation geeignet waren: Interviews, die im Durchschnitt 90 Minuten dauerten, wurden über drei Phasen mit einer Logitech c270-Verbraucher-Webcam aufgezeichnet, die mit 25 Bildern pro Sekunde lief.

Die erste Sitzung bestand aus einem standardmäßigen Hamilton-Interview (basierend auf Forschung, die um 1960 begann), wie es normalerweise bei der Aufnahme durchgeführt würde. In der zweiten Phase wurden die Patienten (und ihre Gegenstücke in der Kontrollgruppe) ungewöhnlicherweise eine Reihe von Gesichtsausdrücken gezeigt und aufgefordert, jeden davon nachzuahmen, während sie ihre eigene Schätzung ihres mentalen Zustands zu diesem Zeitpunkt, einschließlich emotionalen Zustands und Intensität, angaben. Diese Phase dauerte etwa zehn Minuten.

In der dritten und letzten Phase wurden den Teilnehmern 96 Videos von Schauspielern gezeigt, die jeweils etwa zehn Sekunden lang waren, und die anscheinend intensive emotionale Erfahrungen schilderten. Die Teilnehmer wurden dann aufgefordert, die Emotion und Intensität in den Videos zu bewerten, sowie ihre eigenen entsprechenden Gefühle. Diese Phase dauerte etwa 15 Minuten.

Methode

Um den Mittelwert der aufgenommenen Gesichter zu ermitteln (siehe erstes Bild oben), wurden emotionale Merkmale mit dem EmoNet-Framework erfasst. Anschließend wurde die Korrespondenz zwischen der Gesichtsform und der mittleren (gemittelten) Gesichtsform durch stückweise affine Transformation bestimmt.

Dimensionale Emotionserkennung und Blickrichtungsvorhersage wurde für jeden im vorherigen Schritt identifizierten Merkmalsabschnitt durchgeführt.

Zu diesem Zeitpunkt hat die audio-basierte Emotionsinferenz angezeigt, dass ein lehrreiches Moment im mentalen Zustand des Patienten eingetreten ist, und die Aufgabe besteht darin, das entsprechende Gesichtsbild zu erfassen und diese Dimension und Domäne seines affektiven Zustands zu entwickeln.

(Im obigen Video sehen wir die Arbeit, die von den Autoren der dimensionalalen Emotionserkennungstechnologien entwickelt wurde, die von den Forschern für die neue Arbeit verwendet wurden).

Die Formgeodäsie des Materials wurde für jeden Frame der Daten berechnet, und eine Singular-Value-Decomposition (SVD)-Reduktion wurde angewendet. Die resultierenden Zeitreihendaten wurden schließlich als VAR-Prozess modelliert und dann weiter über SVD reduziert, bevor MAP-Anpassung durchgeführt wurde.

Workflow für den geodätischen Reduktionsprozess.

Die Valenz- und Erregungswerte im EmoNet-Netzwerk wurden ebenfalls ähnlich mit VAR-Modellierung und Sequenzkernberechnung verarbeitet.

Experimente

Wie bereits erwähnt, ist die neue Arbeit hauptsächlich ein medizinischer Forschungsbeitrag und kein Standard-Computervision-Beitrag, und wir verweisen den Leser auf die Arbeit selbst für eine detaillierte Darstellung der verschiedenen OEG-Experimente, die von den Forschern durchgeführt wurden.

Trotzdem sollen hier einige der Experimente zusammengefasst werden:

Affektive Störungsmerkmale

Hier wurden 40 Teilnehmer (nicht aus der Kontroll- oder Patientengruppe) aufgefordert, die ausgewerteten Mittelgesichter (siehe oben) in Bezug auf eine Reihe von Fragen zu bewerten, ohne dass sie über den Kontext der Daten informiert wurden. Die Fragen waren:

Was ist das Geschlecht der beiden Gesichter?
Haben die Gesichter ein attraktives Aussehen?
Sind diese Gesichter vertrauenswürdige Personen?
Wie beurteilen Sie die Fähigkeit dieser Menschen, zu handeln?
Welche Emotion haben die beiden Gesichter?
Wie ist das Hautaussehen der beiden Gesichter?
Was ist der Eindruck des Blicks?
Haben die beiden Gesichter hängende Mundwinkel?
Haben die beiden Gesichter erhobene Augenbrauen?
Sind diese Personen klinische Patienten?

Die Forscher fanden heraus, dass diese blinden Bewertungen mit dem registrierten Zustand der verarbeiteten Daten korrelierten:

Box-Plot-Ergebnisse für die ‘Mittelgesicht’-Umfrage.

Klinische Bewertung

Um die Nützlichkeit von OEG bei der anfänglichen Bewertung zu untersuchen, bewerteten die Forscher zunächst, wie effektiv die standardmäßige klinische Bewertung allein ist, indem sie die Verbesserungen zwischen der Induktion und der zweiten Phase (zu diesem Zeitpunkt erhält der Patient in der Regel medikamentöse Behandlungen) maßen.

Die Forscher kamen zu dem Schluss, dass der Status und die Symptombeschwerlichkeit mit dieser Methode gut bewertet werden können, wobei eine Korrelation von 0,82 erreicht wurde. Es erwies sich jedoch als schwieriger, eine genaue Diagnose von entweder Schizophrenie oder Depression zu erhalten, wobei die standardmäßige Methode nur einen Score von -0,03 bei dieser frühen Phase erreichte.

Die Autoren bemerken:

‘Im Wesentlichen kann der Patientenstatus mit den üblichen Fragebögen relativ gut bestimmt werden. Es kann jedoch nicht viel mehr daraus geschlossen werden. Ob jemand depressiv oder eher schizophren ist, wird nicht angezeigt. Das gleiche gilt für die Behandlungsantwort.’

Die Ergebnisse des maschinellen Prozesses konnten höhere Scores in diesem Problemgebiet erzielen und vergleichbare Scores für die anfängliche Patientenbewertung:

Höhere Zahlen sind besser. Links, standardmäßige interviewbasierte Bewertungsgenauigkeitsergebnisse über vier Phasen der Testarchitektur; rechts, maschinelle Ergebnisse.

Störungsdiagnose

Die Unterscheidung zwischen Depression und Schizophrenie anhand statischer Gesichtsbilder ist keine triviale Angelegenheit. Mit Kreuzvalidierung konnte der maschinelle Prozess hohe Genauigkeitsscores über die verschiedenen Phasen der Tests erzielen:

In anderen Experimenten konnten die Forscher belegen, dass OEG die Verbesserung der Patienten durch pharmazeutische Behandlung und die allgemeine Behandlung der Störung wahrnehmen kann:

‘Die kausale Inferenz über die empirische Vorkenntnis der Datenerfassung passte die pharmazeutische Behandlung an, um eine Rückkehr zur physiologischen Regulation der Gesichtsdynamik zu beobachten. Eine solche Rückkehr konnte während der klinischen Verschreibung nicht beobachtet werden.’

‘Im Moment ist es nicht klar, ob eine solche maschinelle Empfehlung tatsächlich zu einem signifikant besseren Therapieerfolg führen würde. Insbesondere, da bekannt ist, welche Nebenwirkungen Medikamente über einen langen Zeitraum haben können.’

‘Jedoch würden solche patientenangepasste Ansätze die Barrieren des gemeinsamen kategorialen Klassifizierungsschemas durchbrechen, das noch immer in der täglichen Praxis dominiert.’

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlicht am 3. August 2022.