De diagnose van psychiatrische stoornissen door middel van AI-gezichtsexpressiebeoordeling

Onderzoekers uit Duitsland hebben een methode ontwikkeld om psychiatrische stoornissen te identificeren op basis van gezichtsuitdrukkingen die worden geïnterpreteerd door computervisie.

De nieuwe aanpak kan niet alleen onderscheid maken tussen onbeïnvloede en beïnvloede personen, maar kan ook depressie van schizofrenie onderscheiden, evenals de mate waarin de patiënt op dat moment door de ziekte wordt beïnvloed.

De onderzoekers hebben een samengestelde afbeelding verstrekt die de controlegroep voor hun tests vertegenwoordigt (links in de afbeelding hieronder) en de patiënten die lijden aan psychiatrische stoornissen (rechts). De identiteiten van meerdere personen zijn gemengd in de afbeeldingen, en geen van beide afbeeldingen toont een specifiek individu:

Bron: https://arxiv.org/pdf/2208.01369.pdf

Personen met affectieve stoornissen hebben vaak opgetrokken wenkbrauwen, loodzware blikken, gezwollen gezichten en hangende mondexpressies. Om de privacy van patiënten te beschermen, zijn deze samengestelde afbeeldingen de enige die ter ondersteuning van het nieuwe onderzoek beschikbaar zijn.

Tot nu toe is gezichtsuitdrukkingherkenning voornamelijk gebruikt als een potentieel hulpmiddel voor basisdiagnose. De nieuwe aanpak biedt daarentegen een mogelijke methode om de voortgang van patiënten te evalueren tijdens de behandeling, ofwel (mogelijk, hoewel het artikel dit niet suggereert) in hun eigen thuismilieu voor poliklinische monitoring.

Het artikel vermeldt*:

‘Verdergaand op de machine-diagnose van depressie in affectieve computing, die is ontwikkeld in eerder onderzoek, laten we zien dat de meetbare affectieve toestand die wordt geschat met behulp van computervisie veel meer informatie bevat dan de pure categorale classificatie.’

De onderzoekers hebben deze techniek Opto Electronic Encephalography (OEG) genoemd, een volledig passieve methode om de mentale toestand af te leiden uit gezichtsbeelden in plaats van topische sensoren of stralingsgebaseerde medische beeldvormingstechnologieën.

De auteurs concluderen dat OEG mogelijk niet alleen een secundaire hulp kan zijn bij diagnose en behandeling, maar op lange termijn een potentieel vervangingsmiddel kan zijn voor bepaalde evaluatieve onderdelen van de behandelingspipeline, en dat het de tijd die nodig is voor patiëntmonitoring en initiële diagnose kan verkorten. Zij merken op:

‘Over het algemeen laten de resultaten die door de machine worden voorspeld, betere correlaties zien in vergelijking met de pure klinische waarnemerbeoordeling op basis van vragenlijsten en zijn ook objectief. De relatief korte meetperiode van een paar minuten voor de computervisiebenaderingen is ook opmerkelijk, terwijl soms uren nodig zijn voor de klinische interviews.’

Echter, de auteurs benadrukken dat patiëntenzorg in dit veld een multimodale onderneming is, met veel meer indicatoren van de toestand van de patiënt dan alleen hun gezichtsuitdrukkingen, en dat het te vroeg is om te overwegen dat een dergelijk systeem traditionele benaderingen van psychiatrische stoornissen volledig kan vervangen. Niettemin beschouwen zij OEG als een veelbelovende aanvullende technologie, met name als methode om de effecten van farmacologische behandeling in het voorgeschreven regime van een patiënt te beoordelen.

Het artikel heet Het gezicht van affectieve stoornissen en komt van acht onderzoekers uit een breed scala aan instellingen uit de private en openbare medische onderzoekssector.

Gegevens

(Het nieuwe artikel gaat voornamelijk over de verschillende theorieën en methoden die momenteel populair zijn bij de diagnose van psychiatrische stoornissen bij patiënten, met minder aandacht voor de daadwerkelijke technologieën en processen die worden gebruikt in de tests en experimenten)

De gegevensverzameling vond plaats in het Universitaire Ziekenhuis van Aken, met 100 geslachtsgebalanceerde patiënten en een controlegroep van 50 niet-geïnfecteerde personen. De patiënten omvatten 35 personen met schizofrenie en 65 personen met depressie.

Voor het patiëntengedeelte van de testgroep werden initiële metingen genomen bij de eerste opname in het ziekenhuis, en de tweede voor hun ontslag uit het ziekenhuis, met een gemiddelde interval van 12 weken. De controlegroepdeelnemers werden willekeurig geselecteerd uit de lokale bevolking, met hun eigen inductie en ‘ontslag’ dat spiegelde dat van de daadwerkelijke patiënten.

In feite moet de meest belangrijke ‘grondwaarheid’ voor een dergelijk experiment diagnoses zijn die zijn verkregen met goedgekeurde en standaardmethoden, en dat was het geval voor de OEG-proeven.

De gegevensverzamelingsfase verkreeg echter aanvullende gegevens die beter geschikt waren voor machineinterpretatie: interviews met een gemiddelde duur van 90 minuten werden vastgelegd in drie fasen met een Logitech c270-consumentenwebcam die met 25fps draaide.

De eerste sessie bestond uit een standaard Hamilton-interview (gebaseerd op onderzoek dat rond 1960 is ontstaan), zoals dat normaal gesproken bij opname zou worden gegeven. In de tweede fase, ongebruikelijk, werden de patiënten (en hun tegenhangers in de controlegroep) getoond video’s van een reeks gezichtsuitdrukkingen, en gevraagd om elke daarvan na te bootsen, terwijl ze hun eigen schatting van hun mentale toestand op dat moment gaven, inclusief emotionele toestand en intensiteit. Deze fase duurde ongeveer tien minuten.

In de derde en laatste fase werden de deelnemers getoond 96 video’s van acteurs, die elk ongeveer tien seconden duurden, waarin ogenschijnlijk intense emotionele ervaringen werden beschreven. De deelnemers werden vervolgens gevraagd om de emotie en intensiteit die in de video’s werden weergegeven te evalueren, evenals hun eigen overeenkomstige gevoelens. Deze fase duurde ongeveer 15 minuten.

Methode

Om de gemiddelde waarde van de vastgelegde gezichten te bereiken (zie eerste afbeelding, hierboven), werden emotionele kenmerken vastgelegd met het EmoNet-framework. Vervolgens werd de overeenkomst tussen de gezichtsvorm en de gemiddelde (gemiddelde) gezichtsvorm bepaald door middel van stuksgewijze affiene transformatie.

Dimensionale emotieherkenning en oogbewegingsvoorspelling werd uitgevoerd op elk landmarksegment dat in de vorige fase was geïdentificeerd.

Op dit punt heeft audio-gebaseerde emotie-inferentie aangegeven dat een leermoment is aangebroken in de mentale toestand van de patiënt, en de taak is om het overeenkomstige gezichtsbeeld vast te leggen en die dimensie en domein van hun affectieve toestand te ontwikkelen.

(In de bovenstaande video zien we het werk dat is ontwikkeld door de auteurs van de dimensionale emotieherkenningstechnologieën die door de onderzoekers voor het nieuwe onderzoek zijn gebruikt).

De vormgeodesie van het materiaal werd berekend voor elk frame van de gegevens, en Singular Value Decomposition (SVD) reductie werd toegepast. De resulterende tijdsreeksgegevens werden uiteindelijk gemodelleerd als een VAR-proces, en vervolgens verder gereduceerd via SVD voordat MAP-aanpassing werd toegepast.

Workflow voor het geodesische reductieproces.

De valentie- en arousalwaarden in het EmoNet-netwerk werden op soortgelijke wijze verwerkt met VAR-modellering en sequentiekernelberekening.

Experimenten

Zoals eerder uitgelegd, is het nieuwe onderzoek voornamelijk een medisch onderzoeksartikel en geen standaard computervisie-inzending, en we verwijzen de lezer naar het artikel zelf voor een diepgaande behandeling van de diverse OEG-experimenten die door de onderzoekers zijn uitgevoerd.

Nonetheless, om een selectie ervan te samenvatten:

Affectieve stoorniscues

Hier werden 40 deelnemers (niet uit de controlegroep of de patiëntengroep) gevraagd om de beoordeelde gemiddelde gezichten (zie hierboven) te beoordelen met betrekking tot een aantal vragen, zonder te worden geïnformeerd over de context van de gegevens. De vragen waren:

Wat is het geslacht van de twee gezichten?
Hebben de gezichten een aantrekkelijk uiterlijk?
Zijn deze gezichten vertrouwenswaardige personen?
Hoe beoordeelt u de mogelijkheid van deze personen om te handelen?
Wat is de emotie van de twee gezichten?
Wat is de huiduitslag van de twee gezichten?
Wat is de indruk van de blik?
Hebben de twee gezichten hangende mondhoeken?
Hebben de twee gezichten opgetrokken wenkbrauwen?
Zijn deze personen klinische patiënten?

De onderzoekers vonden dat deze blindbeoordelingen correleerden met de geregistreerde toestand van de verwerkte gegevens:

Box plot resultaten voor de ‘gemiddelde gezicht’ enquête.

Klinische beoordeling

Om de bruikbaarheid van OEG bij initiële beoordeling te meten, hebben de onderzoekers eerst geëvalueerd hoe effectief standaard klinische beoordeling is door alleen te meten, de niveaus van verbetering tussen de inductie en de tweede fase (op het moment dat de patiënt meestal medicamenteuze behandelingen ontvangt.

De onderzoekers concludeerden dat status en symptoomernst kunnen worden goed beoordeeld met deze methode, met een correlatie van 0,82. Echter, een nauwkeurige diagnose van ofwel schizofrenie of depressie bleek moeilijker, met de standaardmethode die alleen een score van -0,03 behaalde in dit vroege stadium.

De auteurs merken op:

‘In wezen kan de toestand van de patiënt relatief goed worden bepaald met behulp van de gebruikelijke vragenlijsten. Echter, dat is eigenlijk alles wat daaruit kan worden geconcludeerd. Of iemand depressief is of eerder schizofreen, wordt niet aangegeven. Hetzelfde geldt voor de behandelingreactie.’

De resultaten van het machineproces konden hogere scores behalen in dit probleemgebied en vergelijkbare scores voor de initiële patiëntenevaluatie:

Hogere nummers zijn beter. Links, standaard interview-gebaseerde evaluatie-accuracyscores over vier fasen van de testarchitectuur; rechts, machine-gebaseerde resultaten.

Stoornisdiagnose

Het onderscheiden van depressie van schizofrenie via statische gezichtsbeelden is geen triviale aangelegenheid. Met cross-validatie kon het machineproces hoge nauwkeurigheidsscores behalen over de verschillende fasen van de proeven:

In andere experimenten konden de onderzoekers aantonen dat OEG in staat is om de verbetering van patiënten waar te nemen door farmacologische behandeling en algemene behandeling van de stoornis:

‘De causale inferentie over de empirische prioritaire kennis van de gegevensverzameling paste de farmacologische behandeling aan om een terugkeer naar de fysiologische regulatie van de gezichtsdynamiek te observeren. Een dergelijke terugkeer kon niet worden waargenomen tijdens de klinische voorschriften.

‘Op dit moment is het niet duidelijk of een dergelijk machine-gebaseerd aanbeveling daadwerkelijk zou leiden tot een significant betere succes van de therapie. Vooral omdat het bekend is welke bijwerkingen medicijnen op lange termijn kunnen hebben.

‘Echter, [dit soort] patiëntgerichte benaderingen zouden de barrières van het gebruikelijke categorale classificatieschema doorbreken dat nog steeds dominant wordt gebruikt in het dagelijks leven.’

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op 3 augustus 2022.