Diagnostisera psykiska störningar genom utvärdering av AI-ansiktsuttryck

Forskare från Tyskland har utvecklat en metod för att identifiera psykiska störningar utifrån ansiktsuttryck tolkade av datorseende.

Det nya tillvägagångssättet kan inte bara skilja mellan opåverkade och drabbade försökspersoner, utan kan också korrekt skilja depression från schizofreni, såväl som i vilken grad patienten för närvarande är påverkad av sjukdomen.

Forskarna har tillhandahållit en sammansatt bild som representerar kontrollgruppen för deras tester (till vänster i bilden nedan) och patienterna som lider av psykiska störningar (höger). Flera personers identiteter blandas i representationerna, och ingen av bilderna föreställer en viss individ:

Källa: https://arxiv.org/pdf/2208.01369.pdf

Individer med affektiva störningar tenderar att ha höjda ögonbryn, blyaktiga blickar, svullna ansikten och hänghundsmunuttryck. För att skydda patienternas integritet är dessa sammansatta bilder de enda som gjorts tillgängliga för att stödja det nya verket.

Fram till nu har ansiktsigenkänning främst använts som ett potentiellt verktyg för grundläggande diagnos. Det nya tillvägagångssättet erbjuder istället en möjlig metod för att utvärdera patientframsteg under hela behandlingen, eller annars (potentiellt, även om tidningen inte föreslår det) i sin egen hemmiljö för poliklinisk övervakning.

Tidningen säger*:

"Gå bortom maskindiagnostik av depression i affektiv datoranvändning, som har utvecklats i föregående studier, visar vi att det mätbara affektiva tillståndet uppskattat med hjälp av datorseende innehåller mycket mer information än den rena kategoriska klassificeringen.'

Forskarna har kallat denna teknik Opto elektronisk encefalografi (OEG), en helt passiv metod för att härleda mentalt tillstånd genom ansiktsbildanalys istället för aktuella sensorer eller strålbaserad medicinsk avbildningsteknik.

Författarna drar slutsatsen att OEG potentiellt inte bara kan vara en sekundär hjälp till diagnos och behandling, utan, på lång sikt, en potentiell ersättning för vissa utvärderande delar av behandlingspipelinen, och en som skulle kunna minska den tid som krävs för patienten. övervakning och initial diagnos. De noterar:

"Sammantaget visar de resultat som förutspås av maskinen bättre korrelationer jämfört med de rena frågeformulären baserade på klinisk observatörsbetyg och är också objektiva. Den relativt korta mätperioden på några minuter för datorseendetillvägagångssätten är också anmärkningsvärd, medan timmar ibland krävs för de kliniska intervjuerna.'

Författarna är dock angelägna om att betona att patientvård inom detta område är en multimodal strävan, med många andra indikatorer på patienttillstånd att beakta än bara deras ansiktsuttryck, och att det är för tidigt att överväga att ett sådant system skulle kunna helt ersätter traditionella metoder för psykiska störningar. Ändå anser de OEG vara en lovande tilläggsteknologi, särskilt som en metod för att gradera effekterna av läkemedelsbehandling enligt patientens ordinerade regime.

Smakämnen papper har titeln Ansiktet för affektiva störningar, och kommer från åtta forskare över ett brett utbud av institutioner från den privata och offentliga medicinska forskningssektorn.

Data

(Den nya artikeln behandlar mest de olika teorier och metoder som för närvarande är populära vid patientdiagnostik av psykiska störningar, med mindre uppmärksamhet än vad som är vanligt för de faktiska teknologierna och processerna som används i testerna och olika experiment)

Datainsamling ägde rum på universitetssjukhuset i Aachen, med 100 könsbalanserade patienter och en kontrollgrupp på 50 icke-drabbade personer. Patienterna omfattade 35 personer som lider av schizofreni och 65 personer som led av depression.

För patientdelen av testgruppen gjordes initiala mätningar vid tidpunkten för första sjukhusvistelse och den andra före utskrivningen från sjukhuset, som spänner över ett genomsnittligt intervall på 12 veckor. Kontrollgruppsdeltagarna rekryterades godtyckligt från lokalbefolkningen, med sin egen induktion och "urladdning" som speglade de faktiska patienterna.

I själva verket måste den viktigaste "grundsanningen" för ett sådant experiment vara diagnoser som erhållits med godkända och standardmetoder, och detta var fallet för OEG-försöken.

Datainsamlingsstadiet erhöll dock ytterligare data som var mer lämpade för maskintolkning: intervjuer på i genomsnitt 90 minuter fångades över tre faser med en Logitech c270 konsumentwebbkamera som kördes med 25 fps.

Den första sessionen bestod av en standard Hamilton intervju (baserat på forskning ursprung omkring 1960), såsom normalt skulle ges vid antagning. I den andra fasen, ovanligt, visades patienterna (och deras motsvarigheter i kontrollgruppen). videor av en serie ansiktsuttryck, och ombads att efterlikna var och en av dessa, samtidigt som de anger sin egen uppskattning av deras mentala tillstånd vid den tiden, inklusive känslomässigt tillstånd och intensitet. Denna fas varade i cirka tio minuter.

I den tredje och sista fasen visades deltagarna 96 filmer med skådespelare, som varade i drygt tio sekunder vardera, som tydligen berättar om intensiva känslomässiga upplevelser. Deltagarna ombads sedan att utvärdera känslorna och intensiteten som representerades i videorna, såväl som sina egna motsvarande känslor. Denna fas varade i cirka 15 minuter.

Metod

För att komma fram till medelsnittet av de fångade ansiktena (se första bilden ovan), fångades känslomässiga landmärken med EmoNet ramverk. Därefter bestämdes överensstämmelse mellan ansiktsformen och den genomsnittliga (genomsnittliga) ansiktsformen bitvis affin förvandling.

Dimensionell känsla igenkänning och förutsägelse av ögonblick utfördes på varje landmärkessegment som identifierades i föregående steg.

Vid denna tidpunkt har ljudbaserad känsloinferens indikerat att ett lärbart ögonblick har kommit i patientens mentala tillstånd, och uppgiften är att fånga motsvarande ansiktsbild och utveckla den dimensionen och domänen av deras affekttillstånd.

(I videon ovan ser vi arbetet som utvecklats av författarna till de dimensionella känslomässiga igenkänningsteknikerna som används av forskarna för det nya arbetet).

Materialets geodetiska form beräknades för varje ram av data, och Singular Value Decomposition (SVD) minskning tillämpas. De resulterande tidsseriedata modellerades så småningom som en VAR process, och sedan ytterligare reducerad via SVD före MAP-anpassning.

Arbetsflöde för den geodetiska reduktionsprocessen.

Valens- och upphetsningsvärdena i EmoNet-nätverket behandlades också på liknande sätt med VAR-modellering och sekvenskärnberäkning.

Experiment

Som förklarats tidigare är det nya arbetet i första hand en medicinsk forskningsartikel snarare än en standardinlämning av datorseende, och vi hänvisar läsaren till själva uppsatsen för en djupgående täckning av de olika OEG-experiment som drivs av forskarna.

Men för att sammanfatta ett urval av dem:

Cues för affektiv sjukdom

Här ombads 40 deltagare (inte från kontroll- eller patientgruppen) att betygsätta de utvärderade genomsnittliga ansiktena (se ovan) med avseende på ett antal frågor, utan att ha fått information om kontexten av data. Frågorna var:

Vilket är könet på de två ansiktena?
Har ansikten ett attraktivt utseende?
Är dessa ansikten pålitliga personer?
Hur bedömer du dessa personers förmåga att agera?
Vad är känslorna för de två ansiktena?
Hur ser hudutseendet ut på de två ansiktena?
Vad är intrycket av blicken?
Har de två ansikten hängande munhörn?
Har de två ansikten bruna ögon?
Är dessa personer kliniska patienter?

Forskarna fann att dessa blinda utvärderingar korrelerade med det registrerade tillståndet för de bearbetade uppgifterna:

Boxplottresultat för undersökningen 'mean face'.

Klinisk bedömning

För att mäta användbarheten av OEG i den första bedömningen utvärderade forskarna först hur effektiv standard klinisk bedömning är i sig, och mätte nivåer av förbättring mellan induktionen och den andra fasen (då patienten vanligtvis får läkemedelsbaserade behandlingar.

Forskarna drog slutsatsen att status och symtoms svårighetsgrad kunde bedömas väl med denna metod, och uppnå en korrelation på 0.82. En korrekt diagnos av antingen schizofreni eller depression visade sig dock vara mer utmanande, med standardmetoden som endast fick en poäng på -0.03 i detta tidiga skede.

Författarna kommenterar:

”I huvudsak kan patientstatusen bestämmas relativt väl med hjälp av de vanliga frågeformulären. Men det är i princip allt som kan dras av den. Om någon är deprimerad eller snarare schizofren är inte indikerat. Detsamma gäller för behandlingssvaret.'

Resultaten från den maskinella processen kunde erhålla högre poäng inom detta problemområde och jämförbara poäng för den initiala patientutvärderingsaspekten:

Högre siffror är bättre. Till vänster, standardintervjubaserade utvärderingsnoggrannhetsresultat över fyra faser av testarkitekturen; till höger, maskinbaserade resultat.

Disorder Diagnos

Att skilja depression från schizofreni via statiska ansiktsbilder är inte en trivial sak. Korsvaliderad kunde den maskinella processen erhålla höga noggrannhetspoäng över de olika faserna av försöken:

I andra experiment kunde forskarna visa bevis för att OEG kan uppfatta patientförbättring genom farmakologisk behandling och allmän behandling av sjukdomen:

'Den kausala slutsatsen över den empiriska förkunskapen om datainsamlingen justerade den farmakologiska behandlingen för att observera en återgång till den fysiologiska regleringen av ansiktsdynamiken. En sådan återgång kunde inte observeras under den kliniska ordinationen.

"För närvarande är det inte klart om en sådan maskinbaserad rekommendation verkligen skulle leda till en signifikant bättre framgång för behandlingen. Speciellt för att man vet vilka biverkningar mediciner kan ha under lång tid.

"Men [dessa typer] av patientanpassade tillvägagångssätt skulle bryta barriärerna för det vanliga kategoriska klassificeringsschemat som fortfarande dominerar i det dagliga livet."

* Min konvertering av författarnas inline-citat till hyperlänkar.

Första gången publicerad 3 augusti 2022.