Diagnosi dei disturbi della salute mentale attraverso la valutazione delle espressioni facciali con l’intelligenza artificiale

I ricercatori della Germania hanno sviluppato un metodo per identificare i disturbi mentali in base alle espressioni facciali interpretate dalla visione artificiale.

Il nuovo approccio può non solo distinguere tra soggetti non affetti e soggetti affetti, ma può anche distinguere correttamente la depressione dalla schizofrenia, nonché il grado in cui il paziente è attualmente affetto dalla malattia.

I ricercatori hanno fornito un’immagine composita che rappresenta il gruppo di controllo per i loro test (a sinistra nell’immagine in basso) e i pazienti che soffrono di disturbi mentali (a destra). Le identità di molte persone sono state fuse nelle rappresentazioni e nessuna immagine ritrae un individuo specifico:

Source: https://arxiv.org/pdf/2208.01369.pdf

Gli individui con disturbi affettivi tendono ad avere sopracciglia sollevate, sguardi spenti, facce gonfie e espressioni di bocca abbassate. Per proteggere la privacy dei pazienti, queste immagini composite sono le uniche rese disponibili a sostegno del nuovo lavoro.

Fino ad ora, il riconoscimento delle espressioni facciali è stato utilizzato principalmente come strumento potenziale per la diagnosi di base. Il nuovo approccio, invece, offre un possibile metodo per valutare i progressi dei pazienti durante il trattamento, o eventualmente (anche se il documento non lo suggerisce) nel loro ambiente domestico per il monitoraggio ambulatoriale.

Il documento afferma*:

‘Andando oltre la diagnosi di depressione mediante intelligenza artificiale nell’elaborazione affettiva, che è stata sviluppata in precedenti studi, mostriamo che lo stato affettivo misurabile stimato mediante visione artificiale contiene molte più informazioni della pura classificazione categorica.’

I ricercatori hanno denominato questa tecnica Encefalografia Optoelettronica (OEG), un metodo completamente passivo per inferire lo stato mentale attraverso l’analisi delle immagini facciali anziché sensori topici o tecnologie di imaging medico a raggi.

Gli autori concludono che l’OEG potrebbe potenzialmente non essere solo un mero aiuto secondario alla diagnosi e al trattamento, ma, nel lungo termine, un possibile sostituto per alcune parti valutative della pipeline di trattamento, e che potrebbe ridurre il tempo necessario per il monitoraggio e la diagnosi iniziale dei pazienti. Notano:

‘Nel complesso, i risultati previsti dalla macchina mostrano migliori correlazioni rispetto alla valutazione del puro osservatore clinico basata su questionari e sono anche obiettivi. Il periodo di misurazione relativamente breve di pochi minuti per gli approcci di visione artificiale è anche degno di nota, mentre a volte sono necessarie ore per gli colloqui clinici.’

Tuttavia, gli autori sono ansiosi di sottolineare che la cura dei pazienti in questo campo è una ricerca multimodale, con molti altri indicatori dello stato del paziente da considerare oltre alle loro espressioni facciali, e che è troppo presto per considerare che un tale sistema possa sostituire completamente gli approcci tradizionali ai disturbi mentali. Tuttavia, considerano l’OEG una tecnologia ausiliaria promettente, in particolare come metodo per valutare gli effetti del trattamento farmacologico nel regime prescritto del paziente.

Il documento è intitolato Il volto dei disturbi affettivi e proviene da otto ricercatori di una vasta gamma di istituzioni del settore privato e pubblico della ricerca medica.

Dati

(Il nuovo documento si occupa principalmente delle varie teorie e metodi attualmente popolari nella diagnosi dei pazienti con disturbi mentali, con meno attenzione di quanto sia solito alle tecnologie e ai processi effettivamente utilizzati nei test e negli esperimenti)

La raccolta dei dati ha avuto luogo presso l’Ospedale universitario di Aquisgrana, con 100 pazienti in equilibrio di genere e un gruppo di controllo di 50 persone non affette. I pazienti includevano 35 persone affette da schizofrenia e 65 persone affette da depressione.

Per la parte dei pazienti del gruppo di test, le misurazioni iniziali sono state effettuate al momento della prima ospedalizzazione e la seconda prima della loro dimissione dall’ospedale, coprendo un intervallo medio di 12 settimane. I partecipanti del gruppo di controllo sono stati reclutati arbitrariamente dalla popolazione locale, con la loro induzione e ‘dimissione’ che rifletteva quella dei pazienti effettivi.

In effetti, la “verità fondamentale” più importante per un tale esperimento deve essere la diagnosi ottenuta con metodi approvati e standard, e questo è stato il caso per i test OEG.

Tuttavia, la fase di raccolta dei dati ha ottenuto dati aggiuntivi più adatti all’interpretazione della macchina: gli colloqui con una durata media di 90 minuti sono stati catturati in tre fasi con una webcam Logitech c270 consumer a 25fps.

La prima sessione consisteva in un colloquio standard Hamilton (basato su ricerche originate intorno al 1960), come sarebbe stato normalmente somministrato all’ammissione. Nella seconda fase, insolitamente, i pazienti (e i loro omologhi nel gruppo di controllo) sono stati mostrati video di una serie di espressioni facciali e sono stati invitati a imitare ciascuna di esse, mentre dichiaravano la propria stima della propria condizione mentale in quel momento, compreso lo stato emotivo e l’intensità. Questa fase è durata circa dieci minuti.

Nella terza e ultima fase, i partecipanti sono stati mostrati 96 video di attori, della durata di poco più di dieci secondi ciascuno, apparentemente che raccontavano esperienze emozionali intense. I partecipanti sono stati quindi invitati a valutare l’emozione e l’intensità rappresentate nei video, nonché i propri sentimenti corrispondenti. Questa fase è durata circa 15 minuti.

Metodo

Per arrivare alla media dei volti catturati (vedi prima immagine, sopra), i punti di riferimento emotivi sono stati catturati con il framework EmoNet. Successivamente, la corrispondenza tra la forma del viso e la forma del viso media (mediata) è stata determinata attraverso trasformazione affine a pezzi.

Il riconoscimento delle emozioni dimensionali e la predizione dello sguardo sono stati eseguiti su ciascun segmento di riferimento identificato nella fase precedente.

A questo punto, l’inferenza dell’emozione basata sull’audio ha indicato che è arrivato un momento didattico nello stato mentale del paziente, e il compito è stato quello di catturare l’immagine facciale corrispondente e sviluppare quella dimensione e dominio del suo stato affettivo.

(Nel video sopra, vediamo il lavoro sviluppato dagli autori delle tecnologie di riconoscimento delle emozioni dimensionali utilizzate dai ricercatori per il nuovo lavoro).

La geodetica della forma del materiale è stata calcolata per ogni frame dei dati e la riduzione SVD (SVD) è stata applicata. I dati di serie temporale risultanti sono stati modellati come un processo VAR e quindi ulteriormente ridotti tramite SVD prima dell’adattamento MAP.

Flusso di lavoro per il processo di riduzione geodetica.

I valori di valenza e arousal nella rete EmoNet sono stati elaborati in modo simile con la modellazione VAR e il calcolo del kernel della sequenza.

Eserimenti

Come spiegato in precedenza, il nuovo lavoro è principalmente un documento di ricerca medica piuttosto che un normale invio di visione artificiale, e rimandiamo il lettore al documento stesso per una copertura approfondita degli esperimenti OEG diversi eseguiti dai ricercatori.

Tuttavia, per riassumere una selezione di essi:

Indizi di disturbi affettivi

Qui 40 partecipanti (non dal gruppo di controllo o dal gruppo di pazienti) sono stati invitati a valutare i volti medi valutati (vedi sopra) in relazione a una serie di domande, senza essere informati del contesto dei dati. Le domande sono state:

Qual è il genere dei due volti?
I volti hanno un aspetto attraente?
Sono persone degne di fiducia?
Come valutate la capacità di queste persone di agire?
Qual è l’emozione dei due volti?
Qual è l’aspetto della pelle dei due volti?
Qual è l’impressione dello sguardo?
I due volti hanno angoli della bocca abbassati?
I due volti hanno sopracciglia sollevate?
Sono queste persone pazienti clinici?

I ricercatori hanno scoperto che queste valutazioni in cieco sono correlate allo stato registrato dei dati elaborati:

Risultati del grafico a box per il sondaggio del ‘volto medio’.

Valutazione clinica

Per valutare l’utilità dell’OEG nella valutazione iniziale, i ricercatori hanno valutato prima l’efficacia della valutazione clinica standard, misurando i livelli di miglioramento tra l’induzione e la seconda fase (al momento in cui il paziente sta normalmente ricevendo trattamenti a base di farmaci.

I ricercatori hanno concluso che lo stato e la gravità dei sintomi possono essere valutati bene con questo metodo, raggiungendo una correlazione di 0,82. Tuttavia, una diagnosi accurata di schizofrenia o depressione si è rivelata più impegnativa, con il metodo standard che ha ottenuto un punteggio di -0,03 in questa fase iniziale.

Gli autori commentano:

‘In sostanza, lo stato del paziente può essere determinato relativamente bene utilizzando i questionari usuali. Tuttavia, è essenzialmente tutto ciò che può essere concluso da esso. Se qualcuno è depresso o schizofrenico non è indicato. Lo stesso vale per la risposta al trattamento.’

I risultati del processo della macchina sono stati in grado di ottenere punteggi più alti in questa area di problema e punteggi comparabili per l’aspetto di valutazione iniziale del paziente:

I numeri più alti sono migliori. A sinistra, risultati di accuratezza della valutazione basata su colloqui standard in quattro fasi dell’architettura di test; a destra, risultati basati sulla macchina.

Diagnosi di disturbi

Distinguere la depressione dalla schizofrenia attraverso immagini facciali statiche non è una questione banale. Convalidati incrociatamente, il processo della macchina è stato in grado di ottenere punteggi di accuratezza alti in tutte le fasi dei trial:

In altri esperimenti, i ricercatori sono stati in grado di dimostrare prove che l’OEG può percepire il miglioramento del paziente attraverso il trattamento farmacologico e il trattamento generale del disturbo:

‘L’inferenza causale sulla conoscenza empirica precedente della raccolta dei dati ha regolato il trattamento farmacologico per osservare un ritorno alla regolazione fisiologica della dinamica facciale. Un tale ritorno non poteva essere osservato durante la prescrizione clinica.

‘Al momento non è chiaro se una raccomandazione basata sulla macchina porterebbe effettivamente a un successo significativamente migliore della terapia. Specialmente perché è noto quali effetti collaterali i farmaci possono avere nel lungo periodo.

‘Tuttavia, [questi tipi] di approcci personalizzati per i pazienti romperebbero le barriere dello schema di classificazione categorica comune ancora dominante nella vita quotidiana.’

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta il 3 agosto 2022.