Mendiagnosis Gangguan Kesehatan Mental Melalui Evaluasi Ekspresi Wajah AI

Peneliti dari Jerman telah mengembangkan metode untuk mengidentifikasi gangguan mental berdasarkan ekspresi wajah yang ditafsirkan oleh visi komputer.

Pendekatan baru ini tidak hanya dapat membedakan antara subjek yang tidak terpengaruh dan yang terpengaruh, tetapi juga dapat membedakan depresi dari skizofrenia, serta seberapa parah pasien saat ini terkena penyakit tersebut.

Peneliti telah menyediakan gambar komposit yang mewakili kelompok kontrol untuk tes mereka (di sebelah kiri pada gambar di bawah) dan pasien yang menderita gangguan mental (kanan). Identitas beberapa orang digabungkan dalam representasi, dan tidak ada gambar yang menggambarkan individu tertentu:

Source: https://arxiv.org/pdf/2208.01369.pdf

Individu dengan gangguan afektif cenderung memiliki alis yang terangkat, pandangan yang lesu, wajah yang bengkak, dan ekspresi mulut yang tergantung. Untuk melindungi privasi pasien, gambar komposit ini adalah satu-satunya yang disediakan untuk mendukung karya baru.

Sampai sekarang, pengenalan afek wajah telah digunakan terutama sebagai alat potensial untuk diagnosis dasar. Pendekatan baru, bukannya, menawarkan metode yang mungkin untuk mengevaluasi kemajuan pasien selama perawatan, atau mungkin (meskipun makalah tidak menyaraninya) di lingkungan domestik mereka untuk pemantauan rawat jalan.

Makalah tersebut menyatakan*:

‘Melampaui diagnosis mesin depresi dalam komputasi afektif, yang telah dikembangkan dalam penelitian sebelumnya, kami menunjukkan bahwa keadaan afektif yang dapat diukur yang diperkirakan dengan cara visi komputer mengandung lebih banyak informasi daripada klasifikasi kategoris murni.’

Peneliti telah menamai teknik ini Opto Electronic Encephalography (OEG), metode yang sepenuhnya pasif untuk menginfer keadaan mental dengan analisis gambar wajah bukan sensor topikal atau teknologi pencitraan medis berbasis sinar.

Penulis menyimpulkan bahwa OEG dapat menjadi tidak hanya sekedar alat bantu sekunder untuk diagnosis dan perawatan, tetapi, dalam jangka panjang, pengganti potensial untuk beberapa bagian evaluatif dari pipa perawatan, dan satu yang dapat mengurangi waktu yang diperlukan untuk pemantauan pasien dan diagnosis awal. Mereka mencatat:

‘Secara keseluruhan, hasil yang diprediksi oleh mesin menunjukkan korelasi yang lebih baik dibandingkan dengan penilaian pengamat klinis murni berdasarkan kuesioner dan juga objektif. Periode pengukuran yang relatif singkat dari beberapa menit untuk pendekatan visi komputer juga patut diperhatikan, sedangkan beberapa jam kadang-kadang diperlukan untuk wawancara klinis.’

Namun, penulis berusaha untuk menekankan bahwa perawatan pasien dalam bidang ini adalah upaya mult-modal, dengan banyak indikator keadaan pasien yang harus dipertimbangkan selain hanya ekspresi wajah mereka, dan bahwa masih terlalu dini untuk mempertimbangkan bahwa sistem seperti itu dapat sepenuhnya menggantikan pendekatan tradisional untuk gangguan mental. Meskipun demikian, mereka menganggap OEG sebagai teknologi bantu yang menjanjikan, terutama sebagai metode untuk mengukur efek pengobatan farmakologis dalam rejimen yang ditentukan pasien.

Makalah ini berjudul The Face of Affective Disorders, dan berasal dari delapan peneliti dari berbagai institusi dari sektor penelitian medis swasta dan publik.

Data

(Makalah baru ini sebagian besar membahas tentang berbagai teori dan metode yang saat ini populer dalam diagnosis pasien gangguan mental, dengan perhatian yang lebih sedikit daripada biasanya pada teknologi dan proses yang digunakan dalam tes dan eksperimen)

Pengumpulan data dilakukan di Rumah Sakit Universitas Aachen, dengan 100 pasien yang seimbang secara gender dan kelompok kontrol 50 orang yang tidak terpengaruh. Pasien termasuk 35 penderita skizofrenia dan 65 orang yang menderita depresi.

Untuk bagian pasien dari kelompok tes, pengukuran awal dilakukan pada saat rawat inap pertama, dan yang kedua sebelum mereka keluar dari rumah sakit, dengan interval rata-rata 12 minggu. Partisipan kelompok kontrol direkrut secara acak dari populasi lokal, dengan induksi dan ‘pemulangan’ mereka yang meniru pasien yang sebenarnya.

Pada dasarnya, ‘kebenaran dasar’ yang paling penting untuk eksperimen seperti ini haruslah diagnosis yang diperoleh dengan metode yang disetujui dan standar, dan ini adalah kasus untuk percobaan OEG.

Namun, tahap pengumpulan data memperoleh data tambahan yang lebih sesuai untuk interpretasi mesin: wawancara yang berlangsung rata-rata 90 menit direkam selama tiga fase dengan webcam Logitech c270 yang berjalan pada 25fps.

Sesi pertama terdiri dari wawancara Hamilton standar (berdasarkan penelitian yang berasal sekitar 1960), seperti yang biasanya diberikan pada saat penerimaan. Pada fase kedua, tidak biasa, pasien (dan rekan-rekan mereka dalam kelompok kontrol) ditunjukkan video dari serangkaian ekspresi wajah, dan diminta untuk meniru setiap ekspresi tersebut, sambil menyatakan perkiraan mereka tentang keadaan mental mereka pada saat itu, termasuk keadaan emosional dan intensitas. Fase ini berlangsung sekitar 10 menit.

Pada fase ketiga dan terakhir, partisipan ditunjukkan 96 video dari aktor, yang berlangsung sedikit lebih dari 10 detik masing-masing, yang tampaknya menceritakan pengalaman emosional yang intens. Partisipan kemudian diminta untuk menilai emosi dan intensitas yang digambarkan dalam video, serta perasaan mereka sendiri. Fase ini berlangsung sekitar 15 menit.

Metode

Untuk mencapai rata-rata wajah yang ditangkap (lihat gambar pertama, di atas), landmark emosional ditangkap dengan kerangka EmoNet. Selanjutnya, korespondensi antara bentuk wajah dan bentuk wajah rata-rata (rata-rata) ditentukan melalui transformasi afinitas piecewise.

Pengenalan emosi dimensional dan prediksi pandangan mata dilakukan pada setiap segmen landmark yang diidentifikasi pada tahap sebelumnya.

Pada titik ini, inferensi emosi berbasis audio telah menunjukkan bahwa saat mengajar telah tiba dalam keadaan mental pasien, dan tugasnya adalah menangkap gambar wajah yang sesuai dan mengembangkan dimensi dan domain keadaan afektif mereka.

(Dalam video di atas, kita melihat pekerjaan yang dikembangkan oleh penulis teknologi pengenalan emosi dimensional yang digunakan oleh peneliti untuk karya baru).

Geodesik bentuk bahan dihitung untuk setiap bingkai data, dan pengurangan Singular Value Decomposition (SVD) diterapkan. Data seri waktu yang dihasilkan akhirnya dimodelkan sebagai proses VAR, dan kemudian dikurangi lebih lanjut melalui SVD sebelum adaptasi MAP.

Alur kerja untuk proses pengurangan geodesik.

Nilai valensi dan arousal dalam jaringan EmoNet juga diproses dengan model VAR dan perhitungan kernel urutan.

Eksperimen

Seperti yang dijelaskan sebelumnya, karya baru ini sebagian besar merupakan makalah penelitian medis daripada submisi visi komputer standar, dan kami merujuk pembaca ke makalah itu sendiri untuk liputan mendalam tentang berbagai eksperimen OEG yang dijalankan oleh peneliti.

Namun, untuk meringkas beberapa di antaranya:

Petunjuk Gangguan Afektif

Di sini 40 partisipan (bukan dari kelompok kontrol atau pasien) diminta untuk menilai wajah rata-rata yang dievaluasi (lihat di atas) dalam hal beberapa pertanyaan, tanpa diberitahu tentang konteks data. Pertanyaan-pertanyaan tersebut adalah:

Apa jenis kelamin dari dua wajah?
Apakah wajah-wajah tersebut memiliki penampilan yang menarik?
Apakah wajah-wajah tersebut orang yang dapat dipercaya?
Bagaimana Anda menilai kemampuan orang-orang ini untuk bertindak?
Apa emosi dari dua wajah?
Apa penampilan kulit dari dua wajah?
Apa kesan dari pandangan?
Apakah dua wajah memiliki sudut mulut yang tergantung?
Apakah dua wajah memiliki alis yang terangkat?
Apakah orang-orang ini pasien klinis?

Peneliti menemukan bahwa evaluasi buta ini berkorelasi dengan keadaan terdaftar dari data yang diproses:

Hasil plot kotak untuk survei ‘wajah rata-rata’.

Penilaian Klinis

Untuk mengukur utilitas OEG dalam penilaian awal, peneliti pertama-tama mengevaluasi seberapa efektif penilaian klinis standar dengan sendirinya, mengukur tingkat perbaikan antara induksi dan fase kedua (pada saat pasien biasanya menerima pengobatan berbasis obat.

Peneliti menyimpulkan bahwa status dan keparahan gejala dapat dinilai dengan baik menggunakan metode ini, mencapai korelasi 0,82. Namun, diagnosis yang akurat dari skizofrenia atau depresi terbukti lebih menantang, dengan metode standar hanya mencapai skor -0,03 pada tahap awal.

Penulis mengomentari:

‘Pada dasarnya, status pasien dapat ditentukan dengan relatif baik menggunakan kuesioner biasa. Namun, itu hampir semua yang dapat disimpulkan dari itu. Apakah seseorang depresi atau skizofrenia tidak ditunjukkan. Hal yang sama berlaku untuk respons pengobatan.’

Hasil dari proses mesin dapat mencapai skor yang lebih tinggi dalam area masalah ini, dan skor yang setara untuk aspek evaluasi pasien awal:

Angka yang lebih tinggi lebih baik. Di sebelah kiri, hasil akurasi evaluasi berbasis wawancara standar di seluruh empat fase arsitektur pengujian; di sebelah kanan, hasil berbasis mesin.

Diagnosis Gangguan

Membedakan depresi dari skizofrenia melalui gambar wajah statis bukanlah masalah yang sepele. Divalidasi silang, proses mesin dapat mencapai skor akurasi yang tinggi di seluruh fase percobaan:

Dalam eksperimen lain, peneliti dapat menunjukkan bukti bahwa OEG dapat memahami perbaikan pasien melalui pengobatan farmakologis, dan perawatan umum gangguan:

‘Inferensi kausal atas pengetahuan prior empiris dari pengumpulan data disesuaikan pengobatan farmakologis untuk mengamati kembalinya ke regulasi fisiologis dari dinamika wajah. Kembalinya seperti itu tidak dapat diamati selama resep klinis.

‘Saat ini tidak jelas apakah rekomendasi berbasis mesin seperti itu akan benar-benar menghasilkan keberhasilan terapi yang lebih baik. Terutama karena diketahui efek sampingan yang dapat dimiliki obat selama waktu yang lama.

‘Namun, [jenis] pendekatan yang disesuaikan dengan pasien seperti itu akan menghancurkan hambatan skema klasifikasi kategoris yang masih dominan digunakan dalam kehidupan sehari-hari.’

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali 3 Agustus 2022.