Mendiagnosis Gangguan Kesehatan Mental Melalui Evaluasi Ekspresi Wajah AI

Peneliti dari Jerman telah mengembangkan metode untuk mengidentifikasi gangguan mental berdasarkan ekspresi wajah yang ditafsirkan oleh visi komputer.

Pendekatan baru ini tidak hanya dapat membedakan antara subjek yang tidak terpengaruh dan yang terpengaruh, tetapi juga dapat membedakan depresi dari skizofrenia, serta seberapa parah pasien saat ini terpengaruh oleh penyakit tersebut.

Peneliti telah menyediakan gambar komposit yang mewakili kelompok kontrol untuk tes mereka (di sebelah kiri pada gambar di bawah) dan pasien yang menderita gangguan mental (kanan). Identitas beberapa orang digabungkan dalam representasi, dan tidak ada gambar yang menggambarkan individu tertentu:

Sumber: https://arxiv.org/pdf/2208.01369.pdf

Individu dengan gangguan afektif cenderung memiliki alis yang terangkat, pandangan yang lesu, wajah yang bengkak, dan ekspresi mulut yang terkulai. Untuk melindungi privasi pasien, gambar komposit ini adalah satu-satunya yang tersedia untuk mendukung karya baru ini.

Sampai sekarang, pengenalan afektif wajah telah digunakan terutama sebagai alat diagnosis dasar. Pendekatan baru ini, bagaimanapun, menawarkan metode yang mungkin untuk mengevaluasi kemajuan pasien selama perawatan, atau bahkan (secara potensial, meskipun makalah tidak menyaraninya) di lingkungan rumah untuk pemantauan rawat jalan.

Makalah tersebut menyatakan*:

‘Melampaui diagnosis mesin depresi dalam komputasi afektif, yang telah dikembangkan dalam studi sebelumnya, kami menunjukkan bahwa keadaan afektif yang dapat diukur yang diperkirakan dengan menggunakan visi komputer mengandung lebih banyak informasi daripada klasifikasi kategoris murni.’

Peneliti telah menamai teknik ini Opto Electronic Encephalography (OEG), metode yang sepenuhnya pasif untuk menyimpulkan keadaan mental dengan analisis gambar wajah daripada sensor topikal atau teknologi pengimajan medis berbasis sinar.

Penulis menyimpulkan bahwa OEG dapat menjadi tidak hanya sekedar alat bantu sekunder untuk diagnosis dan perawatan, tetapi juga, dalam jangka panjang, pengganti potensial untuk beberapa bagian evaluatif dari pipa perawatan, dan yang dapat mengurangi waktu yang diperlukan untuk pemantauan pasien dan diagnosis awal. Mereka mencatat:

‘Secara keseluruhan, hasil yang diprediksi oleh mesin menunjukkan korelasi yang lebih baik dibandingkan dengan penilaian pengamat klinis berbasis kuesioner dan juga objektif. Periode pengukuran yang relatif singkat, beberapa menit, untuk pendekatan visi komputer juga patut diperhatikan, sedangkan wawancara klinis sometimes memerlukan beberapa jam.’

Namun, penulis ingin menekankan bahwa perawatan pasien dalam bidang ini adalah upaya multi-modal, dengan banyak indikator keadaan pasien lainnya yang perlu dipertimbangkan selain ekspresi wajah, dan bahwa masih terlalu dini untuk mempertimbangkan bahwa sistem seperti itu dapat menggantikan sepenuhnya pendekatan tradisional untuk gangguan mental. Meskipun demikian, mereka menganggap OEG sebagai teknologi bantu yang menjanjikan, terutama sebagai metode untuk menilai efek pengobatan farmakologis dalam rejimen yang ditentukan untuk pasien.

Makalah tersebut, yang berjudul The Face of Affective Disorders, berasal dari delapan peneliti dari berbagai lembaga di sektor penelitian medis swasta dan publik.

Data

(Makalah baru ini sebagian besar membahas teori dan metode yang saat ini populer dalam diagnosis pasien gangguan mental, dengan perhatian yang lebih sedikit pada teknologi dan proses yang digunakan dalam tes dan eksperimen)

Pengumpulan data dilakukan di Rumah Sakit Universitas Aachen, dengan 100 pasien yang seimbang secara gender dan kelompok kontrol 50 orang yang tidak terpengaruh. Pasien termasuk 35 penderita skizofrenia dan 65 orang yang menderita depresi.

Untuk bagian pasien dari kelompok tes, pengukuran awal dilakukan pada saat rawat inap pertama, dan yang kedua sebelum mereka pulang dari rumah sakit, dengan interval rata-rata 12 minggu. Partisipan kelompok kontrol direkrut secara acak dari populasi lokal, dengan induksi dan ‘pulang’ yang mirip dengan pasien yang sebenarnya.

Pada dasarnya, ‘kebenaran dasar’ yang paling penting untuk eksperimen seperti ini haruslah diagnosis yang diperoleh dengan metode yang disetujui dan standar, dan ini adalah kasus untuk percobaan OEG.

Namun, tahap pengumpulan data juga memperoleh data tambahan yang lebih sesuai untuk interpretasi mesin: wawancara yang berlangsung rata-rata 90 menit direkam selama tiga fase dengan webcam Logitech c270 yang berjalan pada 25fps.

Sesi pertama terdiri dari wawancara standar Hamilton (berdasarkan penelitian yang berasal sekitar 1960), seperti yang biasanya diberikan pada saat penerimaan. Pada fase kedua, tidak biasa, pasien (dan rekan-rekan mereka dalam kelompok kontrol) ditunjukkan video dari serangkaian ekspresi wajah, dan diminta untuk meniru setiap ekspresi tersebut, sambil menyatakan perkiraan mereka tentang keadaan mental mereka pada saat itu, termasuk keadaan emosional dan intensitas. Fase ini berlangsung sekitar 10 menit.

Dalam fase ketiga dan terakhir, partisipan ditunjukkan 96 video dari aktor, yang berlangsung sedikit lebih dari 10 detik masing-masing, yang tampaknya menceritakan pengalaman emosional yang intens. Partisipan kemudian diminta untuk menilai emosi dan intensitas yang digambarkan dalam video, serta perasaan mereka sendiri. Fase ini berlangsung sekitar 15 menit.

Metode

Untuk mendapatkan rata-rata wajah yang ditangkap (lihat gambar pertama, di atas), landmark emosional ditangkap dengan kerangka kerja EmoNet. Selanjutnya, korespondensi antara bentuk wajah dan bentuk wajah rata-rata (rata-rata) ditentukan melalui transformasi afinitas.

Pengenalan emosi dimensional dan prediksi pandangan mata dilakukan pada setiap segmen landmark yang diidentifikasi pada tahap sebelumnya.

Pada titik ini, inferensi emosi berbasis audio telah menunjukkan bahwa saat mengajar telah tiba dalam keadaan mental pasien, dan tugasnya adalah menangkap gambar wajah yang sesuai dan mengembangkan dimensi dan domain keadaan afektif mereka.

(Dalam video di atas, kita melihat pekerjaan yang dikembangkan oleh penulis teknologi pengenalan emosi dimensional yang digunakan oleh peneliti untuk karya baru ini).

Geodesik bentuk bahan dihitung untuk setiap bingkai data, dan reduksi Singular Value Decomposition (SVD) diterapkan. Data seri waktu yang dihasilkan akhirnya dimodelkan sebagai VAR proses, dan kemudian direduksi lebih lanjut melalui SVD sebelum adaptasi MAP.

Alur proses reduksi geodesik.

Nilai valensi dan arousal dalam jaringan EmoNet juga diproses dengan model VAR dan komputasi kernel urutan.

Eksperimen

Seperti yang dijelaskan sebelumnya, karya baru ini sebagian besar merupakan makalah penelitian medis daripada submisi visi komputer standar, dan kami merujuk pembaca ke makalah itu sendiri untuk liputan mendalam tentang berbagai eksperimen OEG yang dijalankan oleh peneliti.

Namun, untuk meringkas beberapa di antaranya:

Petunjuk Gangguan Afektif

Di sini 40 partisipan (bukan dari kelompok kontrol atau pasien) diminta untuk menilai wajah rata-rata yang dievaluasi (lihat di atas) dalam hal beberapa pertanyaan, tanpa diberitahu konteks data. Pertanyaan-pertanyaan tersebut adalah:

Apa jenis kelamin dari dua wajah?
Apakah wajah-wajah tersebut memiliki penampilan yang menarik?
Apakah wajah-wajah tersebut dapat dipercaya?
Bagaimana Anda menilai kemampuan orang-orang tersebut untuk bertindak?
Apa emosi dari dua wajah?
Apa penampilan kulit dari dua wajah?
Apa kesan dari pandangan?
Apakah wajah-wajah tersebut memiliki sudut mulut yang terkulai?
Apakah wajah-wajah tersebut memiliki alis yang terangkat?
Apakah orang-orang tersebut pasien klinis?

Peneliti menemukan bahwa penilaian buta ini berkorelasi dengan keadaan data yang diproses:

Hasil plot kotak untuk survei ‘wajah rata-rata’.

Penilaian Klinis

Untuk mengukur utilitas OEG dalam penilaian awal, peneliti pertama-tama mengevaluasi seberapa efektif penilaian klinis standar dengan sendirinya, dengan mengukur tingkat perbaikan antara induksi dan fase kedua (pada saat pasien biasanya menerima pengobatan berbasis obat).

Peneliti menyimpulkan bahwa status dan keparahan gejala dapat dinilai dengan baik menggunakan metode ini, mencapai korelasi 0,82. Namun, diagnosis yang akurat dari skizofrenia atau depresi terbukti lebih menantang, dengan metode standar hanya mencapai skor -0,03 pada tahap awal.

Penulis mengomentari:

‘Pada dasarnya, status pasien dapat ditentukan dengan relatif baik menggunakan kuesioner biasa. Namun, itu hampir semua yang dapat disimpulkan dari itu. Apakah seseorang depresi atau skizofrenia tidak ditunjukkan. Hal yang sama berlaku untuk respons pengobatan.’

Hasil dari proses mesin dapat mencapai skor yang lebih tinggi dalam area masalah ini, dan skor yang setara untuk aspek evaluasi pasien awal:

Angka yang lebih tinggi lebih baik. Di sebelah kiri, hasil akurasi evaluasi berbasis wawancara standar di seluruh empat fase arsitektur pengujian; di sebelah kanan, hasil berbasis mesin.

Diagnosis Gangguan

Membedakan depresi dari skizofrenia melalui gambar wajah statis bukanlah hal yang sepele. Dengan validasi silang, proses mesin dapat mencapai skor akurasi yang tinggi di seluruh fase percobaan:

Dalam eksperimen lain, peneliti dapat menunjukkan bukti bahwa OEG dapat memahami perbaikan pasien melalui pengobatan farmakologis, dan perawatan umum dari gangguan:

‘Inferensi kausal atas pengetahuan prior empiris dari pengumpulan data menyesuaikan pengobatan farmakologis untuk mengamati kembalinya regulasi fisiologis dari dinamika wajah. Kembalinya seperti itu tidak dapat diamati selama resep klinis.

‘Saat ini tidak jelas apakah rekomendasi berbasis mesin seperti itu akan menghasilkan keberhasilan terapi yang jauh lebih baik. Terutama karena diketahui efek sampingan obat dapat memiliki dalam jangka panjang.

‘Namun, [jenis] pendekatan yang disesuaikan dengan pasien seperti itu akan menghancurkan hambatan skema klasifikasi kategoris yang masih dominan digunakan dalam kehidupan sehari-hari.’

* Konversi saya dari kutipan inline penulis ke tautan.

Mula-mula diterbitkan 3 Agustus 2022.