Mendiagnosis Gangguan Kesehatan Mental Melalui Evaluasi Ekspresi Wajah AI

Peneliti dari Jerman telah mengembangkan metode untuk mengidentifikasi gangguan jiwa berdasarkan ekspresi wajah yang ditafsirkan oleh computer vision.

Pendekatan baru tidak hanya dapat membedakan antara subjek yang tidak terpengaruh dan yang terpengaruh, tetapi juga dapat dengan benar membedakan depresi dari skizofrenia, serta sejauh mana pasien saat ini dipengaruhi oleh penyakit tersebut.

Para peneliti telah memberikan gambar gabungan yang mewakili kelompok kontrol untuk tes mereka (di sebelah kiri pada gambar di bawah) dan pasien yang menderita gangguan mental (kanan). Identitas banyak orang dicampur dalam representasi, dan tidak ada gambar yang menggambarkan individu tertentu:

Sumber: https://arxiv.org/pdf/2208.01369.pdf

Individu dengan gangguan afektif cenderung mengangkat alis, tatapan tajam, wajah bengkak, dan ekspresi mulut seperti anjing. Untuk melindungi privasi pasien, gambar komposit ini adalah satu-satunya yang tersedia untuk mendukung karya baru tersebut.

Sampai saat ini, pengenalan pengaruh wajah terutama digunakan sebagai alat potensial untuk diagnosis dasar. Pendekatan baru, sebaliknya, menawarkan metode yang mungkin untuk mengevaluasi kemajuan pasien selama perawatan, atau yang lain (berpotensi, meskipun makalah tidak menyarankannya) di lingkungan rumah mereka sendiri untuk pemantauan rawat jalan.

Makalah menyatakan *:

'Melampaui diagnosis mesin depresi dalam komputasi afektif, yang telah dikembangkan di sebelumnya studi, kami menunjukkan bahwa keadaan afektif terukur yang diestimasi melalui penglihatan komputer mengandung jauh lebih banyak informasi daripada klasifikasi kategoris murni.'

Para peneliti telah menjuluki teknik ini Ensefalografi Elektronik Opto (OEG), metode yang sepenuhnya pasif untuk menyimpulkan kondisi mental dengan analisis citra wajah alih-alih sensor topikal atau teknologi pencitraan medis berbasis sinar.

Para penulis menyimpulkan bahwa OEG berpotensi bukan hanya pembantu sekunder untuk diagnosis dan pengobatan, tetapi, dalam jangka panjang, pengganti potensial untuk bagian evaluatif tertentu dari jalur pengobatan, dan yang dapat mengurangi waktu yang diperlukan untuk pasien. pemantauan dan diagnosis awal. Mereka mencatat:

'Secara keseluruhan, hasil yang diprediksi oleh mesin menunjukkan korelasi yang lebih baik dibandingkan dengan kuesioner berbasis penilaian pengamat klinis murni dan juga objektif. Periode pengukuran yang relatif singkat beberapa menit untuk pendekatan computer vision juga patut diperhatikan, sedangkan jam terkadang diperlukan untuk wawancara klinis.'

Namun, penulis sangat ingin menekankan bahwa perawatan pasien di bidang ini adalah pengejaran multi-modal, dengan banyak indikator keadaan pasien lain yang harus dipertimbangkan selain hanya ekspresi wajah mereka, dan terlalu dini untuk mempertimbangkan bahwa sistem seperti itu dapat dilakukan. sepenuhnya menggantikan pendekatan tradisional untuk gangguan mental. Meskipun demikian, mereka menganggap OEG sebagai teknologi tambahan yang menjanjikan, khususnya sebagai metode untuk menilai efek pengobatan farmasi dalam rejimen yang diresepkan pasien.

Grafik kertas berjudul Wajah Gangguan Afektif, dan berasal dari delapan peneliti di berbagai institusi dari sektor penelitian medis swasta dan publik.

Data

(Makalah baru sebagian besar membahas berbagai teori dan metode yang saat ini populer dalam diagnosis pasien gangguan mental, dengan perhatian yang kurang dari biasanya pada teknologi dan proses aktual yang digunakan dalam tes dan berbagai eksperimen)

Pengumpulan data dilakukan di Rumah Sakit Universitas di Aachen, dengan 100 pasien dengan gender seimbang dan kelompok kontrol yang terdiri dari 50 orang yang tidak terpengaruh. Pasien tersebut terdiri dari 35 orang penderita skizofrenia dan 65 orang penderita depresi.

Untuk bagian pasien dari kelompok uji, pengukuran awal dilakukan pada saat rawat inap pertama, dan yang kedua sebelum mereka keluar dari rumah sakit, dengan interval rata-rata 12 minggu. Peserta kelompok kontrol direkrut secara sewenang-wenang dari populasi lokal, dengan induksi dan 'keluar' mereka sendiri yang mencerminkan pasien yang sebenarnya.

Akibatnya, 'kebenaran dasar' yang paling penting untuk eksperimen semacam itu haruslah diagnosis yang diperoleh dengan metode yang disetujui dan standar, dan ini adalah kasus uji coba OEG.

Namun, tahap pengumpulan data memperoleh data tambahan yang lebih cocok untuk interpretasi mesin: wawancara dengan rata-rata 90 menit direkam dalam tiga tahap dengan webcam konsumen Logitech c270 yang berjalan pada 25fps.

Sesi pertama terdiri dari standar wawancara hamilton (berdasarkan riset berasal sekitar tahun 1960), seperti yang biasanya diberikan saat masuk. Pada fase kedua, secara tidak biasa, pasien (dan rekan mereka dalam kelompok kontrol) diperlihatkan video dari serangkaian ekspresi wajah, dan diminta untuk meniru masing-masing, sambil menyatakan perkiraan mereka sendiri tentang kondisi mental mereka saat itu, termasuk keadaan dan intensitas emosi. Fase ini berlangsung sekitar sepuluh menit.

Pada fase ketiga dan terakhir, para peserta diperlihatkan 96 video aktor, masing-masing berdurasi lebih dari sepuluh detik, tampaknya menceritakan pengalaman emosional yang intens. Para peserta kemudian diminta untuk mengevaluasi emosi dan intensitas yang direpresentasikan dalam video, serta perasaan mereka sendiri yang sesuai. Fase ini berlangsung sekitar 15 menit.

metode

Untuk sampai pada rata-rata rata-rata wajah yang ditangkap (lihat gambar pertama, di atas), penanda emosional ditangkap dengan EmoNet kerangka. Selanjutnya, korespondensi antara bentuk wajah dan rata-rata (rata-rata) bentuk wajah ditentukan melalui transformasi affine sedikit demi sedikit.

Pengenalan emosi dimensi dan prediksi tatapan mata dilakukan pada setiap segmen landmark yang diidentifikasi pada tahap sebelumnya.

Pada titik ini, inferensi emosi berbasis audio telah menunjukkan bahwa momen yang dapat diajarkan telah tiba di kondisi mental pasien, dan tugasnya adalah menangkap citra wajah yang sesuai dan mengembangkan dimensi dan domain dari kondisi afek mereka.

(Dalam video di atas, kita melihat karya yang dikembangkan oleh penulis teknologi pengenalan emosi dimensional yang digunakan oleh para peneliti untuk karya baru).

Bentuk geodesik material dihitung untuk setiap kerangka data, dan Dekomposisi Nilai Singular (SVD) pengurangan diterapkan. Data deret waktu yang dihasilkan akhirnya dimodelkan sebagai a VAR proses, dan kemudian dikurangi lebih lanjut melalui SVD sebelumnya adaptasi PETA.

Alur kerja untuk proses reduksi geodesik.

Nilai valensi dan gairah dalam jaringan EmoNet juga diproses serupa dengan pemodelan VAR dan perhitungan kernel urutan.

Percobaan

Seperti yang dijelaskan sebelumnya, karya baru ini terutama merupakan makalah penelitian medis daripada penyerahan visi komputer standar, dan kami merujuk pembaca ke makalah itu sendiri untuk liputan mendalam tentang beragam eksperimen OEG yang dijalankan oleh para peneliti.

Meskipun demikian, untuk meringkas beberapa dari mereka:

Isyarat Gangguan Afektif

Di sini 40 peserta (bukan dari kelompok kontrol atau pasien) diminta untuk menilai rata-rata wajah yang dievaluasi (lihat di atas) sehubungan dengan sejumlah pertanyaan, tanpa diberi tahu tentang konteks datanya. Pertanyaannya adalah:

Apa jenis kelamin kedua wajah itu?
Apakah wajah memiliki penampilan yang menarik?
Apakah wajah-wajah ini orang yang dapat dipercaya?
Bagaimana Anda menilai kemampuan orang-orang ini untuk bertindak?
Apa emosi kedua wajah itu?
Seperti apa penampakan kulit kedua wajah tersebut?
Apa kesan tatapan itu?
Apakah kedua wajah memiliki sudut mulut yang turun?
Apakah kedua wajah itu mengangkat warna cokelat mata?
Apakah orang-orang ini pasien klinis?

Para peneliti menemukan bahwa evaluasi buta ini berkorelasi dengan status terdaftar dari data yang diproses:

Hasil plot kotak untuk survei 'wajah jahat'.

Penilaian klinis

Untuk mengukur kegunaan OEG dalam penilaian awal, para peneliti pertama-tama mengevaluasi seberapa efektif penilaian klinis standar dengan sendirinya, mengukur tingkat perbaikan antara induksi dan fase kedua (saat pasien biasanya menerima perawatan berbasis obat.

Para peneliti menyimpulkan bahwa status dan keparahan gejala dapat dinilai dengan baik dengan metode ini, mencapai korelasi 0.82. Namun, diagnosis skizofrenia atau depresi yang akurat terbukti lebih menantang, dengan metode standar hanya memperoleh skor -0.03 pada tahap awal ini.

Komentar penulis:

'Intinya, status pasien dapat ditentukan dengan relatif baik menggunakan kuesioner biasa. Namun, pada dasarnya hanya itu yang bisa disimpulkan darinya. Apakah seseorang mengalami depresi atau lebih tepatnya skizofrenia tidak diindikasikan. Hal yang sama berlaku untuk respon pengobatan.'

Hasil dari proses mesin dapat memperoleh skor yang lebih tinggi di bidang masalah ini, dan skor yang sebanding untuk aspek evaluasi awal pasien:

Angka yang lebih tinggi lebih baik. Di sebelah kiri, hasil akurasi evaluasi berbasis wawancara standar di empat fase arsitektur pengujian; di sebelah kanan, hasil berbasis mesin.

Diagnosis Gangguan

Membedakan depresi dengan skizofrenia melalui gambar wajah statis bukanlah hal yang sepele. Divalidasi silang, proses mesin dapat memperoleh skor akurasi tinggi di berbagai fase uji coba:

Dalam percobaan lain, para peneliti dapat menunjukkan bukti bahwa OEG dapat merasakan peningkatan pasien melalui pengobatan farmakologis, dan pengobatan umum gangguan tersebut:

'Inferensi kausal atas pengetahuan awal empiris dari pengumpulan data menyesuaikan pengobatan farmakologis untuk mengamati kembalinya regulasi fisiologis dari dinamika wajah. Pengembalian seperti itu tidak dapat diamati selama resep klinis.

'Saat ini tidak jelas apakah rekomendasi berbasis mesin seperti itu memang akan menghasilkan keberhasilan terapi yang lebih baik secara signifikan. Terutama karena diketahui efek samping obat apa yang dapat terjadi dalam jangka waktu yang lama.

'Namun, [semacam] pendekatan yang disesuaikan dengan pasien ini akan mematahkan hambatan dari skema klasifikasi kategori umum yang masih dominan digunakan dalam kehidupan sehari-hari.'

* Konversi saya dari kutipan sebaris penulis ke hyperlink.

Pertama kali diterbitkan 3 Agustus 2022.