Ruhsal Sağlık Bozukluklarının Tanısında AI Yüz İfadeleri Değerlendirmesi

Almanya’dan araştırmacılar, bilgisayar vizyonu tarafından yorumlanan yüz ifadelerine dayanarak mental bozuklukları tanımlama yöntemi geliştirdiler.

Yeni yaklaşım, yalnızca etkilenmeyen ve etkilenen konular arasında ayrım yapmanın ötesinde, depresyonu şizofreniden ve hastalığın当前 etkilenme derecesini doğru bir şekilde ayırt edebiliyor.

Araştırmacılar, testlerinin kontrol grubu için bir bileşik görüntü (aşağıdaki resmin solunda) ve mental bozukluklardan etkilenen hastalar (sağda) sağladılar. Temsillerde birden fazla kişinin kimlikleri karıştırılmış ve hiçbir görüntü belirli bir kişiyi temsil etmemektedir:

Kaynak: https://arxiv.org/pdf/2208.01369.pdf

Duygusal bozuklukları olan bireyler genellikle kaşlarını kaldırmış, ağırlaşmış bakışlar, şişmiş yüzler ve asılı ağız ifadelerine sahip olma eğilimindedir. Hastaların gizliliğini korumak için, bu bileşik görüntüler yeni çalışmaya destek olarak sunulan tek görüntülerdir.

Şimdiye kadar, yüz ifadeleri tanısında kullanılan yüz ifadesi tanıma esas olarak temel tanı için potansiyel bir araç olarak kullanılmıştır. Yeni yaklaşım, tedavi boyunca hasta ilerlemesini değerlendirmek veya (potansiyel olarak, ancak makalede önerilmeyen) hastaların evlerinde out-patient izleme için bir yöntem sunar.

Makalede denir*:

‘Duygusal bilgisayar biliminde depresyonun makine tanımlamasının ötesine geçerek, önceki çalışmalarda geliştirilen çalışmaların, bilgisayar vizyonu ile ölçülen ölçülebilir duygusal durumun, salt kategorik sınıflandırmadan daha fazla bilgi içerdiğini gösteriyoruz.’

Araştırmacılar bu tekniğe Opto Elektronik Ensefalografi (OEG) adını vermişlerdir, bu tamamen pasif bir yöntemdir ve yüz görüntüsü analizi ile mental durumu çıkarsar, yüzeyel sensörler veya ışın tabanlı tıbbi görüntüleme teknolojileri yerine.

Yazarlar, OEG’nin yalnızca ikincil bir tanı ve tedavi yardımcı aracı değil, uzun vadede tedavi değerlendirmesinin belirli kısımlarının potansiyel bir yerine geçebileceği ve hasta izleme ve ilk tanı süresini kısaltabileceği sonucuna varırlar. Onlar not eder:

‘Genel olarak, makine tarafından öngörülen sonuçlar, saf klinik gözlemci puanlama tabanlı anketlere göre daha iyi korelasyonlar gösterir ve ayrıca nesneldir. Bilgisayar vizyonu yaklaşımının birkaç dakika süren göreceli olarak kısa ölçüm süresi de dikkat çekicidir, oysa klinik görüşmeler bazen saatler sürebilir.’

Ancak, yazarlar bu alanda hasta bakımının çok modlu bir pursuit olduğunu vurgulamak istemektedirler, birçok diğer hasta durumu göstergesi vardır ve bu sistemlerin geleneksel yaklaşımları tamamen değiştirebileceği düşünülmemelidir. Buna rağmen, OEG’yi umut verici bir yardımcı teknoloji olarak görürler, özellikle ilaç tedavisi etkilerini değerlendirmek için bir yöntem olarak.

Makale The Face of Affective Disorders olarak adlandırılmış ve geniş bir araştırma kurumları ağından sekiz araştırmacı tarafından yazılmıştır.

Veri

(Yeni makale esas olarak mental bozuklukların hasta tanısında kullanılan çeşitli teoriler ve yöntemlerle ilgileniyor, testlerde ve deneylerde kullanılan teknolojiler ve süreçlere göre daha az dikkat çekiyor)

Veri toplama, Aachen Üniversitesi Hastanesi’nde 100 cinsiyet dengeli hasta ve 50 kişilik bir kontrol grubu ile gerçekleştirildi. Hastalar, 35 şizofreni ve 65 depresyon hastası içeriyordu.

Hasta grubu için, ilk ölçümler hastaneye kabul edildiklerinde, ikinci ölçümler ise taburcu edilmeden önce alındı, ortalama 12 haftalık bir süre içinde. Kontrol grubu katılımcıları, yerel nüfustan rastgele seçildi ve kendi kabul ve ‘taburcu’ prosedürleri, gerçek hastalarınkine benzer şekilde gerçekleştirildi.

Aslında, böyle bir deney için en önemli ‘gerçek veri’, standardize edilmiş yöntemlerle elde edilen teşhislerdir ve OEG denemelerinde bu durum geçerliydi.

Veri toplama aşamasında, makine yorumlama için daha uygun ek veriler elde edildi: 90 dakika süren görüşmeler, 25 kare/saniye hızında çalışan Logitech c270 tüketici web kamerasıyla üç aşamada kaydedildi.

İlk oturum, genellikle kabulde verilen standard Hamilton görüşmesi (1960’larda ortaya çıkan araştırmalara dayanan) içeriyordu. İkinci aşama, hastalara (ve kontrol grubundaki karşılıklarına) bir dizi yüz ifadesi videosu gösterildi ve her birini taklit etmeleri ve o anda kendi duygusal durumlarını ve yoğunluğunu değerlendirmeleri istendi, bu aşama yaklaşık 10 dakika sürdü.

Üçüncü ve son aşamada, katılımcılara 96 video gösterildi, her biri yaklaşık 10 saniye sürdü ve yoğun duygusal deneyimler anlatıyordu. Katılımcılardan, videolardaki duyguyu ve yoğunluğu değerlendirmeleri ve kendi duygularını belirtmeleri istendi, bu aşama yaklaşık 15 dakika sürdü.

Yöntem

Yaklaşık yüz ortalamasının hesaplanmasında (yukarıdaki ilk resim), duygusal landmarks EmoNet çerçevesi ile yakalandı. Ardından, yüz şekli ve ortalama (ortalaması alınan) yüz şekli arasındaki karşılık, parçalı affine dönüşüm ile belirlendi.

Boyutsal duygu tanıma ve göz bakış tahmini, önceki aşamada tanımlanan her bir landmark segmenti üzerinde gerçekleştirildi.

Bu noktada, ses tabanlı duygu çıkarımı, hastanın mental durumunda öğretilebilecek bir anın geldiğini gösterdi ve görev, karşılık gelen yüz görüntüsünü yakalamak ve o anda duygusal durumun boyutunu ve alanını geliştirmektir.

(Yukarıdaki videoda, araştırmacıların yeni çalışması için kullandıkları boyutlu duygu tanıma teknolojilerinin geliştiricilerinin çalışmalarını görüyoruz).

Malzemenin şekil jeodeziği, verilerin her bir çerçevesi için hesaplandı ve Singular Value Decomposition (SVD) azaltma uygulandı. Sonuçta elde edilen zaman serisi verileri, bir VAR süreci olarak modellendi ve daha sonra SVD ile azaltıldı ve MAP adaptasyonu için kullanıldı.

Jeodezik azaltma işleminin akışı.

EmoNet ağında valence ve arousal değerleri de benzer şekilde VAR modellemesi ve dizin çekirdeği hesabı ile işlendi.

Deneyler

Önceki gibi açıklanmıştır, yeni çalışma esas olarak bir tıbbi araştırma makalesidir ve okuyucuyu makaledeki ayrıntılı OEG deneylerinin kapsamlı bir şekilde ele alınmasına yönlendiriyoruz.

Bununla birlikte, bir seçimi özetlemek için:

Duygusal Bozukluk İpuçları

Burada 40 katılımcı (kontrol veya hasta grubundan değil), ortalama yüzleri (yukarıdaki ilk resim) çeşitli sorulara göre değerlendirmeye davet edildi, veri bağlamı hakkında bilgilendirilmediler. Sorular şunlardı:

İki yüzün cinsiyeti nedir?
Yüzler çekici bir görünüme sahip mi?
Bu yüzler güvenilir kişiler mi?
Bu insanların eyleme geçme yeteneklerini nasıl değerlendiriyorsunuz?
İki yüzün duygusu nedir?
İki yüzün cilt görünümü nedir?
Bakışların izlenimi nedir?
İki yüzün sarkık ağız köşeleri var mı?
İki yüzün kaşları kalkık mı?
Bu kişiler klinik hastalar mı?

Araştırmacılar, bu kör değerlendirmelerin işlenen verilerin kayıtlı durumuna karşılık geldiğini buldular:

Ortalama yüz anketinin kutu grafik sonuçları.

Klinik Değerlendirme

OEG’nin ilk değerlendirmesindeki faydasını ölçmek için, araştırmacılar önce standard klinik değerlendirmenin ne kadar etkili olduğunu ölçtüler, hastaların alındığı ve ikinci aşamada (tipik olarak ilaç tedavisi alırken) arasındaki iyileşme seviyelerini ölçerek.

Araştırmacılar, durum ve semptom şiddeti standard methodla iyi bir şekilde değerlendirilebileceğini, 0.82’lik bir korelasyon elde edildiğini kếtülediler. Ancak, depresyon veya şizofreni teşhisi yapmak daha zor oldu, standard yöntem bu erken aşamada yalnızca -0.03 puanı elde etti.

Yazarlar yorumlar:

‘Aslında, hasta durumunu standard anketler kullanarak nispeten iyi bir şekilde belirleyebilirsiniz. Ancak bu, bundan başka bir şey söyleyemez. Birinin depresif olup olmadığını veya şizofrenik olup olmadığını göstermez. Tedavi yanıtına da aynı şey uygulanır.’

Makine süreci sonuçları, bu sorun alanında daha yüksek puanlar elde edebildi ve ilk hasta değerlendirmesi açısından benzer puanlar elde etti:

Daha yüksek numaralar daha iyidir. Solda, dört aşamalı test mimarisi boyunca standard görüşme tabanlı değerlendirme doğruluk sonuçları; sağda, makine tabanlı sonuçlar.

Bozukluk Teşhisi

Depresyonu şizofreniden statik yüz görüntüleri ile ayırt etmek zor bir iştir. Çapraz doğrulanmış olarak, makine süreci çeşitli deneme aşamalarında yüksek doğruluk puanları elde edebildi:

Diğer deneylerde, araştırmacılar OEG’nin, farmakolojik tedavi ile hasta iyileşmesini algılayabildiği ve bozukluğun genel tedavisini algılayabildiği kanıtlarını sunabildiler:

‘Veri toplama süresini düzenleyen empirik öncül bilgisi, farmakolojik tedaviyi gözlemlemek için yüz dinamiklerinin fizyolojik düzenlenmesine dönüşünü sağladı. Klinik reçetede böyle bir dönüş观lenmedi.’

‘Şu anda, böyle bir makine tabanlı önerinin gerçekten tedavi başarısını önemli ölçüde artırıp artırmayacağı belli değil. Özellikle, ilaçların uzun vadede yan etkileri olduğu biliniyor.’

‘Ancak, bu tür hasta özel yaklaşım, günlük hayatta hala baskın olarak kullanılan ortak kategorik sınıflandırma şemasının sınırlarını kıracaktır.’

* Yazarların satır içi alıntılarını hyperlinklere çevirdim.

İlk olarak 3 Ağustos 2022’de yayımlandı.