Çalışma Sırasında Yüz Analizi ile Personel Stresini Tanıma

Zoom toplantı etiketi etrafındaki değişen kültür bağlamında ve Zoom yorgunluğu ortaya çıkarken, Cambridge’den araştırmacılar, yüz ifadelerimizi AI destekli web kameralar aracılığıyla işyerinde stres seviyelerimizi belirlemek için makine öğrenimi kullanan bir çalışma yayınladı.

Solda, veri toplama ortamı, birden fazla izleme ekipmanı ya da bir gönüllüye bağlı veya eğitilmiş; sağda, test konuları tarafından oluşturulan örnek yüz ifadeleri, görev zorluğu seviyelerinde değişen. Kaynak: https://arxiv.org/pdf/2111.11862.pdf

Araştırma, ‘Ambient Assistive Living’ sistemlerinde duygusal analiz (yani, duygu tanıma) için tasarlanmıştır ve video tabanlı AI yüz ifadesi izleme çerçevelerini bu sistemlerde etkinleştirmek için tasarlanmış gibi görünüyor; makale bu yönü genişletmez, ancak araştırma çabası başka bir bağlamda anlamsız olur.

Projenin özel alanı, yüz ifadesi kalıplarını ‘leisure’ veya ‘passive’ durumlar yerine ‘çalışma ortamlarında’ öğrenmek – bu, uzaktan çalışma düzenlemeleri de dahil olmak üzere.

İşyerinde Yüz Temelli Duygu Tanıma

‘Ambient Assistive Living’ terimi, yaşlı bakım şeması gibi gelebilir, ancak durum böyle değil. Araştırmacılar, hedef ‘son kullanıcılar’ hakkında şunları söylüyor:

‘Ambient assistive living ortamları için oluşturulan sistemler [†] hem otomatik duygusal analiz hem de yanıt verebilmeyi amaçlar. Ambient assistive living, bireyin günlük yaşam ve çalışma ortamında daha sağlıklı ve aktif kalmasına yardımcı olmak ve yaşlandıkça bağımsız olarak yaşamalarına olanak sağlamak için bilgi ve iletişim teknolojisi (ICT) kullanımına dayanır. Böylece, ambient assistive living, sağlık çalışanlarını, hemşireleri, doktorları, fabrika işçilerini, sürücüleri, pilotları, öğretmenleri ve çeşitli endüstrileri algılama, değerlendirme ve müdahale yoluyla desteklemeyi amaçlar.

‘Sistem, fiziksel, duygusal ve zihinsel gerilimi belirlemek ve gerektiğinde yanıt vermek ve uyum sağlamak nhằmaktadır, örneğin, bir uykululuk algılama sistemi ile donatılmış bir araba, sürücüyü dikkatli olması için bilgilendirebilir ve bir mola verip kazaları önlemek için öneride bulunabilir [††].’

Makale, İş Benzeri Ortamlarda Kullanıcı Yüz Etkisi Çıkarımı başlığını taşır ve Cambridge’deki Affective Intelligence & Robotics Lab’dan üç araştırmacının eseridir.

Test Koşulları

Bu alandaki önceki çalışmalar, büyük ölçüde internetten kazınan resimlerin ad hoc koleksiyonlarına dayanırken, Cambridge araştırmacıları 12 kampüs gönüllüsü ile yerel veri toplama deneyleri gerçekleştirdi; 5 erkek ve 7 kadın. Gönüllüler dokuz ülkeden geldi ve 22-41 yaşları arasındaydı.

Proje, üç potansiyel olarak stresli çalışma ortamını yeniden yaratmayı amaçladı: bir ofis; bir fabrika üretim hattı ve bir telekonferans görüşmesi – bu, pandemiyle birlikte evden çalışma ile birlikte sıkça karşılaşılan bir durum.
Konular, çeşitli yöntemlerle izlenmiştir; bunlar arasında üç kamera, bir Jabra boyun askılı mikrofon, bir Empatica bileklik (gerçek zamanlı biogeribildirim sunan kablosuz çok sensörlü bir giyilebilir cihaz) ve bir Muse 2 baş bandı sensörü (aynı zamanda biogeribildirim sunar) yer alır. Ayrıca, gönüllülere periyodik olarak ruh hallerini değerlendirmeleri ve anketleri tamamlamaları istendi.

Ancak, bu, gelecekteki Ambient Assistive Living düzeneklerinin sizi bu kadar ‘takıp’ edeceği anlamına gelmez (salt maliyet nedenleriyle); veri toplama sırasında kullanılan tüm kamera dışı izleme ekipmanları ve yöntemleri, yazılı self-değerlendirmeler dahil, yüz tabanlı duygusal analiz sistemlerini doğrulamak için tasarlanmıştır.

Ofis Senaryosu: Baskıyı Artırma

İlk iki senaryoda (‘Ofis’ ve ‘Fabrika’), gönüllülereeasy bir tempoda başlandı ve baskıları dört aşama boyunca dần dần artırıldı; her aşama için farklı türde görevler verildi.

En yüksek stres seviyesinde, gönüllüler ayrıca ‘beyaz önlük etkisi’ olarak adlandırdıkları, birinin omzunun üzerinden bakması ve 85 desibellik ek gürültüye maruz kaldılar; bu, ABD’de ofis ortamı için yasal limite sadece beş desibel daha düşük ve Ulusal Mesleki Güvenlik ve Sağlık Enstitüsü (NIOSH) tarafından belirtilen tam maksimum limite eşit.
Ofis benzeri veri toplama aşamasında, konulara ekranlarında beliren önceki harfleri hatırlamaları görevi verildi; görev zorluğu artırıldı (örneğin, iki harf dizilerini iki ekran önce hatırlamak).

Fabrika Senaryosu

El işgücü ortamını simüle etmek için, konulara Operation oyununu oynamaları istendi; bu oyun, kullanıcıların metal kenarlı dar açıklıklardan küçük nesneleri çıkarmasını gerektirir; bu, ‘hata’ zilinin çaldığı bir durum.
https://www.youtube.com/watch?v=8KXZiLPAhMA

En zor aşama geldiğinde, gönüllü, bir dakikanın içinde hatasız olarak 12 öğeyi çıkarmakla görevlendirildi. Bağlam için, bu görevin dünya rekoru, 2019’da İngiltere’de 12.68 saniye olarak belirlenmiştir.

Telekonferans Senaryosu

Son olarak, evden çalışma/telekonferans testinde, gönüllülere bir MS Teams çağrısı üzerinden bir deneyci tarafından kendi olumlu ve olumsuz anılarını hatırlamaları istendi. Bu senaryonun en stresli aşamasında, gönüllü, yakın geçmişinden çok olumsuz veya üzücü bir anıyı hatırlamakla görevlendirildi.

Çeşitli görevler ve senaryolar rasgele sırayla gerçekleştirildi ve Working-Environment-Context-Aware Dataset (WECARE-DB) adlı özel bir veri kümesine derlendi.

Yöntem ve Eğitim

Kullanıcıların kendi ruh hallerinin self-değerlendirmeleri sonuçları, gerçek değer olarak kullanıldı ve valans ve uyarılma boyutlarına eşlendi. Deneylerin kaydedilen videoları, bir yüz landmark tespit ağı üzerinden geçirildi ve hizalanmış görüntüler, AffectNet veri kümesi üzerinde eğitilen bir ResNet-18 ağına beslendi.

AffectNet’ten 450.000 görüntü, duygusal olarak ilgili sorgular kullanarak internetten çekildi ve valans ve uyarılma boyutlarına el ile etiketlendi.
Sonra, araştırmacılar, sadece kendi WECARE veri kümesi üzerinden ağı iyileştirdiler; ayrıca, spektral temsil kodlama kullanılarak, çerçeveli tahminler özetlendi.

Sonuçlar

Modelin performansı, otomatik duygusal tahmin ile ilgili üç ortak metriğe göre değerlendirildi: Uygunluk Katsayısı Korelasyonu; Pearson Katsayısı Korelasyonu ve Kök Mean Square Hata (RMSE).

Araştırmacılar, WECARE veri kümesi üzerinde ince ayarlanmış modelin, AffectNet üzerinde önceden eğitilen ResNet-18 modelini aşmayı başardığını belirtiyorlar ve bundan, yüz ifadelerimizin yönetim şeklinin iş ortamında, daha soyut bağlamlardan türetilen önceki çalışmaların kaynak materyallerinden farklı olduğunu çıkarıyorlar.

Araştırmacılar, şunları söylüyor:

‘Tabloya bakıldığında, WECARE-DB üzerinde ince ayarlanmış modelin, AffectNet üzerinde önceden eğitilen ResNet-18 modelini aştığını gözlemliyoruz; bu, iş benzeri ortamlardaki yüz davranışlarının, AffectNet DB’de kullanılan internet ortamlarından farklı olduğunu gösteriyor. Böylece, iş benzeri ortamlarda yüz duygusunu tanımak için veri kümeleri elde etmek ve modelleri eğitmek gerekli.’

İşyerinde duygusal tanınmanın geleceği ile ilgili olarak, çalışanların duygusal durumlarını sürekli olarak tahmin eden ve kamera ağları ile çalışanlar tarafından etkinleştirilen, araştırmacılar şunları söylüyor:

‘Nihai hedef, eğitilen modelleri gerçek zamanlı olarak ve gerçek çalışma ortamlarında kullanmak ve karar destek sistemlerine girdi sağlamak nhằmaktadır; bu, çalışma yaşındaki insanların sağlığını ve refahını AB Çalışma Yaşı Projesi bağlamında desteklemek nhằmaktadır.’

* Vurgulama bana ait.

† Araştırmacılar burada üç atıf yapıyor:

Otomatik, boyutlu ve Sürekli Duygu Tanıma – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Ambient Destekli Yaşam Alanının Keşfedilmesi: Bir Sistemli İnceleme – https://link.springer.com/article/10.1007/s12652-016-0374-3
Ambient Destekli Yaşam Ortamları için Nesnelerin İnterneti Teknolojileri İncelemesi – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Araştırmacılar burada iki atıf yapıyor:

Derin Sinir Ağları Model Sıkıştırma Kullanarak Gerçek Zamanlı Sürücü Uykululuk Tespiti – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Yüz Özelliklerini Kullanarak Gerçek Zamanlı Sürücü Uykululuk Tespiti Sistemi – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532