İş Yerinde Yüz Analizi ile Çalışan Stresini Tanıma

Zoom toplantı etiketi etrafındaki değişen kültür bağlamında ve Zoom yorgunluğu ortaya çıkarken, Cambridge’den araştırmacılar, işyerinde yüz ifadelerimizi AI destekli webcam ile belirlemek için makine öğrenimi kullanan bir çalışma yayınladı.

Sol tarafta, veri toplama ortamı, birden fazla izleme ekipmanı ile bir gönüllüye eğitilmiş veya bağlı; sağ tarafta, test konusu tarafından oluşturulan örnek yüz ifadeleri, görev zorluğu seviyelerine göre değişen. Kaynak: https://arxiv.org/pdf/2111.11862.pdf

Araştırma, ‘Ambient Assistive Living’ sistemlerinde affect analizi (yani, duygu tanıma) için tasarlandı ve video tabanlı AI yüz ifadesi izleme çerçevelerini bu sistemlerde etkinleştirmek için tasarlandı; makale bu yönü genişletmez, ancak araştırma çabası başka bir bağlamda anlamsız olur.

Projenin özel alanı, yüz ifadesi kalıplarını ‘eğlence’ veya ‘pasif’ durumlar yerine iş ortamlarında öğrenmektir – bu, uzaktan çalışma düzenlemelerini de içerir.

İş Yerinde Yüz Tabanlı Duygu Tanıma

‘Ambient Assistive Living’ terimi, yaşlı bakım planı gibi görünse de, durum böyle değildir. Araştırmacılar, hedef ‘son kullanıcılar’ hakkında şunları söylemektedir*:

‘Ambient assistive living ortamları için oluşturulan sistemler [†] hem otomatik affect analizi hem de yanıt verebilme yeteneğine sahiptir. Ambient assistive living, bireyin günlük yaşamını ve çalışma ortamını daha sağlıklı ve aktif tutmak, yaşlandıkça bağımsız olarak yaşamalarını sağlamak için bilgi ve iletişim teknolojisi (ICT) kullanımına dayanır. Böylece, ambient assistive living, sağlık çalışanlarını, hemşireleri, doktorları, fabrika işçilerini, sürücüleri, pilotları, öğretmenleri ve çeşitli endüstrileri algılama, değerlendirme ve müdahale yoluyla desteklemeyi amaçlar.

‘Sistem, fiziksel, duygusal ve zihinsel gerilimi belirlemek ve gerektiğinde yanıt vermek ve uyum sağlamak nhằmaktadır, örneğin, bir uykululuk algılama sistemi ile donatılmış bir araba, sürücüyü dikkatli olması için bilgilendirebilir ve kısa bir mola vermesini önererek kazaları önleyebilir [††].’

Makale, Inferring User Facial Affect in Work-like Settings başlığını taşır ve Cambridge’deki Affective Intelligence & Robotics Lab’dan üç araştırmacının eseridir.

Test Koşulları

Bu alandaki önceki çalışmalar, büyük ölçüde internetten toplanan resim koleksiyonlarına dayanırken, Cambridge araştırmacıları 12 kampüs gönüllüsü ile yerel veri toplama deneyleri gerçekleştirdi, 5 erkek ve 7 kadın. Gönüllüler, 22-41 yaşları arasında ve dokuz ülkeden geldi.

Proje, üç potansiyel olarak stresli iş ortamını yeniden yaratmayı amaçladı: bir ofis; bir fabrika üretim hattı ve bir telekonferans araması – bu, pandemiyle birlikte evden çalışma ile birlikte sıklıkla karşılaşılan bir durum.

Katılımcılar, çeşitli yöntemlerle izlendi, bunlar arasında üç kamera, bir Jabra boyun mikrofonu, bir Empatica bileklik (kablosuz çok sensörlü bir giyilebilir cihaz, gerçek zamanlı biogeribildirim sunar) ve bir Muse 2 başbandı sensörü (aynı zamanda biogeribildirim sunar) bulunuyordu. Ayrıca, gönüllülere dönem dönem ruh hallerini değerlendirmeleri için anketler tamamlatıldı.

Ancak, bu, gelecekteki Ambient Assistive Living sistemlerinin sizi bu kadar geniş bir şekilde ‘bağlayacağı’ anlamına gelmez (en azından maliyet nedenleriyle); veri toplama sırasında kullanılan tüm kamera dışı izleme ekipmanları ve yöntemleri, written self-değerlendirmeler dahil, yüz tabanlı affect tanıma sistemlerini doğrulamak için tasarlanmıştır.

Ofis Senaryosunda Baskıyı Artırma

İlk iki senaryoda (‘Ofis’ ve ‘Fabrika’), gönüllülere kolay bir tempo verildi, ardından dört aşama boyunca baskı dần artırıldı, her aşama için farklı görevler verildi.

En yüksek stres seviyesinde, gönüllülere ayrıca ‘beyaz önlük etkisi’ ve 85 desibellik ek gürültü uygulandı, bu, ABD’de ofis ortamı için yasal limite sadece beş desibel aşağıda ve Ulusal İş Güvenliği ve Sağlık Enstitüsü (NIOSH) tarafından belirtilen tam maksimum limite eşittir.

Ofis benzeri veri toplama aşamasında, katılımcılara ekranlarında beliren önceki harfleri hatırlamaları istendi, görev zorluğu seviyeleri artırıldı (örneğin, iki harf dizilerini iki ekran önce hatırlamaları istendi).

Fabrika Senaryosu

Elle yapılan iş ortamını simüle etmek için, katılımcılara Operation oyununu oynamaları istendi, bu oyun, kullanıcıların bir tahtadan küçük nesneleri metal kenarlı dar açıklıklardan çıkarmasını gerektirir, bu da ‘hata’ zilinin çalmasına neden olur.

En zorlu aşama geldiğinde, gönüllü, bir dakika içinde hata yapmadan tüm 12 öğeyi çıkarmak zorunda kaldı. Bu görevin dünya rekoru, 2019’da İngiltere’de 12.68 saniye olarak belirlenmiştir.

Telekonferans Senaryosu

Son olarak, evden çalışma/telekonferans testinde, gönüllülere bir MS Teams çağrısı üzerinden bir deneyci tarafından kendi olumlu ve olumsuz anılarını hatırlamaları istendi. Bu senaryonun en stresli aşamasında, gönüllü, yakın geçmişinden çok olumsuz veya üzücü bir anıyı hatırlamak zorunda kaldı.

Farklı görevler ve senaryolar rasgele sırayla gerçekleştirildi ve Working-Environment-Context-Aware Dataset (WECARE-DB) adlı bir özel veri kümesine derlendi.

Yöntem ve Eğitim

Kullanıcıların kendi ruh hallerini değerlendirmelerinin sonuçları, temel gerçek olarak kullanıldı ve valence ve arousal boyutlarına eşlendi. Deneylerin video kayıtları, yüz landmark tanıma ağı üzerinden geçirildi ve hizalanmış görüntüler, AffectNet veri kümesi üzerinde eğitilmiş bir ResNet-18 ağına beslendi.

AffectNet’ten 450.000 görüntü, emotion ile ilgili sorgular kullanarak internetten çekildi ve valence ve arousal boyutlarına göre elle etiketlendi, makalede belirtildiği gibi.

Araştırmacılar, daha sonra ağı yalnızca kendi WECARE veri kümesi üzerinde rafine etti, ayrıca spektral temsil kodlama kullanılarak çerçeve tabanlı tahminler özetlendi.

Sonuçlar

Modelin performansı, otomatik affect tahmini ile ilgili üç ortak ölçütle değerlendirildi: Concordance Coefficient Correlation; Pearson Coefficient Correlation; ve Root Mean Square Error (RMSE).

Araştırmacılar, kendi WECARE veri kümesi üzerinde ince ayarlanmış modelin, AffectNet üzerinde önceden eğitilmiş ResNet-18 modelini aşındırdığını belirtirler ve bundan, iş ortamında yüz ifadelerimizi yönetme şeklimizin, daha soyut bağlamlardan türetilen önceki çalışmalardan farklı olduğunu çıkarırlar.

Araştırmacılar şunları söylemektedir:

‘Tabloya baktığımızda, WECARE-DB üzerinde ince ayarlanmış modelin, AffectNet üzerinde önceden eğitilmiş ResNet-18 modelini aşındırdığını görüyoruz, bu da iş benzeri ortamlarda görülen yüz davranışlarının, internet ortamındaki ‘vahşi’ ortamlardan farklı olduğunu gösteriyor. Böylece, iş benzeri ortamlarda yüz affectini tanılamak için veri kümeleri toplamak ve modelleri eğitmek gerekli.’

İşyerinde affect tanıma geleceği hakkında, sürekli olarak çalışanların duygusal durumlarını tahmin eden ve kamera ağı ile çalışan AI tarafından etkinleştirilen, araştırmacılar şunları söylemektedir*:

‘Nihai hedef, eğitilmiş modelleri gerçek zamanlı olarak ve gerçek iş ortamlarında uygulamak ve karar destek sistemlerine girdi sağlamak, böylece AB Çalışma Yaşı Projesi kapsamında çalışanların sağlığını ve refahını çalışma yaşamları boyunca desteklemektir.’

* Vurgu benim.

† Burada araştırmacılar üç alıntı yapmaktadır:

Otomatik, boyutlu ve Sürekli Duygu Tanıma – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Ambient Assisted Living Alanını Araştırma: Bir Sistemli İnceleme – https://link.springer.com/article/10.1007/s12652-016-0374-3
Ambient Assisted Living Ortamları için Nesnelerin İnterneti Teknolojileri İncelemesi – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Burada araştırmacılar iki alıntı yapmaktadır:

Gerçek Zamanlı Sürücü Uykululuğu Tespiti için Derin Sinir Ağları Model Sıkıştırması – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Yüz Özelliklerini Kullanarak Gerçek Zamanlı Sürücü Uykululuğu Tespit Sistemi – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532