Mengenali Stres Karyawan Melalui Analisis Wajah di Tempat Kerja

Dalam konteks perubahan budaya sekitar etika pertemuan Zoom, dan munculnya kelelahan Zoom, peneliti dari Cambridge telah merilis sebuah studi yang menggunakan pembelajaran mesin untuk menentukan tingkat stres kita melalui kamera webcam yang diaktifkan AI untuk mengamati ekspresi wajah kita di tempat kerja.

Di sebelah kiri, lingkungan pengumpulan data, dengan peralatan pemantauan yang dilatih atau dipasang pada relawan; di sebelah kanan, contoh ekspresi wajah yang dihasilkan oleh subjek uji pada tingkat kesulitan tugas yang bervariasi. Sumber: https://arxiv.org/pdf/2111.11862.pdf

Penelitian ini dimaksudkan untuk analisis afek (yaitu, pengenalan emosi) dalam sistem ‘Ambient Assistive Living’, dan tampaknya dirancang untuk memungkinkan kerangka pemantauan ekspresi wajah berbasis video yang diaktifkan AI dalam sistem tersebut; meskipun makalah ini tidak memperluas aspek ini, upaya penelitian tidak masuk akal dalam konteks lain.

Ruangan khusus proyek ini adalah untuk mempelajari pola ekspresi wajah di lingkungan kerja – termasuk pengaturan kerja jarak jauh – bukan ‘hiburan’ atau ‘pasif’ situasi, seperti bepergian.

Pengenalan Emosi Berbasis Wajah di Tempat Kerja

Sementara ‘Ambient Assistive Living’ mungkin terdengar seperti skema untuk perawatan lansia, itu jauh dari kasusnya. Berbicara tentang ‘pengguna akhir’ yang dimaksud, penulis menyatakan*:

‘Sistem yang dibuat untuk lingkungan ambient assistive living [†] bertujuan untuk dapat melakukan analisis afek otomatis dan respons. Ambient assistive living bergantung pada penggunaan teknologi informasi dan komunikasi (TIK) untuk membantu dalam kehidupan sehari-hari dan lingkungan kerja seseorang untuk menjaga mereka tetap sehat dan aktif lebih lama, dan memungkinkan mereka untuk hidup mandiri saat mereka menua. Oleh karena itu, ambient assistive living bertujuan untuk memfasilitasi pekerja kesehatan, perawat, dokter, pekerja pabrik, pengemudi, pilot, guru serta berbagai industri melalui penginderaan, penilaian dan intervensi.

‘Sistem ini dimaksudkan untuk menentukan beban fisik, emosional dan mental dan merespons dan menyesuaikan diri sesuai kebutuhan, misalnya, mobil yang dilengkapi dengan sistem deteksi kantuk dapat menginformasikan pengemudi untuk tetap waspada dan dapat menyarankan mereka untuk mengambil istirahat singkat untuk menghindari kecelakaan [††].’

Makalah ini berjudul Inferring User Facial Affect in Work-like Settings, dan berasal dari tiga peneliti di Affective Intelligence & Robotics Lab di Cambridge.

Kondisi Pengujian

Karena penelitian sebelumnya dalam bidang ini sebagian besar bergantung pada koleksi gambar ad hoc yang dikumpulkan dari internet, peneliti Cambridge melakukan eksperimen pengumpulan data lokal dengan 12 relawan kampus, 5 laki-laki dan 7 perempuan. Relawan berasal dari sembilan negara, dan berusia 22-41.

Proyek ini bertujuan untuk merekam tiga lingkungan kerja yang berpotensi menegangkan: kantor; garis produksi pabrik; dan panggilan telekonferensi – seperti jenis obrolan grup Zoom yang telah menjadi fitur umum dari kerja jarak jauh sejak awal pandemi.

Subjek dipantau dengan berbagai cara, termasuk tiga kamera, mikrofon Jabra yang dikenakan di leher, Empatica wristband (perangkat wearable nirkabel multi-sensor yang menawarkan umpan balik waktu nyata), dan sensor headband Muse 2 (yang juga menawarkan umpan balik waktu nyata). Selain itu, relawan diminta untuk menyelesaikan survei dan menilai mood mereka secara berkala.

Namun, ini tidak berarti bahwa rig Ambient Assistive Living di masa depan akan ‘memasang’ Anda ke tingkat tersebut (jika tidak karena alasan biaya); semua peralatan pemantauan non-kamera dan metode yang digunakan dalam pengumpulan data, termasuk penilaian tertulis, dimaksudkan untuk memverifikasi sistem pengenalan afek berbasis wajah yang diaktifkan oleh footage kamera.

Meningkatkan Tekanan: Skenario Kantor

Dalam dua skenario pertama dari tiga skenario (‘Kantor’ dan ‘Pabrik’), relawan dimulai dengan kecepatan yang mudah, dengan tekanan yang meningkat secara bertahap selama empat fase, dengan jenis tugas yang berbeda untuk masing-masing.

Pada tingkat stres tertinggi, relawan juga harus menahan ‘efek jas putih’ dari seseorang yang memandang dari atas bahu, plus 85db kebisingan tambahan, yang hanya lima desibel di bawah batas hukum untuk lingkungan kantor di AS, dan batas maksimum yang ditentukan oleh Institut Nasional untuk Keamanan dan Kesehatan Kerja (NIOSH).

Dalam fase pengumpulan data yang menyerupai kantor, subjek diminta untuk mengingat huruf sebelumnya yang muncul di layar mereka, dengan tingkat kesulitan yang meningkat (seperti harus mengingat urutan dua huruf yang terjadi dua layar sebelumnya).

Skenario Pabrik

Untuk mensimulasikan lingkungan kerja manual, subjek diminta untuk memainkan permainan Operation, yang menantang keterampilan tangan dengan meminta pemain untuk mengambil objek kecil dari papan melalui lubang yang dilapisi logam tanpa menyentuh sisi, yang memicu ‘buzzer’ kegagalan.

Saat fase tersulit datang, relawan ditantang untuk mengambil semua 12 item tanpa kesalahan dalam waktu satu menit. Untuk konteks, rekor dunia untuk tugas ini, yang ditetapkan di Inggris pada 2019, berdiri di 12,68 detik.

Skenario Telekonferensi

Akhirnya, dalam pengujian kerja jarak jauh/telekonferensi, relawan diminta oleh seorang eksperimen melalui panggilan MS Teams untuk mengingat kenangan positif dan negatif mereka. Untuk fase paling menegangkan dari skenario ini, relawan diminta untuk mengingat kenangan negatif atau sedih dari masa lalu mereka yang baru-baru ini.

Berbagai tugas dan skenario dilakukan dalam urutan acak, dan dikompilasi menjadi dataset khusus yang disebut Working-Environment-Context-Aware Dataset (WECARE-DB).

Metode dan Pelatihan

Hasil penilaian mood subjek digunakan sebagai kebenaran dasar, dan dipetakan ke dimensi valensi dan arousal. Video yang direkam dari eksperimen dijalankan melalui jaringan deteksi landmark wajah jaringan, dan gambar yang diselaraskan diberikan kepada ResNet-18 jaringan yang dilatih pada AffectNet dataset.

450.000 gambar dari AffectNet, semua diambil/diberi label dari internet menggunakan kueri terkait emosi, diberi anotasi manual, makalah tersebut menyatakan, dengan dimensi valensi dan arousal.

Selanjutnya, peneliti memperhalus jaringan berdasarkan dataset WECARE mereka sendiri, sementara pengkodean representasi spektral digunakan untuk meringkas prediksi berbasis frame.

Hasil

Kinerja model dievaluasi pada tiga metrik yang umum terkait dengan prediksi afek otomatis: Koefisien Korelasi Kesepakatan; Koefisien Korelasi Pearson; dan Root Mean Square Error (RMSE).

Penulis mencatat bahwa model yang diperhalus pada dataset WECARE mereka sendiri outperformed ResNet-18, dan menyimpulkan dari ini bahwa cara kita mengatur ekspresi wajah sangat berbeda dalam lingkungan kerja daripada dalam konteks abstrak dari mana studi sebelumnya telah berasal dari internet.

Mereka menyatakan:

‘Dengan melihat tabel kita lihat bahwa model yang diperhalus pada WECARE-DB outperformed model ResNet-18 yang telah dilatih sebelumnya pada [AffectNet], yang menunjukkan bahwa perilaku wajah yang ditampilkan dalam lingkungan kerja berbeda dibandingkan dengan pengaturan internet liar yang digunakan dalam AffectNet DB. Oleh karena itu, perlu untuk memperoleh dataset dan melatih model untuk mengenali afek wajah dalam lingkungan kerja.’

Mengenai masa depan pengenalan afek di tempat kerja, yang diaktifkan oleh jaringan kamera yang dilatih pada karyawan dan terus membuat prediksi tentang keadaan emosional mereka, penulis menyimpulkan*:

‘Tujuan akhir adalah untuk menerapkan dan menggunakan model yang dilatih dalam waktu nyata dan dalam lingkungan kerja nyata untuk memberikan input pada sistem pendukung keputusan untuk mempromosikan kesehatan dan kesejahteraan orang selama usia kerja mereka dalam konteks Proyek Usia Kerja EU.’

* Penekanan saya.

† Di sini penulis membuat tiga kutipan:

Pengenalan Emosi Otomatis, Dimensi, dan Kontinu – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Menggali Domain Ambient Assisted Living: Tinjauan Sistematis – https://link.springer.com/article/10.1007/s12652-016-0374-3
Tinjauan Teknologi Internet of Things untuk Lingkungan Ambient Assisted Living – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Di sini penulis membuat dua kutipan:

Deteksi Kantuk Pengemudi Waktu Nyata untuk Sistem Terbenam Menggunakan Kompresi Jaringan Saraf Dalam – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Sistem Deteksi Kantuk Pengemudi Waktu Nyata Menggunakan Fitur Wajah – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532