Mengenali Stres Karyawan Melalui Analisis Wajah Saat Bekerja

Dalam konteks mengubah budaya seputar etiket rapat Zoom, dan munculnya Kelelahan zoom, peneliti dari Cambridge telah merilis penelitian yang menggunakan pembelajaran mesin untuk menentukan tingkat stres kita melalui cakupan webcam berkemampuan AI dari ekspresi wajah kita di tempat kerja.

Di sebelah kiri, lingkungan pengumpulan data, dengan beberapa peralatan pemantauan yang dilatih atau dipasang pada seorang sukarelawan; di sebelah kanan, contoh ekspresi wajah yang dihasilkan oleh subjek tes pada berbagai tingkat kesulitan tugas. Sumber: https://arxiv.org/pdf/2111.11862.pdf

Penelitian ini dimaksudkan untuk analisis pengaruh (yaitu, pengenalan emosi) dalam sistem 'Ambient Assistive Living', dan mungkin dirancang untuk mengaktifkan kerangka kerja pemantauan ekspresi wajah AI berbasis video dalam sistem tersebut; meskipun makalah tidak memperluas aspek ini, upaya penelitian tidak masuk akal dalam konteks lain.

Lingkup khusus dari proyek ini adalah untuk mempelajari pola ekspresi wajah di lingkungan kerja – termasuk pengaturan kerja jarak jauh – daripada situasi 'santai' atau 'pasif', seperti bepergian.

Pengenalan Emosi Berbasis Wajah di Tempat Kerja

Sementara 'Ambient Assistive Living' mungkin terdengar seperti skema untuk perawatan lansia, itu jauh dari kasusnya. Berbicara tentang 'pengguna akhir' yang dimaksud, penulis menyatakan*:

'Sistem yang dibuat untuk lingkungan hidup yang mendukung lingkungan sekitar [†] bertujuan untuk dapat melakukan analisis pengaruh otomatis dan merespons. Kehidupan asistif ambien bergantung pada penggunaan teknologi informasi dan komunikasi (TIK) untuk membantu kehidupan sehari-hari dan lingkungan kerja seseorang agar mereka tetap sehat dan aktif lebih lama, dan memungkinkan mereka untuk hidup mandiri seiring bertambahnya usia. Dengan demikian, kehidupan bantuan ambien bertujuan untuk memfasilitasi pekerja kesehatan, perawat, dokter, pekerja pabrik, pengemudi, pilot, guru, serta berbagai industri melalui penginderaan, penilaian, dan intervensi.

'Sistem ini dimaksudkan untuk menentukan ketegangan fisik, emosional, dan mental serta merespons dan beradaptasi sesuai kebutuhan, misalnya, mobil yang dilengkapi dengan sistem pendeteksi kantuk dapat memberi tahu pengemudi untuk berhati-hati dan dapat menyarankan mereka untuk istirahat sejenak. untuk menghindari kecelakaan [††].'

Grafik kertas berjudul Menyimpulkan Pengaruh Wajah Pengguna dalam Pengaturan Seperti Pekerjaan, dan berasal dari tiga peneliti di Affective Intelligence & Robotics Lab di Cambridge.

Kondisi Uji

Sejak pekerjaan sebelumnya dalam bidang ini sebagian besar bergantung pada kumpulan gambar ad hoc yang diambil dari internet, para peneliti Cambridge melakukan percobaan pengumpulan data lokal dengan 12 sukarelawan kampus, 5 laki-laki dan 7 perempuan. Relawan tersebut berasal dari sembilan negara, dan berusia 22-41 tahun.

Proyek ini bertujuan untuk menciptakan kembali tiga lingkungan kerja yang berpotensi membuat stres: kantor; lini produksi pabrik; dan panggilan telekonferensi – seperti jenis obrolan grup Zoom yang telah menjadi a fitur yang sering pekerjaan rumah sejak munculnya pandemi.

Subjek dipantau dengan berbagai cara, termasuk tiga kamera, mikrofon yang dikenakan di leher Jabra, dan Gelang empatica (multi-sensor nirkabel yang dapat dikenakan yang menawarkan biofeedback waktu nyata), dan sensor headband Muse 2 (yang juga menawarkan biofeedback). Selain itu, para relawan diminta untuk menyelesaikan survei dan mengevaluasi suasana hati mereka secara berkala.

Namun, ini tidak berarti bahwa rig Ambient Assistive Living di masa depan akan 'menghubungkan Anda' sejauh itu (jika hanya karena alasan biaya); semua peralatan dan metode pemantauan non-kamera yang digunakan dalam pengumpulan data, termasuk penilaian mandiri tertulis, dimaksudkan untuk memverifikasi sistem pengenalan pengaruh berbasis wajah yang diaktifkan oleh rekaman kamera.

Meningkatkan Tekanan: Skenario Kantor

Dalam dua dari tiga skenario pertama ('Kantor' dan 'Pabrik'), para sukarelawan memulai dengan langkah yang mudah, dengan tekanan yang meningkat secara bertahap selama empat fase, dengan jenis tugas yang berbeda untuk masing-masing.

Pada tingkat stres terinduksi tertinggi, para relawan juga harus menanggung 'efek jas putih' dari seseorang yang melihat dari balik bahu mereka, ditambah kebisingan tambahan 85db, yang hanya lima desibel di bawah batas legal untuk lingkungan kantor di AS, dan batas maksimum pasti yang ditentukan oleh Institut Nasional untuk Keselamatan dan Kesehatan Kerja (NIOSH).

Dalam fase pengumpulan data seperti kantor, subjek ditugaskan untuk mengingat huruf-huruf sebelumnya yang muncul di layar mereka, dengan tingkat kesulitan yang meningkat (seperti harus mengingat urutan dua huruf yang muncul dua layar lalu).

Skenario Pabrik

Untuk mensimulasikan lingkungan kerja manual, subjek diminta untuk memainkan permainan tersebut Operasi, yang menantang ketangkasan pengguna dengan mengharuskan pemain untuk mengekstrak objek kecil dari papan melalui lubang sempit berbingkai logam tanpa menyentuh sisinya, yang memicu bel 'kegagalan'.

Pada saat fase terberat tiba, relawan ditantang untuk mengekstrak semua 12 item tanpa kesalahan dalam waktu satu menit. Untuk konteksnya, rekor dunia untuk tugas ini, ditetapkan di Inggris pada tahun 2019, berdiri di 12.68 detik.

Skenario Telekonferensi

Terakhir, dalam tes pekerjaan rumah/telekonferensi, para relawan diminta oleh seorang peneliti melalui panggilan MS Teams untuk mengingat kembali kenangan positif dan negatif mereka sendiri. Untuk fase yang paling menegangkan dari skenario ini, sukarelawan diminta untuk mengingat ingatan yang sangat negatif atau sedih dari masa lalu mereka.

Berbagai tugas dan skenario dijalankan dalam urutan acak, dan dikompilasi menjadi kumpulan data khusus berjudul Kumpulan Data Sadar Lingkungan Kerja-Lingkungan-Konteks (WECARE-DB).

Metode dan Pelatihan

Hasil penilaian diri pengguna tentang suasana hati mereka digunakan sebagai kebenaran dasar, dan dipetakan ke dimensi valensi dan gairah. Video eksperimen yang diambil dijalankan melalui deteksi tengara wajah jaringan, dan gambar yang disejajarkan diumpankan ke a jaringan ResNet-18 terlatih pada MempengaruhiNet Himpunan data.

450,000 gambar dari AffectNet, semuanya diambil/diberi label dari internet menggunakan kueri terkait emosi, dianotasi secara manual, kata makalah itu, dengan dimensi valensi dan gairah.

Selanjutnya, para peneliti menyempurnakan jaringan hanya berdasarkan kumpulan data WECARE mereka sendiri pengkodean representasi spektral digunakan untuk meringkas prediksi berbasis bingkai.

Hasil

Performa model dievaluasi pada tiga metrik yang umumnya terkait dengan prediksi pengaruh otomatis: Korelasi Koefisien Konkordansi; Korelasi Koefisien Pearson; dan Root Mean Square Error (RMSE).

Para penulis mencatat bahwa model yang disetel dengan baik pada kumpulan data WECARE mereka sendiri mengungguli ResNet-18, dan menyimpulkan dari sini bahwa cara kita mengatur ekspresi wajah kita sangat berbeda di lingkungan kerja daripada di konteks yang lebih abstrak yang berasal dari penelitian sebelumnya. bahan sumber dari internet.

Mereka menyatakan:

'Melihat tabel kami mengamati bahwa model yang disesuaikan pada WECARE-DB mengungguli model ResNet-18 yang dilatih sebelumnya di [AffectNet], yang menunjukkan bahwa perilaku wajah yang ditampilkan di lingkungan mirip pekerjaan berbeda dibandingkan dengan di -pengaturan Internet liar digunakan dalam AffectNet DB. Oleh karena itu, penting untuk memperoleh kumpulan data dan melatih model untuk mengenali pengaruh wajah dalam pengaturan seperti pekerjaan.'

Mengenai masa depan pengakuan pengaruh dalam pekerjaan, yang dimungkinkan oleh jaringan kamera yang dilatihkan pada karyawan, dan terus-menerus membuat prediksi keadaan emosi mereka, penulis menyimpulkan*:

'Tujuan utamanya adalah untuk menerapkan dan menggunakan model yang dilatih secara real time dan dalam pengaturan kerja nyata untuk memberikan masukan ke sistem pendukung keputusan untuk mempromosikan kesehatan dan kesejahteraan orang-orang selama usia kerja mereka dalam konteks Proyek Usia Kerja UE.'

* Penekanan saya.

† Di sini penulis membuat tiga kutipan:

Pengenalan Emosi otomatis, dimensional, dan Berkelanjutan – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Menjelajahi domain hidup dengan bantuan ambien: tinjauan sistematis – https://link.springer.com/article/10.1007/s12652-016-0374-3
Tinjauan Teknologi Internet of Things untuk Lingkungan Hidup yang Dibantu Sekitar – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Di sini penulis membuat dua kutipan:

Deteksi Kantuk Pengemudi Real-time untuk Sistem Tertanam Menggunakan Model Kompresi Jaringan Syaraf Dalam – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Sistem Deteksi Kantuk Pengemudi Real-Time Menggunakan Fitur Wajah – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532