Recunoașterea stresului angajaților prin analiză facială la locul de muncă

În contextul schimbării culturii din jurul etichetei Zoom și al apariției oboselii Zoom, cercetători de la Cambridge au publicat o lucrare care utilizează inteligența artificială pentru a determina nivelul de stres al angajaților prin analiza expresiilor faciale la locul de muncă.

În stânga, mediul de colectare a datelor, cu echipamente de monitorizare multiple antrenate pe sau atașate la un voluntar; în dreapta, exemple de expresii faciale generate de subiecții de test la niveluri diferite de dificultate a sarcinii. Sursă: https://arxiv.org/pdf/2111.11862.pdf

Cercetarea este destinată analizei afecțiunii (adică, recunoașterea emoțiilor) în sistemele de “Asistență Ambientală”, și, probabil, este proiectată pentru a permite implementarea de cadre de monitorizare a expresiilor faciale bazate pe video în astfel de sisteme; deși lucrarea nu extinde acest aspect, efortul de cercetare nu are sens în niciun alt context.

Obiectivul specific al proiectului este de a învăța modelele de expresii faciale în medii de lucru – incluzând aranjamente de lucru la distanță – și nu “odihnă” sau “situații pasive”, cum ar fi călătoriile.

Recunoașterea emoțiilor faciale la locul de muncă

În timp ce “Asistență Ambientală” poate suna ca un sistem pentru îngrijirea bătrânilor, acesta este departe de a fi cazul. Vorbind despre “utilizatorii finali” intenți, autorii afirmă*:

‘Sistemele create pentru medii de asistență ambientală [†] au ca scop să poată efectua atât analiza automată a afecțiunii, cât și răspunsul. Asistența ambientală se bazează pe utilizarea tehnologiei informației și a comunicațiilor (TIC) pentru a ajuta la viața și munca zilnică a unei persoane, pentru a o menține sănătoasă și activă mai mult timp și pentru a-i permite să trăiască independent pe măsură ce îmbătrânește. Astfel, asistența ambientală are ca scop să faciliteze munca lucrătorilor din sănătate, asistenților medicali, medicilor, lucrătorilor din fabrici, șoferilor, piloților, profesorilor, precum și a diferitelor industrii prin intermediul senzorilor, evaluării și intervenției.

‘Sistemul este destinat să determine efortul fizic, emoțional și mental și să răspundă și să se adapteze după cum este necesar, de exemplu, o mașină echipată cu un sistem de detectare a somnolenței poate informa șoferul să fie atent și îi poate sugera să ia o pauză scurtă pentru a evita accidentele [††].’

Lucrarea intitulată Inferring User Facial Affect in Work-like Settings provine de la trei cercetători de la Laboratorul de Inteligență Afectivă și Robotică de la Cambridge.

Condiții de testare

Deoarece lucrările anterioare în acest domeniu s-au bazat în mare măsură pe colecții ad-hoc de imagini extrase de pe internet, cercetătorii de la Cambridge au efectuat experimente locale de colectare a datelor cu 12 voluntari de pe campus, 5 bărbați și 7 femei. Voluntarii proveneau din nouă țări și aveau vârste cuprinse între 22 și 41 de ani.

Proiectul a urmărit să recrieze trei medii de lucru potențial stresante: un birou; o linie de producție dintr-o fabrică; și o apel telefonic – cum ar fi o discuție de grup Zoom care a devenit o caracteristică frecventă a muncii de acasă de la apariția pandemiei.

Subiecții au fost monitorizați prin diverse mijloace, incluzând trei camere, un microfon Jabra purtat la gât, o brățară Empatica (un dispozitiv wireless cu mai mulți senzori care oferă feedback în timp real), și o bandă senzorială Muse 2 (care oferă, de asemenea, feedback în timp real). În plus, voluntarii au fost rugați să completeze chestionare și să-și evalueze periodic starea de spirit.

Cu toate acestea, acest lucru nu înseamnă că viitoarele sisteme de Asistență Ambientală vor “conecta” oamenii în acest mod (chiar și din motive de cost); toate echipamentele de monitorizare non-cameră și metodele utilizate în colectarea datelor, incluzând evaluările scrise și autoevaluările, au fost destinate să verifice sistemele de recunoaștere a expresiilor faciale bazate pe camere.

Creșterea presiunii: Scenariul biroului

În primul dintre cele trei scenarii (‘Birou’ și ‘Fabrică’), voluntarii au început cu o sarcină ușoară, cu presiunea crescând treptat pe parcursul a patru faze, cu tipuri diferite de sarcini pentru fiecare.

La nivelul cel mai ridicat de stres indus, voluntarii au trebuit să suporte, de asemenea, “efectul halatului alb” al cuiva care îi privea peste umăr, plus 85 dB de zgomot suplimentar, care este cu doar cinci decibeli sub limita legală pentru un mediu de birou din SUA și limita exactă specificată de Institutul Național pentru Sănătate și Securitate Ocupațională (NIOSH).

În faza de colectare a datelor asemănătoare cu biroul, subiecții au fost însărcinați să-și amintească literele anterioare care au apărut pe ecranul lor, cu niveluri crescute de dificultate (cum ar fi să-și amintească secvențe de două litere care au apărut cu două ecrane înainte).

Scenariul fabricii

Pentru a simula un mediu de muncă fizică, subiecții au fost rugați să joace jocul Operație, care provoacă abilitățile motorii ale jucătorului prin cerința de a extrage obiecte mici de pe o placă prin deschideri înguste, metalice, fără a atinge marginile, eveniment care declanșează un “buzzer” de eșec.

Până la faza cea mai dificilă, voluntarul a fost provocat să extragă toate cele 12 obiecte fără eroare într-un minut. Pentru context, recordul mondial pentru această sarcină, stabilit în Regatul Unit în 2019, se situează la 12,68 secunde.

Scenariul de teleconferință

În cele din urmă, în testul de muncă de acasă/teleconferință, voluntarii au fost rugați de un experimentator prin apel MS Teams să-și amintească amintirile pozitive și negative. Pentru faza cea mai stresantă a acestui scenariu, voluntarul a fost obligat să-și amintească o amintire foarte negativă sau tristă din trecutul recent.

Diversele sarcini și scenarii au fost executate în ordine aleatorie și compilate într-o bază de date cu titlul Working-Environment-Context-Aware Dataset (WECARE-DB).

Metodă și instruire

Rezultatele autoevaluărilor stării de spirit ale utilizatorilor au fost utilizate ca adevărul de bază și au fost mapate pe dimensiunile valenței și ale excitației. Videoclipurile capturate ale experimentelor au fost rulate printr-o rețea de detectare a punctelor de reper faciale și imaginile aliniate au fost introduse într-o rețea ResNet-18 antrenată pe baza de date AffectNet.

450.000 de imagini din AffectNet, toate extrase și etichetate din internet folosind interogări legate de emoții, au fost annotate manual, afirmă lucrarea.

Ulterior, cercetătorii au rafinat rețeaua doar pe baza propriei baze de date WECARE, în timp ce codarea reprezentării spectrale a fost utilizată pentru a rezuma predicțiile bazate pe cadre.

Rezultate

Performanța modelului a fost evaluată pe trei metrice asociate în mod obișnuit cu predicția automată a afecțiunii: Coeficientul de Corelație Concordance; Coeficientul de Corelație Pearson; și Eroarea Medie Pătratică (RMSE).

Autorii notează că modelul ajustat pe baza propriei baze de date WECARE a depășit modelul ResNet-18 și deduc din acest lucru că modul în care guvernează expresiile noastre faciale este foarte diferit într-un mediu de lucru decât în contextele mai abstracte din care studiile anterioare au derivat materialul sursă de pe internet.

Ei afirmă:

‘Privind tabela, observăm că modelul ajustat pe WECARE-DB a depășit modelul ResNet-18 preantrenat pe [AffectNet], ceea ce indică faptul că comportamentele faciale afișate în medii de lucru sunt diferite în comparație cu setările din sălbăticie de pe internet utilizate în baza de date AffectNet. Astfel, este necesar să se obțină baze de date și să se antreneze modele pentru recunoașterea afecțiunii faciale în medii de lucru.’

În ceea ce privește viitorul recunoașterii afecțiunii la locul de muncă, permis de rețele de camere antrenate pe angajați și care fac predicții constante ale stărilor lor emoționale, autorii concluzionează*:

‘Scopul final este de a implementa și utiliza modelele antrenate în timp real și în medii de lucru reale pentru a furniza intrări pentru sistemele de suport decizional care promovează sănătatea și bunăstarea oamenilor pe durata vieții lor active în contextul Proiectului Vârstei de Muncă al UE.’

* Accentuarea mea.

† Aici autorii fac trei citări:

Recunoașterea automată, dimensională și continuă a emoțiilor – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Explorarea domeniului asistenței ambientale: o revizuire sistematică – https://link.springer.com/article/10.1007/s12652-016-0374-3
O revizuire a tehnologiilor Internetului Lucrurilor pentru medii de asistență ambientală – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Aici autorii fac două citări:

Detectarea în timp real a somnolenței șoferilor pentru sisteme înglobate utilizând comprimarea rețelelor neuronale profunde – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Sistem de detectare a somnolenței șoferilor în timp real utilizând caracteristici faciale – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532