Recunoașterea stresului la angajați prin analiză facială la locul de muncă

În contextul schimbării culturii din jurul etichetei Zoom pentru întâlniri de lucru și al apariției oboselii Zoom, cercetători de la Cambridge au publicat o studiu care utilizează învățarea automată pentru a determina nivelurile noastre de stres prin intermediul analizei faciale realizate de camerele web activate de IA la locul de muncă.

În stânga, mediul de colectare a datelor, cu echipamente de monitorizare multiple antrenate pe sau atașate la un voluntar; în dreapta, exemple de expresii faciale generate de subiecții de test la niveluri diferite de dificultate a sarcinilor. Sursa: https://arxiv.org/pdf/2111.11862.pdf

Cercetarea este destinată analizei afectului (adică, recunoașterii emoțiilor) în sistemele “Ambient Assistive Living” și, presupunem, este proiectată pentru a permite cadre video bazate pe IA pentru monitorizarea expresiilor faciale în astfel de sisteme; deși articolul nu dezvoltă acest aspect, efortul de cercetare nu are sens în niciun alt context.

Domeniul specific al proiectului este de a învăța modele de expresii faciale în medii de lucru – inclusiv aranjamente de lucru la distanță – și nu în situații “de agrement” sau “pasive”, cum ar fi călătoriile.

Recunoașterea emoțiilor bazată pe față în locul de muncă

În timp ce “Ambient Assistive Living” poate suna a un plan de îngrijire pentru vârstnici, nu este deloc cazul. Vorbind despre “utilizatorii finali” intenți, autorii afirmă*:

‘Sistemele create pentru medii de asistență ambientală [†] au ca scop să poată efectua atât analiza afectului automat, cât și răspunsul. Asistența ambientală se bazează pe utilizarea tehnologiei informației și a comunicațiilor (TIC) pentru a ajuta la mediul de viață și de muncă al unei persoane pentru a o menține sănătoasă și activă mai mult timp și pentru a-i permite să trăiască independent pe măsură ce îmbătrânește. Astfel, asistența ambientală are ca scop să faciliteze lucrătorilor din domeniul sănătății, asistenților medicali, medicilor, lucrătorilor din fabrici, șoferilor, piloților, profesorilor, precum și diferitelor industrii prin intermediul senzorilor, evaluării și intervenției.

‘Sistemul are ca scop să determine efortul fizic, emoțional și mintal și să răspundă și să se adapteze după cum este necesar, de exemplu, o mașină echipată cu un sistem de detectare a somnolenței poate informa șoferul să fie atent și îi poate sugera să facă o mică pauză pentru a evita accidentele [††].’

Articolul articolul se intitulează Inferring User Facial Affect in Work-like Settings și provine de la trei cercetători de la Laboratorul de Inteligență Afectivă și Robotică de la Cambridge.

Condiții de test

Deoarece lucrările anterioare în acest domeniu s-au bazat în mare măsură pe colecții ad-hoc de imagini extrase de pe internet, cercetătorii de la Cambridge au efectuat experimente de colectare locală a datelor cu 12 voluntari de pe campus, 5 bărbați și 7 femei. Voluntarii proveneau din nouă țări și aveau vârste cuprinse între 22 și 41 de ani.

Proiectul a urmărit să recrieze trei medii de lucru potențial stresante: un birou; o linie de producție dintr-o fabrică; și o apel teleconferință – asemănătoare cu tipul de chat de grup Zoom care a devenit o caracteristică frecventă a muncii de acasă de la apariția pandemiei.

Subiecții au fost monitorizați prin diverse mijloace, inclusiv trei camere, un microfon Jabra purtat pe gât, o brățară Empatica (un dispozitiv purtabil wireless cu mai mulți senzori care oferă feedback bio în timp real), și o bandă senzor Muse 2 (care oferă de asemenea feedback bio). În plus, voluntarii au fost rugați să completeze chestionare și să-și evalueze starea de spirit periodic.

Cu toate acestea, acest lucru nu înseamnă că viitoarele sisteme “Ambient Assistive Living” vor “conecta” în acest mod (dacă nu pentru motive de cost); toate echipamentele de monitorizare non-cameră și metodele utilizate în colectarea datelor, inclusiv autoevaluările scrise, au scopul de a verifica sistemele de recunoaștere a afectului bazate pe față activate de camere.

Crescerea presiunii: Scenariul biroului

În primele două scenarii (“Birou” și “Fabrică”), voluntarii au început la un ritm ușor, cu presiunea crescând treptat pe parcursul a patru faze, cu tipuri diferite de sarcini pentru fiecare.

La nivelul cel mai ridicat de stres indus, voluntarii au trebuit să suporte și “efectul halatului alb” al cuiva care se uită peste umărul lor, plus 85 de decibeli de zgomot suplimentar, ceea ce este cu cinci decibeli sub limita legală pentru un mediu de birou din Statele Unite și limita maximă specificată de Institutul Național pentru Siguranță și Sănătate Ocupațională (NIOSH).

În faza de colectare a datelor asemănătoare biroului, subiecții au fost însărcinați să-și amintească literele anterioare care au apărut pe ecranul lor, cu niveluri crescute de dificultate (cum ar fi amintirea secvențelor de două litere care au apărut cu două ecrane în urmă).

Scenariul fabricii

Pentru a simula un mediu de muncă manuală, subiecții au fost rugați să joace jocul Operation, care provoacă abilitățile motorii ale jucătorului prin cerința de a extrage obiecte mici dintr-o placă prin deschizături înguste, metalice, fără a atinge marginile, eveniment care declanșează un “buzzer” de eșec.

Până la faza cea mai dificilă, voluntarul a fost provocat să extragă toate cele 12 obiecte fără eroare într-un minut. Ca punct de referință, recordul mondial pentru această sarcină, stabilit în Regatul Unit în 2019, se situează la 12,68 secunde.

Scenariul de teleconferință

În final, în testul de lucru de acasă/teleconferință, voluntarilor li s-a cerut de către un experimentator prin apel MS Teams să-și amintească amintirile lor pozitive și negative. Pentru faza cea mai stresantă a acestui scenariu, voluntarului i s-a cerut să-și amintească o amintire foarte negativă sau tristă din trecutul recent.

Diversele sarcini și scenarii au fost executate în ordine aleatorie și compilate într-o bază de date cu titlul Working-Environment-Context-Aware Dataset (WECARE-DB).

Metodă și antrenament

Rezultatele autoevaluărilor stării de spirit ale utilizatorilor au fost utilizate ca adevăr de referință și au fost mapate pe dimensiunile valenței și ale trezirii. Videoclipurile capturate ale experimentelor au fost rulate printr-o rețea de detectare a punctelor de reper faciale rețea, iar imaginile aliniate au fost introduse într-o rețea ResNet-18 antrenată pe baza de date AffectNet.

450.000 de imagini din AffectNet, toate extrase și etichetate din internet folosind întrebări legate de emoții, au fost annotate manual, afirmă articolul, cu dimensiuni de valență și trezire.

Ulterior, cercetătorii au rafinat rețeaua doar pe baza propriei baze de date WECARE, în timp ce încodarea reprezentării spectrale a fost utilizată pentru a rezuma predicțiile bazate pe cadre.

Rezultate

Performanța modelului a fost evaluată pe trei metrice asociate în mod obișnuit cu predicția afectului automat: Coeficientul de concordanță; Coeficientul de corelație Pearson; și Eroarea medie pătratică (RMSE).

Autorii notează că modelul reglat pe baza propriei baze de date WECARE a depășit rețeaua ResNet-18 și deduc din acest lucru că modul în care guvernează expresiile noastre faciale este foarte diferit într-un mediu de lucru decât în contextele mai abstracte din care studiile anterioare au derivat materialul sursă de pe internet.

Ei afirmă:

‘Privind tabela, observăm că modelul reglat pe WECARE-DB a depășit modelul ResNet-18 preantrenat pe [AffectNet], ceea ce indică faptul că comportamentele faciale afișate în medii de lucru sunt diferite în comparație cu setările “în sălbăticie” de pe internet utilizate în baza de date AffectNet. Astfel, este necesar să se obțină seturi de date și să se antreneze modele pentru recunoașterea afectului facial în medii de lucru.’

În ceea ce privește viitorul recunoașterii afectului la locul de muncă, facilitat de rețele de camere antrenate pe angajați și care fac predicții constante despre stările lor emoționale, autorii concluzionează*:

‘Scopul final este de a implementa și utiliza modelele antrenate în timp real și în medii de lucru reale pentru a furniza intrări pentru sistemele de sprijin decizional care promovează sănătatea și bunăstarea oamenilor pe durata vieții lor active în contextul Proiectului de vârstă activă al UE.’

* Accentuarea mea.

† Aici autorii fac trei citări:

Recunoașterea automată, dimensională și continuă a emoțiilor – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Explorarea domeniului asistenței ambientale: o revizuire sistematică – https://link.springer.com/article/10.1007/s12652-016-0374-3
O revizuire a tehnologiilor Internetului lucrurilor pentru medii de asistență ambientală – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Aici autorii fac două citări:

Detectarea în timp real a somnolenței șoferului pentru sisteme înglobate, utilizând comprimarea modelului de rețele neuronale profunde – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Sistem de detectare în timp real a somnolenței șoferului, utilizând caracteristici faciale – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532