Rozpoznawanie stresu pracownika poprzez analizę twarzy w pracy

W kontekście zmieniająca się kultura wokół etykiety spotkań Zoom i pojawieniem się Zoom zmęczeniebadacze z Cambridge opublikowali badanie, w którym wykorzystuje uczenie maszynowe do określenia poziomu naszego stresu za pomocą kamery internetowej obsługującej sztuczną inteligencję rejestrującej naszą mimikę twarzy w pracy.

Po lewej stronie środowisko gromadzenia danych z wieloma urządzeniami monitorującymi przeszkolonymi na ochotniku lub do niego podłączonymi; po prawej przykładowa mimika generowana przez osoby badane na różnym poziomie trudności zadania. Źródło: https://arxiv.org/pdf/2111.11862.pdf

Badanie ma na celu analizę afektów (tj. rozpoznawanie emocji) w systemach „Ambient Assistive Living” i prawdopodobnie ma na celu umożliwienie stosowania w takich systemach ram monitorowania wyrazu twarzy opartych na sztucznej inteligencji w oparciu o wideo; Choć w artykule nie rozwinięto tego aspektu, wysiłek badawczy nie ma sensu w żadnym innym kontekście.

Specyficznym założeniem projektu jest nauka wzorców mimiki w środowiskach pracy – w tym ustalenia dotyczące pracy zdalnej – zamiast sytuacji „wypoczynkowych” lub „biernych”, takich jak podróżowanie.

Rozpoznawanie emocji na podstawie twarzy w miejscu pracy

Choć „Ambient Assistive Living” może brzmieć jak program opieki nad osobami starszymi, wcale tak nie jest. Mówiąc o zamierzonych „użytkownikach końcowych”, autorzy stwierdzają*:

„Systemy stworzone z myślą o otaczających, wspomagających środowiskach życia [†] Celem jest umiejętność przeprowadzania zarówno automatycznej analizy afektu, jak i reagowania. Ambientowe życie wspomagane polega na wykorzystaniu technologii informacyjno-komunikacyjnych (ICT) do wspomagania codziennego życia i środowiska pracy ludzi, aby zapewnić im zdrowie i aktywność na dłużej oraz umożliwić im niezależne życie w miarę starzenia się. Zatem, Życie wspomagane w otoczeniu ma na celu ułatwienie pracownikom służby zdrowia, pielęgniarkom, lekarzom, pracownikom fabryk, kierowcom, pilotom, nauczycielom, a także różnym gałęziom przemysłu poprzez wykrywanie, ocenę i interwencję.

„System ma za zadanie określić obciążenie fizyczne, emocjonalne i psychiczne oraz reagować i dostosowywać się w razie potrzeby, na przykład samochód wyposażony w system wykrywania senności może poinformować kierowcę, aby był uważny i zasugerować mu, aby zrobił sobie krótką przerwę aby uniknąć wypadków [††]”.

Połączenia papier jest zatytułowany Wnioskowanie o efekcie twarzy użytkownika w ustawieniach przypominających pracęi pochodzi od trzech badaczy z Laboratorium Inteligencji Afektywnej i Robotyki w Cambridge.

Test kondycji

Ponieważ wcześniejsza praca badania w tej dziedzinie opierały się w dużej mierze na doraźnych zbiorach zdjęć pobranych z Internetu, badacze z Cambridge przeprowadzili lokalne eksperymenty polegające na gromadzeniu danych z 12 ochotnikami z kampusu, 5 mężczyznami i 7 kobietami. Wolontariusze pochodzili z dziewięciu krajów i byli w wieku 22–41 lat.

Celem projektu było odtworzenie trzech potencjalnie stresujących środowisk pracy: biura; fabryczna linia produkcyjna; oraz połączenie telekonferencyjne – takie jak czat grupowy Zoom, który stał się częsta cecha prac domowych od czasu wybuchu pandemii.

Pacjenci byli monitorowani za pomocą różnych środków, w tym trzech kamer, mikrofonu noszonego na szyi Jabra, mikrofonu noszonego na szyi Opaska Empatica (bezprzewodowe urządzenie do noszenia z wieloma czujnikami, oferujące biofeedback w czasie rzeczywistym) oraz czujnik na pałąku Muse 2 (który również oferuje biofeedback). Dodatkowo ochotników poproszono o wypełnienie ankiet i okresową ocenę własnego nastroju.

Nie oznacza to jednak, że przyszłe urządzenia Ambient Assistive Living będą „podłączać” Cię do tego stopnia (choćby ze względu na koszty); cały sprzęt monitorujący inny niż kamera i metody wykorzystywane do gromadzenia danych, w tym pisemne samooceny, mają na celu weryfikację systemów rozpoznawania afektu na podstawie twarzy, które umożliwiają nagrania z kamer.

Zwiększanie presji: scenariusz dotyczący biura

W pierwszych dwóch z trzech scenariuszy („Biuro” i „Fabryka”) wolontariusze rozpoczęli pracę w łatwym tempie, a napięcie stopniowo rosło w czterech fazach, dla każdej z nich były różne rodzaje zadań.

Przy najwyższym poziomie wywołanego stresu ochotnicy musieli także znosić „efekt białego fartucha” wywołany widokiem osoby zaglądającej im przez ramię oraz dodatkowy hałas o natężeniu 85 dB, czyli zaledwie pięć decybeli poniżej limit prawny dla środowiska biurowego w USA oraz dokładny maksymalny limit określony przez Narodowy Instytut Bezpieczeństwa i Higieny Pracy (NIOSH).

W fazie gromadzenia danych przypominającej pracę biurową badani mieli za zadanie zapamiętać poprzednie litery, które pojawiły się na ich ekranie, przy rosnącym poziomie trudności (np. konieczność zapamiętania dwuliterowych sekwencji, które pojawiły się dwa ekrany wcześniej).

Scenariusz fabryczny

Aby symulować środowisko pracy fizycznej, badani zostali poproszeni o zagranie w tę grę Działanie, który rzuca wyzwanie zręczności użytkownika, wymagając od gracza wydobycia małych obiektów z planszy przez wąskie otwory w metalowych oprawach bez dotykania boków, co powoduje wyzwolenie brzęczyka „awarii”.

Zanim nadeszła najtrudniejsza faza, ochotnik miał za zadanie bezbłędnie wyodrębnić wszystkie 12 elementów w ciągu jednej minuty. Dla kontekstu rekord świata w tym zadaniu, ustanowiony w Wielkiej Brytanii w 2019 r., wynosi 12.68 sekundy.

Scenariusz telekonferencji

Na koniec, w teście dotyczącym pracy domowej/telekonferencji, eksperymentator poprosił ochotników za pośrednictwem rozmowy telefonicznej w programie MS Teams, aby przywołali własne pozytywne i negatywne wspomnienia. W najbardziej stresującej fazie tego scenariusza od ochotnika wymagano przypomnienia sobie bardzo negatywnego lub smutnego wspomnienia z niedawnej przeszłości.

Różne zadania i scenariusze wykonano w losowej kolejności i skompilowano w niestandardowy zbiór danych zatytułowany Zestaw danych uwzględniający kontekst roboczy (WECARE-DB).

Metoda i trening

Wyniki samooceny nastroju użytkowników wykorzystano jako podstawową prawdę i przypisano je do wymiarów wartościowości i pobudzenia. Nagrane wideo z eksperymentów zostało poddane detekcji charakterystycznych punktów twarzy sieći wyrównane obrazy przesłane do a Sieć ResNet-18 przeszkolony na AfektNet zestaw danych.

Jak podaje gazeta, 450,000 XNUMX zdjęć z AffectNet, wszystkie pobrane/oznaczone z Internetu za pomocą zapytań związanych z emocjami, zostało ręcznie opatrzonych adnotacjami, podając wymiary wartościowości i pobudzenia.

Następnie badacze udoskonalili sieć w oparciu wyłącznie o własny zbiór danych WECARE kodowanie reprezentacji widmowej wykorzystano do podsumowania przewidywań opartych na ramkach.

Efekt

Wydajność modelu oceniano na podstawie trzech wskaźników powszechnie kojarzonych z automatycznym przewidywaniem afektu: Korelacja współczynnika zgodności; Korelacja współczynnika Pearsona; oraz błąd średniokwadratowy (RMSE).

Autorzy zauważają, że model dostrojony na ich własnym zbiorze danych WECARE osiągnął lepsze wyniki niż ResNet-18 i wnioskują z tego, że sposób, w jaki kontrolujemy naszą mimikę, bardzo różni się w środowisku pracy niż w bardziej abstrakcyjnych kontekstach, z których wynikały wcześniejsze badania materiały źródłowe z Internetu.

Stwierdzają:

„Patrząc na tabelę, zauważamy, że model dostrojony w WECARE-DB działał lepiej niż model ResNet-18 wstępnie przeszkolony w [AffectNet], co wskazuje, że zachowania twarzy widoczne w środowiskach przypominających pracę są inne w porównaniu z modelem w -wild Ustawienia internetowe wykorzystywane w AffectNet DB. Dlatego konieczne jest zdobycie zbiorów danych i wytrenowanie modeli rozpoznawania afektu twarzy w sytuacjach przypominających pracę”.

Odnosząc się do przyszłości rozpoznawania afektów w miejscu pracy, które umożliwia sieć kamer skierowanych na pracowników i stale prognozujących ich stany emocjonalne, autorzy podsumowują*:

„Ostatecznym celem jest wdrożenie i wykorzystanie wyszkolonych modeli w czasie rzeczywistym i w rzeczywistych warunkach pracy, aby zapewnić wkład do systemów wspomagania decyzji w celu promowania zdrowia i dobrego samopoczucia ludzi w wieku produkcyjnym w kontekście Projekt UE dotyczący wieku produkcyjnego.'

*Moje podkreślenie.

† Tutaj autorzy podają trzy cytaty:

Automatyczne, wymiarowe i ciągłe rozpoznawanie emocji – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Odkrywanie domeny życia wspomaganego otoczeniem: przegląd systematyczny – https://link.springer.com/article/10.1007/s12652-016-0374-3
Przegląd technologii Internetu rzeczy dla środowisk życia wspomaganych przez otoczenie – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† W tym miejscu autorzy podają dwa cytaty:

Wykrywanie senności sterowników w czasie rzeczywistym dla systemów wbudowanych przy użyciu kompresji modelu głębokich sieci neuronowych – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
System wykrywania senności kierowcy w czasie rzeczywistym za pomocą cech twarzy – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532