Rozpoznání stresu zaměstnanců pomocí analýzy obličeje v práci

V kontextu měnící se kultura kolem Zoom-etiketa setkání a vznik Únava přiblížení, výzkumníci z Cambridge zveřejnili studii, která využívá strojové učení k určení naší úrovně stresu prostřednictvím pokrytí naší mimiky při práci pomocí webové kamery s umělou inteligencí.

Vlevo prostředí pro shromažďování dat s několika monitorovacími zařízeními, která jsou buď cvičena na dobrovolníkovi nebo jsou k němu připojena; vpravo ukázkové výrazy obličeje generované testovanými subjekty na různých úrovních obtížnosti úkolu. Zdroj: https://arxiv.org/pdf/2111.11862.pdf

Výzkum je určen pro analýzu vlivů (tj. rozpoznávání emocí) v systémech 'Ambient Assistive Living' a je pravděpodobně navržen tak, aby v takových systémech umožňoval rámce pro sledování výrazu obličeje založené na AI; ačkoli tento článek tento aspekt nerozvádí, výzkumné úsilí nedává smysl v žádném jiném kontextu.

Specifickým cílem projektu je naučit se vzorce mimiky v pracovních prostředích – včetně dohod o práci na dálku – spíše než „volný čas“ nebo „pasivní“ situace, jako je cestování.

Rozpoznávání emocí podle obličeje na pracovišti

I když „Ambient Assistive Living“ může znít jako schéma péče o seniory, není tomu tak. Když už mluvíme o zamýšlených „koncových uživatelích“, autoři uvádějí*:

„Systémy vytvořené pro okolní podpůrná životní prostředí [†] Cílem je být schopen provádět jak automatickou analýzu vlivů, tak i reakce. Ambientní asistenční život spoléhá na využívání informačních a komunikačních technologií (ICT), které pomáhají lidem v každodenním životě a práci, aby byli déle zdravější a aktivní a umožnili jim žít nezávisle, jak stárnou. Tím pádem, ambientní asistenční život si klade za cíl usnadnit zdravotnickým pracovníkům, zdravotním sestrám, lékařům, továrním dělníkům, řidičům, pilotům, učitelům a také různým průmyslovým odvětvím prostřednictvím snímání, hodnocení a intervence..

„Systém je určen k tomu, aby určil fyzickou, emocionální a duševní zátěž a reagoval a přizpůsobil se podle potřeby, například vůz vybavený systémem detekce ospalosti může řidiče informovat, aby byl pozorný, a může mu navrhnout, aby si udělal malou přestávku. aby nedošlo k nehodám [††].“

Projekt papír je s názvem Odvození vlivu na obličej uživatele v pracovních nastaveních, a pochází od tří výzkumníků z Affective Intelligence & Robotics Lab v Cambridge.

Zkušební podmínky

Od předchozí práce v této oblasti do značné míry závisela na ad hoc sbírkách obrázků seškrábaných z internetu, provedli výzkumníci z Cambridge místní experimenty se sběrem dat s 12 dobrovolníky z kampusu, 5 mužů a 7 žen. Dobrovolníci pocházeli z devíti zemí a byli ve věku 22–41 let.

Cílem projektu bylo znovu vytvořit tři potenciálně stresující pracovní prostředí: kancelář; tovární výrobní linka; a telekonferenční hovor – jako je typ skupinového chatu Zoom, který se stal a častý rys domácích prací od příchodu pandemie.

Subjekty byly sledovány různými prostředky, včetně tří kamer, mikrofonu Jabra na krku, an Náramek Empatica (bezdrátové vícesenzorové nositelné zařízení nabízející biofeedback v reálném čase) a snímač Muse 2 s čelenkou (který také nabízí biofeedback). Kromě toho byli dobrovolníci požádáni, aby vyplnili průzkumy a pravidelně sami hodnotili svou náladu.

To však neznamená, že budoucí zařízení Ambient Assistive Living vás v takovém rozsahu „zapojí“ (i když jen z cenových důvodů); všechna nekamerová monitorovací zařízení a metody používané při shromažďování dat, včetně písemných sebehodnocení, jsou určeny k ověření systémů rozpoznávání vlivů na obličeji, které umožňují kamerové záznamy.

Zvyšování tlaku: Kancelářský scénář

V prvních dvou ze tří scénářů („Kancelář“ a „Továrna“) byli dobrovolníci odstartováni snadným tempem, přičemž tlak se postupně zvyšoval ve čtyřech fázích, s různými typy úkolů pro každou z nich.

Při nejvyšší úrovni vyvolaného stresu museli dobrovolníci také vydržet „efekt bílého pláště“ někoho, kdo se jim díval přes rameno, plus 85 dB dodatečného hluku, což je jen o pět decibelů níže zákonný limit pro kancelářské prostředí v USA a přesný maximální limit stanovený Národním institutem pro bezpečnost a ochranu zdraví při práci (NIOSH).

Ve fázi shromažďování dat jako v kanceláři měly subjekty za úkol zapamatovat si předchozí písmena, která blikala na jejich obrazovce, se zvyšující se úrovní obtížnosti (například si museli pamatovat sekvence dvou písmen, které se objevily před dvěma obrazovkami).

Tovární scénář

Pro simulaci prostředí manuální práce byly subjekty požádány, aby hru hrály Operace, který zpochybňuje zručnost uživatele tím, že vyžaduje, aby hráč vytahoval malé předměty z hrací desky úzkými otvory s kovovým okrajem, aniž by se dotýkal stran, což spustí bzučák „selhání“.

V době, kdy přišla nejtěžší fáze, byl dobrovolník vyzván, aby během jedné minuty bez chyby vydoloval všech 12 položek. Pro kontext, světový rekord pro tento úkol, stanovený ve Spojeném království v roce 2019, stojí 12.68 sekundy.

Scénář telekonferencí

Nakonec byli dobrovolníci v testu domácí práce/telekonference požádáni experimentátorem během hovoru MS Teams, aby si vybavili své vlastní pozitivní a negativní vzpomínky. Pro nejvíce stresující fázi tohoto scénáře si dobrovolník musel vybavit velmi negativní nebo smutnou vzpomínku z nedávné minulosti.

Různé úkoly a scénáře byly provedeny v náhodném pořadí a zkompilovány do vlastní datové sady s názvem Working-Environment-Context-Aware Dataset (WECARE-DB).

Metoda a školení

Výsledky sebehodnocení uživatelů jejich nálady byly použity jako základní pravda a mapovány do dimenzí valence a vzrušení. Zachycené video experimentů prošlo detekcí orientačních bodů obličeje síťa zarovnané obrazy přivedené do a síť ResNet-18 trénoval na AffectNet datový soubor.

450,000 XNUMX obrázků z AffectNet, všechny nakreslené/označené z internetu pomocí dotazů souvisejících s emocemi, bylo ručně anotováno, uvádí noviny, s rozměry valence a vzrušení.

Dále výzkumníci zdokonalili síť pouze na základě jejich vlastního datového souboru WECARE kódování spektrální reprezentace byl použit ke shrnutí předpovědí na základě rámců.

výsledky

Výkonnost modelu byla hodnocena na třech metrikách běžně spojovaných s automatizovanou predikcí vlivu: korelační koeficient shody; korelace Pearsonova koeficientu; a Root Mean Square Error (RMSE).

Autoři poznamenávají, že model vyladěný na jejich vlastním datovém souboru WECARE překonal ResNet-18, a z toho vyvozují, že způsob, jakým řídíme výrazy obličeje, se v pracovním prostředí velmi liší od abstraktnějších kontextů, z nichž předchozí studie vycházely. zdrojový materiál z internetu.

Uvádějí:

„Při pohledu na tabulku vidíme, že model vyladěný na WECARE-DB překonal model ResNet-18 předem trénovaný na [AffectNet], což naznačuje, že chování obličeje zobrazené v pracovním prostředí je jiné než v prostředí -nastavení divokého internetu použitá v databázi AffectNet. Je tedy nutné získat datové soubory a trénovat modely pro rozpoznání obličejových efektů v pracovních podmínkách.“

Pokud jde o budoucnost rozpoznávání pracovních vlivů, které umožňují sítě kamer vyškolených u zaměstnanců a neustále předpovídají jejich emoční stavy, autoři uzavírají*:

„Konečným cílem je implementovat a používat trénované modely v reálném čase a v reálném pracovním prostředí, aby poskytly vstup do systémů na podporu rozhodování s cílem podpořit zdraví a pohodu lidí během jejich produktivního věku v kontextu Projekt EU v produktivním věku.'

* Můj důraz.

† Zde autoři uvádějí tři citace:

Automatické, rozměrové a kontinuální rozpoznávání emocí – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Zkoumání oblasti asistovaného života: systematický přehled – https://link.springer.com/article/10.1007/s12652-016-0374-3
Přehled technologií internetu věcí pro asistované životní prostředí – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Zde autoři uvádějí dvě citace:

Detekce ospalosti ovladače v reálném čase pro vestavěný systém pomocí modelové komprese hlubokých neuronových sítí – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Systém detekce nespavosti řidiče v reálném čase využívající funkce obličeje – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532