Darbuotojo streso atpažinimas atliekant veido analizę darbe

Kontekste besikeičianti kultūra apie Zoom-susitikimo etiketą ir atsiradimą Mastelio nuovargisKembridžo mokslininkai paskelbė tyrimą, kuriame mašininis mokymasis naudojamas mūsų streso lygiui nustatyti naudojant AI įgalintą internetinę kamerą, kuri aprėpia mūsų veido išraiškas darbe.

Kairėje – duomenų rinkimo aplinka su įvairia stebėjimo įranga, apmokyta savanoriui arba prie jo prijungta; dešinėje – veido išraiškų pavyzdžiai, kuriuos sugeneravo bandomųjų įvairaus sudėtingumo užduoties lygiai. Šaltinis: https://arxiv.org/pdf/2111.11862.pdf

Tyrimas skirtas poveikio analizei (ty emocijų atpažinimas). nors šis aspektas neplečiamas, mokslinės pastangos neturi prasmės jokiame kitame kontekste.

Konkretus projekto tikslas – išmokti veido išraiškos raštus darbo aplinkoje – įskaitant nuotolinio darbo susitarimus, o ne „laisvalaikį“ ar „pasyvias“ situacijas, tokias kaip kelionės.

Emocijų atpažinimas pagal veidą darbo vietoje

Nors „Ambient Assistive Living“ gali atrodyti kaip pagyvenusių žmonių priežiūros schema, tai toli gražu ne. Kalbėdami apie numatomus „galutinius vartotojus“, autoriai teigia*:

„Sistemos, sukurtos pagalbinei gyvenamajai aplinkai [†] siekti, kad būtų galima atlikti ir automatinę poveikio analizę, ir reaguoti. Pagalbinio gyvenimo aplinka grindžiama informacinių ir ryšių technologijų (IRT) naudojimu, siekiant padėti žmonėms kasdienėje gyvenimo ir darbo aplinkoje, kad jie ilgiau išliktų sveikesni ir aktyvesni, o senstant galėtų gyventi savarankiškai. Taigi, Aplinkos pagalbinis gyvenimas skirtas palengvinti sveikatos priežiūros darbuotojus, slaugytojus, gydytojus, gamyklų darbuotojus, vairuotojus, pilotus, mokytojus ir įvairias pramonės šakas per jutimą, vertinimą ir įsikišimą..

„Sistema skirta nustatyti fizinę, emocinę ir psichinę įtampą ir prireikus reaguoti bei prisitaikyti, pavyzdžiui, automobilis su mieguistumo aptikimo sistema gali informuoti vairuotoją, kad jis būtų dėmesingas, ir pasiūlyti šiek tiek pailsėti. kad būtų išvengta nelaimingų atsitikimų [††].'

Šios popierius yra tituluojamas Vartotojo veido poveikio numanymas į darbą panašiuose nustatymuose, ir yra iš trijų Kembridžo Affective Intelligence & Robotics Lab tyrėjų.

Bandymo sąlygos

Nuo ankstesnis darbas Šioje srityje daugiausia priklausė nuo ad hoc vaizdų rinkinių, iškrapštytų iš interneto, Kembridžo mokslininkai atliko vietinius duomenų rinkimo eksperimentus su 12 universiteto savanorių, 5 vyrai ir 7 moterys. Savanoriai atvyko iš devynių šalių ir buvo 22–41 metų amžiaus.

Projektu buvo siekiama atkurti tris potencialiai įtemptą darbo aplinką: biurą; gamyklos gamybos linija; ir telekonferencinis skambutis, pvz., toks grupės pokalbis kaip „Zoom“, kuris tapo a dažna savybė namų darbų nuo pandemijos pradžios.

Tiriamieji buvo stebimi įvairiomis priemonėmis, įskaitant tris kameras, Jabra ant kaklo nešiojamą mikrofoną, an Empatica apyrankė (belaidis kelių jutiklių nešiojamasis ryšys, suteikiantis realiojo laiko biologinį grįžtamąjį ryšį) ir „Muse 2“ galvos juostos jutiklis (kuris taip pat siūlo biologinį grįžtamąjį ryšį). Be to, savanorių buvo paprašyta periodiškai atlikti apklausas ir savarankiškai įvertinti savo nuotaiką.

Tačiau tai nereiškia, kad būsimi „Ambient Assistive Living“ įrenginiai jus taip „prijungs“ (jei tik dėl išlaidų); visa ne kameros stebėjimo įranga ir metodai, naudojami renkant duomenis, įskaitant rašytinį savęs vertinimą, yra skirti patikrinti veido poveikio atpažinimo sistemas, kurias įjungia kameros filmuota medžiaga.

Slėgio didinimas: biuro scenarijus

Pirmuosiuose dviejuose iš trijų scenarijų („Biuras“ ir „Gamykla“) savanoriai buvo pradėti dirbti lengvu tempu, spaudimas palaipsniui didėjo per keturis etapus, kiekvienam atliekant skirtingas užduotis.

Esant didžiausiam sukelto streso lygiui, savanoriai taip pat turėjo ištverti „balto chalato efektą“, kai kažkas žiūri jiems per petį, ir 85 db papildomo triukšmo, o tai yra tiesiog. penkiais decibelais žemiau teisinis biuro aplinkos apribojimas JAV ir tikslus didžiausias apribojimas, nurodytas Nacionalinio darbuotojų saugos ir sveikatos instituto (NIOSH).

Į biurą panašioje duomenų rinkimo fazėje tiriamiesiems buvo pavesta prisiminti ankstesnes raides, kurios blykstelėjo jų ekrane, vis sunkiau (pavyzdžiui, turėjo prisiminti dviejų raidžių sekas, įvykusias prieš du ekranus).

Gamyklos scenarijus

Norint imituoti rankų darbo aplinką, tiriamųjų buvo paprašyta žaisti žaidimą Operacija, kuris iššaukia naudotojo miklumą, nes reikalauja, kad žaidėjas ištrauktų mažus daiktus iš lentos per siauras, metaliniais apvadais aptaisytas angas, neliesdamas šonų. Šis įvykis suaktyvina „gedimo“ garsinį signalą.

Atėjus sunkiausiam etapui, savanoris buvo raginamas per vieną minutę be klaidų išgauti visus 12 elementų. Kalbant apie kontekstą, šios užduoties pasaulio rekordas, pasiektas JK 2019 m. yra 12.68 sek.

Telekonferencijos scenarijus

Galiausiai, atliekant namų darbų / telekonferencijos testą, eksperimentuotojas, paskambinęs MS Teams, paprašė savanorių prisiminti savo teigiamus ir neigiamus prisiminimus. Labiausiai įtemptam šio scenarijaus etapu savanoris turėjo prisiminti labai neigiamą ar liūdną prisiminimą iš savo netolimos praeities.

Įvairios užduotys ir scenarijai buvo vykdomi atsitiktine tvarka ir sudaryti į pasirinktinį duomenų rinkinį, pavadintą Darbo aplinkos ir konteksto duomenų rinkinys (WECARE-DB).

Metodas ir mokymas

Vartotojų savianalizės rezultatai buvo naudojami kaip pagrindinė tiesa ir susieti su valentingumo ir susijaudinimo matmenimis. Užfiksuotas eksperimentų vaizdo įrašas buvo paleistas naudojant veido orientyrą tinklas, o sulygiuoti vaizdai pateikiami į a ResNet-18 tinklas treniravosi ant AffectNet duomenų rinkinys.

Straipsnyje rašoma, kad 450,000 XNUMX vaizdų iš AffectNet, visi nupiešti / pažymėti iš interneto naudojant su emocijomis susijusias užklausas, buvo rankiniu būdu anotuoti, nurodant valentingumo ir susijaudinimo matmenis.

Tada mokslininkai patobulino tinklą, remdamiesi tik savo WECARE duomenų rinkiniu spektrinio vaizdavimo kodavimas buvo naudojamas kadru pagrįstoms prognozėms apibendrinti.

rezultatai

Modelio veikimas buvo įvertintas pagal tris metrikas, dažniausiai susijusias su automatiniu poveikio numatymu: atitikties koeficiento koreliacija; Pirsono koeficiento koreliacija; ir Root Mean Square Error (RMSE).

Autoriai pažymi, kad modelis, tiksliai suderintas pagal jų pačių WECARE duomenų rinkinį, pranoko ResNet-18, ir iš to daro išvadą, kad mūsų veido išraiškų valdymas darbo aplinkoje labai skiriasi nuo abstrakčių kontekstų, iš kurių buvo gauti ankstesni tyrimai. šaltinio medžiaga iš interneto.

Jie teigia:

„Žvelgdami į lentelę pastebime, kad WECARE-DB tiksliai suderintas modelis pranoko ResNet-18 modelį, iš anksto apmokytą [AffectNet], o tai rodo, kad į darbą panašioje aplinkoje rodomas veido elgesys skiriasi nuo - laukiniai interneto nustatymai, naudojami AffectNet DB. Taigi būtina gauti duomenų rinkinius ir parengti modelius, kad būtų galima atpažinti veido poveikį darbo aplinkoje.

Kalbant apie ateitį darbinio poveikio atpažinimą, kurį įgalina darbuotojų apmokytų kamerų tinklai ir nuolat prognozuoja jų emocines būsenas, autoriai daro išvadą*:

„Galutinis tikslas yra įdiegti ir naudoti apmokytus modelius realiu laiku ir realioje darbo aplinkoje, kad būtų galima prisidėti prie sprendimų paramos sistemų, skatinančių žmonių sveikatą ir gerovę jų darbingo amžiaus kontekste. ES darbingo amžiaus projektas.'

* Mano pabrėžimas.

† Čia autoriai pateikia tris citatas:

Automatinis, matmenų ir nuolatinis emocijų atpažinimas – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Aplinkos pagalbos gyvenimo srities tyrinėjimas: sisteminga apžvalga – https://link.springer.com/article/10.1007/s12652-016-0374-3
Daiktų interneto technologijų, skirtų pagalbinei gyvenamajai aplinkai, apžvalga – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Čia autoriai pateikia dvi citatas:

Įterptosios sistemos vairuotojo mieguistumo aptikimas realiuoju laiku, naudojant giliųjų neuronų tinklų modelio suspaudimą – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Vairuotojo mieguistumo aptikimo sistema realiuoju laiku naudojant veido savybes – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532