Αναγνώριση του Στρες των Υπαλλήλων Μέσω Αναλύσεων Προσώπου στην Εργασία

Στο πλαίσιο της αλλαγής του πολιτισμού γύρω από την ετυμηγορία των συναντήσεων Zoom, και την εμφάνιση του κούρασης Zoom, ερευνητές από το Κέιμπριτζ έχουν κυκλοφορήσει μια μελέτη που χρησιμοποιεί τη μάθηση με μηχανές για να καθορίσει τα επίπεδα στρες μας μέσω της ανάλυσης προσώπου μέσω της κάλυψης της κάμερας AI σε εργασία.

Στο αριστερό μέρος, το περιβάλλον συλλογής δεδομένων, με πολλαπλά εξοπλισμό παρακολούθησης είτε εκπαιδευμένο είτε συνδεδεμένο σε ένα εθελοντή· στο δεξί μέρος, παραδείγματα εκφράσεων προσώπου που παράγονται από τους συμμετέχοντες σε διάφορα επίπεδα δυσκολίας εργασιών. Πηγή: https://arxiv.org/pdf/2111.11862.pdf

Η έρευνα προορίζεται για ανάλυση επηρεασμού (δηλ. αναγνώριση συναισθήματος) σε συστήματα “Ambient Assistive Living” και πιθανότατα σχεδιάζεται για να ενεργοποιήσει πλαισιά με βάση το βίντεο AI αναγνώρισης εκφράσεων προσώπου σε τέτοια συστήματα· αν και το έγγραφο δεν επεκτείνει σε αυτό το σημείο, η προσπάθεια έρευνας δεν έχει νόημα σε κανένα άλλο контέκστ.

Το συγκεκριμένο πεδίο της εργασίας είναι να μάθει μοτίβα εκφράσεων προσώπου σε περιβάλλοντα εργασίας – συμπεριλαμβανομένων των τηλεργασιών – και όχι ‘διασκέδαση’ ή ‘παθητικές’ καταστάσεις, όπως το ταξίδι.

Αναγνώριση Συναισθήματος με βάση το Πρόσωπο στην Εργασία

Ενώ το “Ambient Assistive Living” μπορεί να ακούγεται σαν ένα σχέδιο για φροντίδα ηλικιωμένων, αυτό είναι μακριά από την περίπτωση. Μιλώντας για τους προοριζόμενους “τελικούς χρήστες”, οι συγγραφείς δηλώνουν*:

‘Συστήματα που δημιουργούνται για περιβάλλοντα ambient assistive living [†] στοχεύουν να μπορέσουν να εκτελέσουν και αυτόματη ανάλυση επηρεασμού και απάντηση. Το ambient assistive living βασίζεται στη χρήση πληροφοριών και τεχνολογίας επικοινωνιών (ICT) για να βοηθήσει το άτομο στο καθημερινό περιβάλλον εργασίας και ζωής για να τους κρατήσει υγιείς και ενεργούς για μεγαλύτερο χρονικό διάστημα, και να τους επιτρέψει να ζήσουν ανεξάρτητα καθώς μεγαλώνουν. Έτσι, το ambient assistive living στοχεύει να διευκολύνει τους εργαζόμενους υγείας, νοσοκόμες, γιατρούς, εργάτες fabriques, οδηγούς, πιλότους, δασκάλους καθώς και διάφορες βιομηχανίες μέσω αισθήσεων, αξιολόγησης και παρέμβασης.

‘Το σύστημα προορίζεται να καθορίσει τη σωματική, συναισθηματική και νοητική πίεση και να απαντήσει και να προσαρμοστεί όπως και όταν χρειάζεται, για παράδειγμα, ένα αυτοκίνητο εξοπλισμένο με σύστημα ανίχνευσης υπνηλίας μπορεί να ενημερώσει τον οδηγό να είναι προσεκτικός και μπορεί να του προτείνει να κάνει μια μικρή διακοπή για να αποφευχθούν ατυχήματα [††].’

Το έγγραφο έχει τον τίτλο Εξαγωγή Συναισθήματος Χρήστη σε Περιβάλλοντα Εργασίας, και προέρχεται από τρεις ερευνητές στο Affective Intelligence & Robotics Lab στο Κέιμπριτζ.

Συνθήκες Δοκιμών

Από τότε που προηγούμενη εργασία σε αυτό το πεδίο έχει βασιστεί σε μεγάλο βαθμό σε ad hoc συλλογές εικόνων από το διαδίκτυο, οι ερευνητές του Κέιμπριτζ διεξήγαγαν τοπικές πειραματικές συλλογές δεδομένων με 12 εθελοντές του campus, 5 άνδρες και 7 γυναίκες. Οι εθελοντές προέρχονταν από εννέα χώρες και η ηλικία τους ήταν 22-41.

Το έργο στόχευε να αναπαράγει τρία πιθανώς δύσκολα περιβάλλοντα εργασίας: ένα γραφείο· μια γραμμή παραγωγής fabriques· και μια τηλεσυνεδρία – όπως η τηλεσυνεδρία Zoom που έχει γίνει συχνό χαρακτηριστικό της τηλεργασίας από τότε που ξεκίνησε η πανδημία.

Οι συμμετέχοντες παρακολουθούνταν με διάφορους τρόπους, συμπεριλαμβανομένων τριών καμερών, ενός Jabra neck-worn μικροφώνου, ενός Empatica wristband (ένα ασύρματο wearable με πολλαπλά αισθητήρες που προσφέρει πραγματικό χρόνο biofeedback), και ενός Muse 2 headband αισθητήρα (ο οποίος προσφέρει επίσης biofeedback). Επιπλέον, οι εθελοντές ζητήθηκαν να συμπληρώσουν ερωτηματολόγια και να αυτοαξιολογήσουν τη διάθεσή τους περιοδικά.

Ωστόσο, αυτό δεν σημαίνει ότι τα μελλοντικά συστήματα Ambient Assistive Living θα σας “συνδέσουν” σε αυτό το βαθμό (αν και μόνο για λόγους κόστους)· όλα τα μη-καμερών εξοπλισμού και μεθόδων που χρησιμοποιούνται στη συλλογή δεδομένων, συμπεριλαμβανομένων των γραπτών αυτοαξιολογήσεων, προορίζονται να επιβεβαιώσουν τα συστήματα αναγνώρισης συναισθήματος με βάση το πρόσωπο που ενεργοποιούνται από το βίντεο της κάμερας.

Αύξηση της Πίεσης: Η Σκηνή του Γραφείου

Στην πρώτη από τις τρεις σκηνές (‘Γραφείο’ και ‘Fabriques’), οι εθελοντές ξεκίνησαν σε ένα εύκολο ρυθμό, με την πίεση να αυξάνεται σταδιακά σε τέσσερις φάσεις, με διαφορετικά είδη εργασιών για κάθε μια.

Στο υψηλότερο επίπεδο της προκαλούμενης πίεσης, οι εθελοντές έπρεπε επίσης να αντέξουν το ‘λευκό σακάκι’ του κάποιου που κοιτάζει πάνω από τους ώμους, plus 85db επιπλέον θόρυβου, που είναι ακριβώς πέντε δεκάδες κάτω από το νόμιμο όριο για ένα περιβάλλον γραφείου στις ΗΠΑ, και το ακριβές μέγιστο όριο που ορίζεται από το Εθνικό Ινστιτούτο για την Ασφάλεια και την Υγεία στην Εργασία (NIOSH).

Στη φάση συλλογής δεδομένων που μοιάζει με γραφείο, οι συμμετέχοντες ζητήθηκαν να θυμηθούν προηγούμενα γράμματα που είχαν αναβληθεί στην οθόνη τους, με αυξανόμενο επίπεδο δυσκολίας (όπως να θυμηθούν δύο-γράμματα ακολουθίες που συνέβησαν δύο οθόνες πριν).

Η Σκηνή της Fabriques

Για να模拟ήσει ένα περιβάλλον χειρωνακτικής εργασίας, οι συμμετέχοντες ζητήθηκαν να παίξουν το παιχνίδι Operation, που προκαλεί την δεξιοτεχνία του χρήστη απαιτώντας τον παίκτη να εξαγάγει μικρά αντικείμενα από μια πλάκα μέσω στενών, μεταλλικών ραφών χωρίς να αγγίξει τις πλευρές, το οποίο γεγονός προκαλεί ένα ‘αποτυχία’ buzzer.

Μέχρι την πιο δύσκολη φάση, ο εθελοντής προκλήθηκε να εξαγάγει όλα τα 12 αντικείμενα χωρίς λάθος μέσα σε ένα λεπτό. Για контέκστ, το παγκόσμιο ρεκόρ για αυτή τη δουλειά, που καθορίστηκε στο Ηνωμένο Βασίλειο το 2019, σταματά στο 12.68 δευτερόλεπτα.

Η Σκηνή Τηλεσυνεδρίας

Τέλος, στη δοκιμή τηλεργασίας/τηλεσυνεδρίας, οι εθελοντές ζητήθηκαν από έναν πειραματιστή μέσω μιας κλήσης MS Teams να θυμηθούν τις δικές τους θετικές και αρνητικές αναμνήσεις. Για την πιο δύσκολη φάση αυτής της σκηνής, ο εθελοντής ζητήθηκε να θυμηθεί μια πολύ αρνητική ή θλιβερή ανάμνηση από το πρόσφατο παρελθόν.

Οι διάφορες εργασίες και σκηνές εκτελέστηκαν σε τυχαία σειρά και συντάχθηκαν σε ένα προσαρμοσμένο σύνολο δεδομένων με τον τίτλο Working-Environment-Context-Aware Dataset (WECARE-DB).

Μέθοδος και Εκπαίδευση

Τα αποτελέσματα των αυτοαξιολογήσεων των συμμετεχόντων για τη διάθεσή τους χρησιμοποιήθηκαν ως ground truth, και χαρτογραφήθηκαν σε διαστάσεις valence και arousal. Το κατεγραμμένο βίντεο των πειραμάτων διήρκεσε μέσω ενός δικτύου ανίχνευσης σημείων προσώπου δικτύου, και οι εικόνες που ευθυγραμμίστηκαν με ένα ResNet-18 δίκτυο που εκπαιδεύτηκε στο AffectNet σύνολο δεδομένων.

450.000 εικόνες από το AffectNet, όλες σχεδιασμένες/ετικετεμένες από το διαδίκτυο χρησιμοποιώντας συναισθηματικές ερωτήσεις, αναφέρθηκαν, λέει το έγγραφο, με διαστάσεις valence και arousal.

Επόμενο, οι ερευνητές εξευγενίστηκαν το δίκτυο με βάση μόνο το δικό τους WECARE σύνολο δεδομένων, ενώ spectral representation encoding χρησιμοποιήθηκε για να συνοψίσει προβλέψεις με βάση καρέ.

Αποτελέσματα

Η απόδοση του μοντέλου αξιολογήθηκε σε τρεις μετρήσεις που συνήθως σχετίζονται με την αυτόματη πρόβλεψη συναισθήματος: Συντελεστής Συμφωνίας Συσχέτισης· Συντελεστής Συσχέτισης Pearson· και Ρίζα Μέσης Τετραγωνικής Σφάλματος (RMSE).

Οι συγγραφείς σημειώνουν ότι το μοντέλο που εξευγενίστηκε στο δικό τους WECARE σύνολο δεδομένων ξεπέρασε το ResNet-18, και συνάγουν από αυτό ότι ο τρόπος με τον οποίο κυβερνούμε τις εκφράσεις του προσώπου μας είναι πολύ διαφορετικός σε ένα περιβάλλον εργασίας από ότι σε πιο αφηρημένα περιβάλλοντα από τα οποία προηγούμενες μελέτες έχουν παραχθεί από το διαδίκτυο.

Λέει:

‘Κοιτάζοντας τον πίνακα, παρατηρούμε ότι το μοντέλο που εξευγενίστηκε στο WECARE-DB ξεπέρασε το μοντέλο ResNet-18 που προ-εκπαιδεύτηκε στο [AffectNet], υποδεικνύοντας ότι οι συμπεριφορές προσώπου που εμφανίζονται σε περιβάλλοντα εργασίας είναι διαφορετικές σε σύγκριση με τα περιβάλλοντα του διαδικτύου που χρησιμοποιούνται στο AffectNet DB. Έτσι, είναι απαραίτητο να αποκτήσουμε σύνολα δεδομένων και να εκπαιδεύσουμε μοντέλα για την αναγνώριση συναισθήματος σε περιβάλλοντα εργασίας.’

Όσον αφορά το μέλλον της αναγνώρισης συναισθήματος στην εργασία, που ενεργοποιείται από δίκτυα καμερών εκπαιδευμένων στους υπαλλήλους και που κάνουν συνεχώς προβλέψεις για τις συναισθηματικές καταστάσεις τους, οι συγγραφείς συμπεραίνουν*:

‘Ο τελικός στόχος είναι να εφαρμόσουμε και να χρησιμοποιήσουμε τα εκπαιδευμένα μοντέλα σε πραγματικό χρόνο και σε πραγματικά περιβάλλοντα εργασίας για να παρέχουμε είσοδο σε συστήματα υποστήριξης αποφάσεων για την προώθηση της υγείας και του bien-être των ανθρώπων κατά τη διάρκεια της ηλικίας εργασίας τους στο πλαίσιο του EU Working Age Project.’

* Η έμφαση μου.

† Εδώ οι συγγραφείς κάνουν τρεις αναφορές:

Αυτόματη, διαστατική και Συνεχής Αναγνώριση Συναισθήματος – https://ibug.doc.ic.ac.uk/media/uploads/documents/GunesPantic_IJSE_2010_camera.pdf
Εξερεύνηση του τομέα Ambient Assisted Living: μια συστηματική ανασκόπηση – https://link.springer.com/article/10.1007/s12652-016-0374-3
Μια Ανασκόπηση των Τεχνολογιών του Διαδικτύου των Πραγμάτων για Ambient Assisted Living Περιβάλλοντα – https://mdpi-res.com/d_attachment/futureinternet/futureinternet-11-00259/article_deploy/futureinternet-11-00259-v2.pdf

†† Εδώ οι συγγραφείς κάνουν δύο αναφορές:

Αναγνώριση Υπνηλίας Οδηγού σε Πραγματικό Χρόνο για Συστήματα Ενσωματωμένα με τη Χρήση Συμπίεσης Μοντέλων Νευρωνικών Δικτύων – https://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Reddy_Real-Time_Driver_Drowsiness_CVPR_2017_paper.pdf
Σύστημα Αναγνώρισης Υπνηλίας Οδηγού σε Πραγματικό Χρόνο με Χρήση Χαρακτηριστικών Προσώπου – https://www.semanticscholar.org/paper/Real-Time-Driver-Drowsiness-Detection-System-Using-Deng-Wu/1f4b0094c9e70bf7aa287234e0fdb4c764a5c532