Αναζήτηση για «Γουλέδες και Σαύρες» σε ένα Κοινό Διαφημίσεων

Καθώς ο διαδικτυακός τομέας διαφήμισης υπολογίζεται ότι έχει δαπανήσει 740,3 δισεκατομμύρια δολάρια ΗΠΑ το 2023, είναι εύκολο να κατανοηθεί γιατί οι εταιρείες διαφήμισης επενδύουν σημαντικά σε αυτήν την ιδιαίτερη γραμμή έρευνας της υπολογιστικής όρασης.

Αν και είναι απομονωμένη και προστατευμένη, η βιομηχανία δημοσιεύει περιστασιακά μελέτες που υπονοούν πιο προηγμένα ιδιόκτητα έργα σε αναγνώριση προσώπου και κατεύθυνσης ματιών – συμπεριλαμβανομένης της αναγνώρισης ηλικίας, κεντρικής για στατιστικά στοιχεία δημογραφικής ανάλυσης:

Η εκτίμηση της ηλικίας σε ένα περιβάλλον διαφήμισης στο άγριο είναι ενδιαφέρον για διαφημιστές που μπορεί να στοχεύουν σε μια συγκεκριμένη ηλικιακή δημογραφική. Πηγή: https://arxiv.org/pdf/1906.03625

Αυτές οι μελέτες, οι οποίες σπάνια εμφανίζονται σε δημόσιες αποθήκες όπως το Arxiv, χρησιμοποιούν νόμιμα ενταγμένους συμμετέχοντες ως βάση για ανάλυση που διευθύνεται από την τεχνητή νοημοσύνη, με στόχο να καθορίσει σε ποιο βαθμό και με ποιο τρόπο ο θεατής ασχολείται με μια διαφήμιση.

Το Ιστογράμμα Οριζόντων (HoG) του Dlib χρησιμοποιείται συχνά σε συστήματα εκτίμησης προσώπου. Πηγή: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Ζωικό Ενστικτό

Σε αυτό το πλαίσιο, φυσικά, η βιομηχανία διαφήμισης ενδιαφέρεται για την καθόριση των ψευδών θετικών (περιπτώσεις όπου ένα αναλυτικό σύστημα ερμηνεύει λανθασμένα τις ενέργειες ενός υποκειμένου) και για την καθιέρωση σαφών κριτηρίων για όταν ο άνθρωπος που βλέπει τις διαφημίσεις τους δεν ασχολείται πλήρως με το περιεχόμενο.

Όσον αφορά τη διαφήμιση βασισμένη σε οθόνη, οι μελέτες τείνουν να εστιάζουν σε δύο προβλήματα σε δύο περιβάλλοντα. Τα περιβάλλοντα είναι ‘εγκατάσταση’ ή ‘κινητό’, κάθε ένα από τα οποία έχει ιδιαίτερα χαρακτηριστικά που απαιτούν εξειδικευμένες λύσεις παρακολούθησης· και τα προβλήματα – από την πλευρά του διαφημιζομένου – αντιπροσωπεύονται από συμπεριφορά γουλέδων και σαύρων – την τάση των θεατών να μην προσφέρουν πλήρη προσοχή σε μια διαφήμιση που είναι μπροστά τους.

Παραδείγματα συμπεριφοράς ‘Γκουλέ’ και ‘Σαύρας’ σε ένα υποκείμενο ενός ερευνητικού έργου διαφήμισης. Πηγή: https://arxiv.org/pdf/1508.04028

Εάν κοιτάτε μακριά από τη διαφήμιση που προορίζεται για σας με ολόκληρη την κεφαλή σας, αυτό είναι ‘συμπεριφορά γουλέ’. Εάν η στάση της κεφαλής σας είναι στατική αλλά τα μάτια σας περιπλανιούνται μακριά από την οθόνη, αυτό είναι ‘συμπεριφορά σαύρας’. Σε όρους αναλυτικών και δοκιμών νέων διαφημίσεων υπό ελεγχόμενα περιβάλλοντα, αυτές είναι απαραίτητες ενέργειες για ένα σύστημα να能够 να τις καταγράψει.

Μια νέα εργασία από την Affectiva της SmartEye αντιμετωπίζει αυτά τα ζητήματα, προσφέροντας μια αρχιτεκτονική που αξιοποιεί διάφορα υπάρχοντα πλαίσια για να παρέχει ένα συνδυασμένο και συνδεδεμένο σύνολο χαρακτηριστικών σε όλα τα απαραίτητα περιβάλλοντα και πιθανές αντιδράσεις – και να μπορεί να πει αν ένας θεατής είναι βαρεμένος, ασχολημένος ή σε κάποιο τρόπο απομακρυσμένος από το περιεχόμενο που ο διαφημιστής θέλει να δει.

Παραδείγματα αληθών και ψευδών θετικών που ανιχνεύονται από το νέο σύστημα προσοχής για διάφορους σήματα αποσπάσεων, που εμφανίζονται ξεχωριστά για επιτραπέζιες και κινητές συσκευές. Πηγή: https://arxiv.org/pdf/2504.06237

Οι συγγραφείς δηλώνουν*:

‘Περιορισμένη έρευνα έχει διεισδύσει στην παρακολούθηση της προσοχής κατά τη διάρκεια διαδικτυακών διαφημίσεων. Αν και αυτές οι μελέτες επικεντρώθηκαν στην εκτίμηση της στάσης της κεφαλής ή της κατεύθυνσης του βλέμματος για να αναγνωρίσουν περιπτώσεις αποσπάσεων, παραβλέπουν κρίσιμα παραμέτρους όπως ο τύπος συσκευής (εγκατάσταση ή κινητό), η τοποθέτηση της κάμερας σχετικά με την οθόνη και το μέγεθος της οθόνης. Αυτά τα στοιχεία επηρεάζουν σημαντικά την ανίχνευση προσοχής. ‘

‘Σε αυτό το έγγραφο, προτείνουμε μια αρχιτεκτονική για την ανίχνευση προσοχής που περιλαμβάνει την ανίχνευση διάφορων αποσπαστικών, συμπεριλαμβανομένων και των δύο συμπεριφορών γουλέδων και σαύρων της ματιάς εκτός οθόνης, ομιλίας, νυσταγμού (μέσω γέλιου και παρατεταμένης κλείσης των ματιών) και εγκατάλειψης οθόνης. ‘

‘Σε αντίθεση με προηγούμενες προσεγγίσεις, η μέθοδός μας ενσωματώνει συσκευαστικές ιδιότητες όπως ο τύπος συσκευής, η τοποθέτηση της κάμερας, το μέγεθος της οθόνης (για επιτραπέζιες συσκευές) και η προσανατολισμός της κάμερας (για κινητές συσκευές) με την εκτίμηση της ματιάς για να βελτιώσει την ακρίβεια της ανίχνευσης προσοχής.’

Η νέα εργασία έχει τον τίτλο Παρακολούθηση της Προσοχής του Θεατή κατά τη Διάρκεια Διαδικτυακών Διαφημίσεων και προέρχεται από τέσσερις ερευνητές της Affectiva.

Μέθοδος και Δεδομένα

Λόγω του μυστικού και κλειστού χαρακτήρα τέτοιων συστημάτων, η νέα εργασία δεν συγκρίνει την προσέγγιση των συγγραφέων απευθείας με τους ανταγωνιστές, αλλά παρουσιάζει τα ευρήματά της αποκλειστικά ως μελέτες αφαίρεσης· ούτε η εργασία ακολουθεί γενικά το συνηθισμένο φορμάτ της βιβλιογραφίας της Υπολογιστικής Όρασης. Έτσι, θα εξετάσουμε την έρευνα όπως παρουσιάζεται.

Οι συγγραφείς τονίζουν ότι μόνο एक περιορισμένος αριθμός μελετών έχει αντιμετωπίσει την ανίχνευση προσοχής συγκεκριμένα στο πλαίσιο διαδικτυακών διαφημίσεων. Στο AFFDEX SDK, το οποίο προσφέρει πραγματική ανίχνευση πολλαπλών προσώπων, η προσοχή υπονοείται αποκλειστικά από την στάση της κεφαλής, με τους συμμετέχοντες που επισημαίνονται ως αμελείς εάν η γωνία της κεφαλής τους υπερβεί einen καθορισμένο κατώφλι.

Παράδειγμα από το AFFDEX SDK, ένα σύστημα της Affectiva που βασίζεται στην στάση της κεφαλής ως δείκτη προσοχής. Πηγή: https://www.youtube.com/watch?v=c2CWb5jHmbY

Στη συνεργασία του 2019 Αυτόματη Μέτρηση της Οπτικής Προσοχής σε Βίντεο Περιεχόμενο με τη Βοήθεια της Τεχνητής Νοημοσύνης, ένα σύνολο δεδομένων περίπου 28.000 συμμετεχόντων αναγνωρίστηκε για διάφορες αμελείς συμπεριφορές, συμπεριλαμβανομένων ματιάς μακριά, κλείσμματος των ματιών ή ασχολίας με ακαδημαϊκές δραστηριότητες, και ένα μοντέλο CNN-LSTM εκπαιδεύτηκε για να ανιχνεύσει προσοχή από την εμφάνιση του προσώπου με την πάροδο του χρόνου.

Από το έγγραφο του 2019, ένα παράδειγμα που εικονογραφεί τις προβλεπόμενες καταστάσεις προσοχής για έναν θεατή που βλέπει βίντεο περιεχόμενο. Πηγή: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Ωστόσο, οι συγγραφείς παρατηρούν ότι αυτές οι προηγούμενες προσπάθειες δεν έλαβαν υπόψη παραμέτρους συσκευής, όπως εάν ο συμμετέχων χρησιμοποιούσε επιτραπέζια ή κινητή συσκευή· ούτε λάβαν υπόψη το μέγεθος της οθόνης ή την τοποθέτηση της κάμερας. Επιπλέον, το σύστημα AFFDEX εστιάζει μόνο στην ανίχνευση αποσπάσεων ματιάς και παραλείπει άλλες πηγές αποσπάσεων, ενώ η εργασία του 2019 προσπαθεί να ανιχνεύσει ένα ευρύτερο σύνολο συμπεριφορών – αλλά η χρήση ενός μόνο ρηχού CNN μπορεί, όπως αναφέρει το έγγραφο, να ήταν ανεπαρκής για αυτήν την εργασία.

Οι συγγραφείς παρατηρούν ότι κάποια από τις πιο δημοφιλείς έρευνες σε αυτήν τη γραμμή δεν είναι βελτιστοποιημένες για δοκιμές διαφημίσεων, οι οποίες έχουν διαφορετικές ανάγκες σε σύγκριση με τομείς όπως η οδήγηση ή η εκπαίδευση – όπου η τοποθέτηση και η καλιμπράρισή της κάμερας είναι συνήθως σταθερές από πριν, αντί να βασίζονται σε μη καλιμπραρισμένα σύνολα, και να λειτουργούν μέσα στο περιορισμένο εύρος ματιάς των επιτραπέζιων και κινητών συσκευών.

Έτσι, έχουν σχεδιάσει μια αρχιτεκτονική για την ανίχνευση προσοχής του θεατή κατά τη διάρκεια διαδικτυακών διαφημίσεων, αξιοποιώντας δύο εμπορικά εργαλεία: AFFDEX 2.0 και SmartEye SDK.

Παραδείγματα ανάλυσης προσώπου από το AFFDEX 2.0. Πηγή: https://arxiv.org/pdf/2202.12059

Αυτά τα προηγούμενα έργα εξάγουν χαμηλού επιπέδου χαρακτηριστικά όπως εκφράσεις προσώπου, στάση κεφαλής και κατεύθυνση ματιάς. Αυτά τα χαρακτηριστικά επεξεργάζονται για να παράγουν υψηλού επιπέδου δείκτες, συμπεριλαμβανομένης της θέσης της ματιάς στην οθόνη· του γέλιου· και της ομιλίας.

Το σύστημα αναγνωρίζει τέσσερις τύπους αποσπάσεων: ματιά εκτός οθόνης; νυσταγμός; ομιλία; και αμελείς οθόνες. Επίσης, προσαρμόζει την ανάλυση της ματιάς ανάλογα με το εάν ο θεατής είναι σε επιτραπέζια ή κινητή συσκευή.

Δεδομένα: Ματιά

Οι συγγραφείς χρησιμοποίησαν τέσσερα σύνολα δεδομένων για να ενεργοποιήσουν και να αξιολογήσουν το σύστημα ανίχνευσης προσοχής: τρία που επικεντρώνονται ξεχωριστά στη συμπεριφορά της ματιάς, της ομιλίας και του γέλιου· και ένα τέταρτο που προέρχεται από πραγματικές συνεδρίες δοκιμών διαφημίσεων που περιέχουν eine ποικιλία τύπων αποσπάσεων.

Λόγω των συγκεκριμένων απαιτήσεων της εργασίας, δημιουργήθηκαν προσαρμοσμένα σύνολα δεδομένων για κάθε μια από αυτές τις κατηγορίες. Όλα τα σύνολα δεδομένων που δημιουργήθηκαν προέρχονταν από μια ιδιόκτητη αποθήκη που περιείχε εκατομμύρια καταγεγραμμένες συνεδρίες συμμετεχόντων που παρακολουθούσαν διαφημίσεις σε οικιακά ή εργασιακά περιβάλλοντα, χρησιμοποιώντας μια διαδικτυακή εγκατάσταση, με ενημερωμένη συναίνεση – και λόγω των περιορισμών αυτών των συμφωνητικών συναίνεσης, οι συγγραφείς δηλώνουν ότι τα σύνολα δεδομένων για τη νέα εργασία δεν μπορούν να δημοσιευτούν δημόσια.

Για να κατασκευάσουν το σύνολο δεδομένων ματιάς, οι συμμετέχοντες ζητήθηκαν να ακολουθήσουν einen κινητό σημείο σε διάφορες θέσεις στην οθόνη, συμπεριλαμβανομένων των άκρων, και στη συνέχεια να κοιτάξουν μακριά από την οθόνη σε τέσσερις κατευθύνσεις (πάνω, κάτω, αριστερά και δεξιά) με την ακολουθία να επαναλαμβάνεται τρεις φορές. Με αυτόν τον τρόπο, καθορίστηκε η σχέση μεταξύ της λήψης και της κάλυψης:

Στιγμιότυπα που δείχνουν το ερέθισμα βίντεο ματιάς σε (α) επιτραπέζιες και (β) κινητές συσκευές. Τα πρώτα και τρίτα πλαίσια εμφανίζουν οδηγίες για να ακολουθήσετε einen κινητό σημείο, ενώ το δεύτερο και τέταρτο.prompt τους συμμετέχοντες να κοιτάξουν μακριά από την οθόνη.

Τα τμήματα του κινητού σημείου επισημαίνονταν ως αμελείς, και τα τμήματα εκτός οθόνης ως αμελείς, παράγοντας ένα επισημασμένο σύνολο δεδομένων και θετικών και αρνητικών παραδειγμάτων.

Κάθε βίντεο διαρκούσε περίπου 160 δευτερόλεπτα, με ξεχωριστές εκδόσεις που δημιουργήθηκαν για επιτραπέζιες και κινητές πλατφόρμες, каждая με ανάλυση 1920×1080 και 608×1080, αντίστοιχα.

Συνολικά, συλλέχθηκαν 609 βίντεο, αποτελούμενα από 322 επιτραπέζιες και 287 κινητές ηχογραφήσεις. Οι ετικέτες εφαρμόστηκαν αυτόματα με βάση το περιεχόμενο του βίντεο, και το σύνολο δεδομένων διαχωρίστηκε σε 158 δείγματα εκπαίδευσης και 451 για δοκιμή.

Δεδομένα: Ομιλία

Σε αυτό το πλαίσιο, ένα από τα κριτήρια που ορίζουν ‘αμέλεια’ είναι όταν ένας άνθρωπος μιλάει για περισσότερο από ένα δευτερόλεπτο (που θα μπορούσε να είναι μια στιγμιαία σχόλιο, ή ακόμη και ένα βήχα).

Καθώς το ελεγχόμενο περιβάλλον δεν καταγράφει ή αναλύει ήχο, η ομιλία υπονοείται από την εσωτερική κίνηση των εκτιμώμενων ορίων του προσώπου. Έτσι, για να ανιχνεύσουν ομιλία χωρίς ήχο, οι συγγραφείς δημιούργησαν ένα σύνολο δεδομένων που βασίζεται αποκλειστικά σε οπτική είσοδο, drawn από την εσωτερική τους αποθήκη, και χωρίστηκε σε δύο μέρη: το πρώτο από αυτά περιείχε περίπου 5.500 βίντεο, κάθε ένα από τα οποία είχε επισημανθεί χειροκίνητα από τρεις annotators ως είτε ομιλία είτε όχι (από αυτά, 4.400 χρησιμοποιήθηκαν για εκπαίδευση και επαλήθευση, και 1.100 για δοκιμή).

Το δεύτερο αποτελούσε 16.000 συνεδρίες που επισημαίνονταν αυτόματα με βάση τον τύπο της συνεδρίας: 10.500 συμμετέχοντες σιωπηλά παρακολουθούσαν διαφημίσεις, και 5.500 έδειχναν συμμετέχοντες που εξέφραζαν γνώμες για μάρκες.

Δεδομένα: Γέλιο

Ενώ υπάρχουν κάποια σύνολα δεδομένων γέλιου, συμπεριλαμβανομένων YawDD και Διερεύνηση της Κόπωσης του Οδηγού, οι συγγραφείς ισχυρίζονται ότι κανένα από αυτά δεν είναι κατάλληλο για σενάρια δοκιμών διαφημίσεων,既然 αυτά είτε παρουσιάζουν προσομοιωμένα γέλια ή περιέχουν σφιγμένα πρόσωπα που θα μπορούσαν να συγχυστούν με φόβο ή άλλες, μη γελιαστικές ενέργειες.

Έτσι, οι συγγραφείς χρησιμοποίησαν 735 βίντεο από την εσωτερική τους συλλογή, επιλέγοντας συνεδρίες που πιθανότατα περιείχαν πτώση σαγονιού που διαρκούσε περισσότερο από ένα δευτερόλεπτο. Κάθε βίντεο επισημαίνονταν χειροκίνητα από τρεις annotators ως είτε ενεργό είτε ανενεργό γέλιο. Μόνο το 2,6% των πλαισίων περιείχαν ενεργό γέλιο, υπογραμμίζοντας την ανισορροπία των τάξεων, και το σύνολο δεδομένων χωρίστηκε σε 670 δείγματα εκπαίδευσης και 65 για δοκιμή.

Δεδομένα: Αποσπάσματα

Το σύνολο δεδομένων αποσπάσεων επίσης προέρχονταν από την αποθήκη δοκιμών διαφημίσεων των συγγραφέων, όπου οι συμμετέχοντες είχαν δει πραγματικές διαφημίσεις χωρίς καμία ανατεθμένη εργασία. Συνολικά, 520 συνεδρίες (193 σε κινητές και 327 σε επιτραπέζιες περιβάλλοντα) επιλέχθηκαν τυχαία και επισημαίνονταν χειροκίνητα από τρεις annotators ως είτε αμελείς είτε αμελείς.

Η αμελείς συμπεριφορές περιελάμβαναν ματιά εκτός οθόνης, ομιλία, νυσταγμός, και αμελείς οθόνες. Οι συνεδρίες εκτείνονταν σε διάφορες περιοχές σε όλο τον κόσμο, με τις ηχογραφήσεις επιτραπέζιων συσκευών να είναι πιο συχνές, λόγω της ευέλικτης τοποθέτησης της κάμερας.

Μοντέλα Προσοχής

Το προτεινόμενο μοντέλο προσοχής επεξεργάζεται χαμηλού επιπέδου οπτικά χαρακτηριστικά, δηλαδή εκφράσεις προσώπου· στάση κεφαλής· και κατεύθυνση ματιάς – εξαγόμενα μέσω των προαναφερθέντων AFFDEX 2.0 και SmartEye SDK.

Αυτά τα χαρακτηριστικά μετατρέπονται σε υψηλού επιπέδου δείκτες, με κάθε αποσπάστρα να χειρίζεται ένα ξεχωριστό δυαδικό ταξινομητή που εκπαιδεύεται στο δικό του σύνολο δεδομένων για ανεξάρτητη βελτιστοποίηση και αξιολόγηση.

Σχήμα του προτεινόμενου συστήματος παρακολούθησης.

Το μοντέλο ματιάς καθορίζει εάν ο θεατής κοιτάζει στην οθόνη ή μακριά από αυτήν χρησιμοποιώντας κανονικοποιημένες συντεταγμένες ματιάς, με ξεχωριστή καλιμπράρισή για επιτραπέζιες και κινητές συσκευές. Αυτή τη διαδικασία βοηθά ένας γραμμικός Support Vector Machine (SVM), εκπαιδευμένος σε χωρικά και χρονικά χαρακτηριστικά, που ενσωματώνει ένα παράθυρο μνήμης για να λειαίνει τα γρήγορα κινήματα ματιάς.

Για να ανιχνεύσουν ομιλία χωρίς ήχο, το σύστημα χρησιμοποίησε περικομμένες περιοχές στόματος και einen 3D-CNN εκπαιδευμένο σε ομιλητικά και μη ομιλητικά τμήματα βίντεο. Οι ετικέτες ανατέθηκαν με βάση τον τύπο της συνεδρίας, με χρονική λείανση που μειώνει τα ψευδής θετικά που μπορούν να προκύψουν από σύντομες κινήσεις του στόματος.

Γέλιο ανιχνεύτηκε χρησιμοποιώντας πλήρη εικόνες προσώπου, για να καταγράψει ευρύτερη κίνηση προσώπου, με einen 3D-CNN εκπαιδευμένο σε χειροκίνητα επισημασμένα πλαισία (αν και η εργασία ήταν δυσχερής λόγω της χαμηλής συχνότητας του γέλιου σε φυσική προβολή και της ομοιότητάς του με άλλες εκφράσεις).

Αμελείς οθόνες αναγνωρίστηκαν μέσω της απουσίας ενός προσώπου ή ακραίας στάσης κεφαλής, με προβλέψεις που γίνονταν από einen δέντρο αποφάσεων.

Τελική κατάσταση προσοχής καθορίστηκε χρησιμοποιώντας einen σταθερό κανόνα: εάν οποιοδήποτε μοντέλο ανίχνευε αμέλεια, ο θεατής σημειωνόταν ως αμελής – μια προσέγγιση που προτιμά την ευαισθησία και ρυθμίζεται ξεχωριστά για επιτραπέζιες και κινητές περιπτώσεις.

Δοκιμές

Όπως αναφέρθηκε νωρίτερα, οι δοκιμές ακολουθούν μια αφαίρεση, όπου τα συστατικά αφαιρούνται και η επίδραση στο αποτέλεσμα σημειώνεται.

Διάφορες κατηγορίες ανιχνευμένων αμελείων που αναγνωρίστηκαν στη μελέτη.

Το μοντέλο ματιάς ανίχνευε την ματιά εκτός οθόνης μέσω τριών βασικών βημάτων: κανονικοποίηση των εκτιμώμενων ματιών, λεπτομέρεια της έξοδου και εκτίμηση μεγέθους οθόνης για επιτραπέζιες συσκευές.

Για να κατανοήσουν τη σημασία κάθε συστατικού, οι συγγραφείς αφαιρούν αυτά τα συστατικά ξεχωριστά και αξιολογούν την απόδοση σε 226 επιτραπέζια και 225 κινητά βίντεο που προέρχονται από δύο σύνολα δεδομένων. Τα αποτελέσματα, μετρημένα από G-mean και F1 σκορ, εμφανίζονται παρακάτω:

Αποτελέσματα που δείχνουν την απόδοση του πλήρους μοντέλου ματιάς, μαζί με εκδόσεις με αφαίρεση των μεμονωμένων βημάτων επεξεργασίας.

Σε κάθε περίπτωση, η απόδοση μειώνεται όταν ένα βήμα παραλείπεται. Η κανονικοποίηση αποδείχθηκε ιδιαίτερα χρήσιμη στις επιτραπέζιες συσκευές, όπου η τοποθέτηση της κάμερας ποικίλλει περισσότερο από τις κινητές συσκευές.

Η μελέτη αξιολόγησε επίσης πώς οι οπτικές ιδιότητες προέβλεψαν την προσανατολισμό της κάμερας σε κινητές συσκευές: η θέση του προσώπου, η στάση της κεφαλής και η ματιά σημείωσαν 0,75, 0,74 και 0,60, ενώ η συνδυασμένη τους έφτασε στο 0,91, υπογραμμίζοντας – όπως δηλώνουν οι συγγραφείς – το πλεονέκτημα της ενσωμάτωσης πολλαπλών ενδείξεων.

Το μοντέλο ομιλίας, εκπαιδευμένο σε κατακόρυφη απόσταση χειλιών, έφτασε σε einen ROC-AUC 0,97 στο χειροκίνητα επισημασμένο σύνολο δοκιμών και 0,96 στο μεγαλύτερο αυτόματα επισημασμένο σύνολο δεδομένων, δείχνοντας σταθερή απόδοση και στα δύο.

Το μοντέλο γέλιου έφτασε σε einen ROC-AUC 96,6% χρησιμοποιώντας μόνο την αναλογία στόματος, η οποία βελτιώθηκε στο 97,5% όταν συνδυάστηκε με προβλέψεις μονάδων δράσης από το AFFDEX 2.0.

Το μοντέλο αμελείων οθονών ταξινόμησε στιγμές ως αμελείς όταν και το AFFDEX 2.0 και το SmartEye απέτυχαν να ανιχνεύσουν ένα πρόσωπο για περισσότερο από ένα δευτερόλεπτο. Για να αξιολογήσουν τη.validity αυτού, οι συγγραφείς χειροκίνητα επισημάνανε όλα τα τέτοια γεγονότα ‘χωρίς πρόσωπο’ στο πραγματικό σύνολο δεδομένων αποσπάσεων, αναγνωρίζοντας την υποκείμενη αιτία κάθε ενεργοποίησης. Αμφίβολες περιπτώσεις (όπως εμπόδιο κάμερας ή διαστρέβλωση βίντεο) εξαιρέθηκαν από την ανάλυση.

Όπως φαίνεται στα αποτελέσματα του πίνακα παρακάτω, μόνο το 27% των ενεργοποιήσεων ‘χωρίς πρόσωπο’ οφείλονταν σε χρήστες που είχαν φυσικά εγκαταλείψει την οθόνη.

Διάφορες λόγοι για τους οποίους ένα πρόσωπο δεν βρέθηκε, σε ορισμένες περιπτώσεις.

Το έγγραφο δηλώνει:

‘Παρά το γεγονός ότι οι αμελείς οθόνες αποτελούσαν μόνο το 27% των περιπτώσεων που ενεργοποιούσαν το σήμα ‘χωρίς πρόσωπο’, αυτό ενεργοποιήθηκε για άλλους λόγους που δείχνουν αμέλεια, όπως οι συμμετέχοντες που κοιτάζουν μακριά από την οθόνη με ακραία γωνία, κάνουν υπερβολική κίνηση, ή καλύπτουν σημαντικά το πρόσωπό τους με ένα αντικείμενο/χέρι.’

Στην τελευταία από τις ποσοτικές δοκιμές, οι συγγραφείς αξιολόγησαν πώς η σταδιακή προσθήκη διαφορετικών σημάτων αποσπάσεων – ματιά εκτός οθόνης (μέσω ματιάς και στάσης κεφαλής), νυσταγμός, ομιλία και αμελείς οθόνες – επηρέασε την συνολική απόδοση του μοντέλου προσοχής.

Οι δοκιμές διεξήχθησαν σε δύο σύνολα δεδομένων: το πραγματικό σύνολο δεδομένων αποσπάσεων και ένα υποσύνολο του συνόλου δεδομένων ματιάς. G-mean και F1 σκορ χρησιμοποιήθηκαν για να μετρήσουν την απόδοση (αν και ο νυσταγμός και η ομιλία εξαιρέθηκαν από την ανάλυση του συνόλου δεδομένων ματιάς, λόγω της περιορισμένης τους σχετικότητας σε αυτό το πλαίσιο).

Όπως φαίνεται παρακάτω, η ανίχνευση προσοχής βελτιώθηκε συνεχώς καθώς προστέθηκαν περισσότεροι τύποι αποσπάσεων, με ματιά εκτός οθόνης, τον πιο συχνό αποσπαστικό, να παρέχει την ισχυρότερη βάση.

Η επίδραση της προσθήκης διαφορετικών σημάτων αποσπάσεων στην αρχιτεκτονική.

Από αυτά τα αποτελέσματα, το έγγραφο δηλώνει:

‘Από τα αποτελέσματα, μπορούμε πρώτα να συμπεράνουμε ότι η ενσωμάτωση όλων των σημάτων αποσπάσεων συνεισφέρει στην ενίσχυση της ανίχνευσης προσοχής.

‘Δεύτερον, η βελτίωση στην ανίχνευση προσοχής είναι συνεχής και στις επιτραπέζιες και στις κινητές συσκευές. Τρίτον, οι κινητές συνεδρίες στο πραγματικό σύνολο δεδομένων δείχνουν σημαντικές κινήσεις κεφαλής όταν κοιτάζουν μακριά, οι οποίες ανιχνεύονται εύκολα, οδηγώντας σε υψηλότερη απόδοση για κινητές συσκευές σε σύγκριση με τις επιτραπέζιες. Τέταρτον, η προσθήκη του σήματος νυσταγμού έχει σχετικά μικρή βελτίωση σε σύγκριση με άλλα σήματα, καθώς είναι σπάνιο να συμβεί. ‘

‘Τέλος, το σήμα αμελείων οθονών έχει σχετικά μεγαλύτερη βελτίωση σε κινητές συσκευές σε σύγκριση με τις επιτραπέζιες, καθώς οι κινητές συσκευές μπορούν να αφήνονται εύκολα αμελείς.’

Οι συγγραφείς επίσης σύγκριναν το μοντέλο τους με το AFFDEX 1.0, einem προηγούμενο σύστημα που χρησιμοποιείται σε δοκιμές διαφημίσεων – και ακόμη και η τρέχουσα εκδοχή του μοντέλου ανίχνευσης ματιάς με βάση την κεφαλή υπερέβη το AFFDEX 1.0 και στις δύο τύπους συσκευών:

‘Αυτή η βελτίωση είναι αποτέλεσμα της ενσωμάτωσης κινήσεων κεφαλής και στις δύο κατευθύνσεις yaw και pitch, καθώς και της κανονικοποίησης της στάσης της κεφαλής για να ληφθούν υπόψη μικρές αλλαγές. Οι έντονες κινήσεις κεφαλής στο πραγματικό σύνολο δεδομένων για κινητές συσκευές είχαν ως αποτέλεσμα το μοντέλο κεφαλής να εκτελεστεί παρόμοια με το AFFDEX 1.0.’

Οι συγγραφείς κλείνουν το έγγραφο με μια (ίσως κάπως τελεσίδικη) ποιοτική δοκιμή, που εμφανίζεται παρακάτω.

Δείγματα εξόδου από το μοντέλο προσοχής σε επιτραπέζιες και κινητές συσκευές, με κάθε σειρά που παρουσιάζει δείγματα αληθών και ψευδών θετικών για διαφορετικούς τύπους αποσπάσεων.

Οι συγγραφείς δηλώνουν:

‘Τα αποτελέσματα δείχνουν ότι το μοντέλο μας ανιχνεύει αποτελεσματικά διάφορους αποσπαστικούς σε μη ελεγχόμενα περιβάλλοντα. Ωστόσο, μπορεί να παράγει ψευδής θετικά σε ορισμένες ακραίες περιπτώσεις, όπως έντονη κλίση κεφαλής ενώ διατηρείται η ματιά στην οθόνη, ορισμένες οκκλουσίες του στόματος, εξαιρετικά θολά μάτια ή έντονα σκοτεινά πρόσωπα. ‘

Συμπέρασμα

Ενώ τα αποτελέσματα αντιπροσωπεύουν μια μετρημένη αλλά σημαντική πρόοδο σε σχέση με προηγούμενη εργασία, η βαθύτερη αξία της μελέτης βρίσκεται στην εικόνα που προσφέρει για την επιμονή να αποκτήσει πρόσβαση στην εσωτερική κατάσταση του θεατή. Αν και τα δεδομένα συλλέχθηκαν με συναίνεση, η μεθοδολογία δείχνει προς μελλοντικά πλαίσια που θα μπορούσαν να εκτεθούν πέρα από δομημένα, έρευνα αγοράς περιβάλλοντα.

Αυτός ο κάπως παρανοϊκός結 luận ενισχύεται από τον απομονωμένο, περιορισμένο και προστατευμένο χαρακτήρα αυτής της ιδιαίτερης γραμμής έρευνας.

* Η μετατροπή των εσωτερικών παραπομπών των συγγραφέων σε υπερσυνδέσμους.

Πρώτη δημοσίευση την Τετάρτη, 9 Απριλίου 2025