Το AI Αποκαλύπτει το Κρυφό Συμπεριφορικό Πρότυπο που Αποκαλύπτεται από τα Κενά Τοίχους

Μια έρευνα συνεργασίας, που περιλαμβάνει συντελεστές από την NVIDIA και το MIT, έχει αναπτύξει μια μέθοδο μηχανικής μάθησης που μπορεί να αναγνωρίσει κρυφούς ανθρώπους απλώς παρατηρώντας την έμμεση φωτισμό σε ένα κοντινό τοίχο, ακόμη και όταν οι άνθρωποι δεν βρίσκονται κοντά στις πηγές φωτισμού. Η μέθοδος έχει ακρίβεια κοντά στο 94% όταν προσπαθεί να αναγνωρίσει τον αριθμό των κρυφών ανθρώπων και μπορεί επίσης να αναγνωρίσει την συγκεκριμένη δραστηριότητα ενός κρυφού ατόμου με τη μαζική ενίσχυση των ανακλώσεων του φωτός που είναι αόρατες για τα ανθρώπινα μάτια και για τις τυπικές μεθόδους ενίσχυσης εικόνας.

Ανακαλύψιμες διαταραχές του φωτός, ενισχυμένες από τη νέα μέθοδο, η οποία χρησιμοποιεί συνελικτικές νευρωνικές δικτυώσεις για να αναγνωρίσει περιοχές αλλαγής. Πηγή: https://www.youtube.com/watch?v=K4PapXyX-bI

Το νέο έγγραφο έχει τον τίτλο Τι μπορείτε να μάθετε κοιτάζοντας ένα κενό τοίχο, με συντελεστές από την NVIDIA και το MIT, καθώς και το Ισραηλινό Ινστιτούτο Τεχνολογίας.

Προηγούμενες προσεγγίσεις για το “βλέπω γύρω από τους τοίχους” βασίζονταν σε ελεγχόμενες πηγές φωτός ή σε προηγούμενη γνώση γνωστών πηγών οσκληρότητας, ενώ η νέα τεχνική μπορεί να γενικευτεί σε οποιοδήποτε νέο δωμάτιο, χωρίς να απαιτεί επαναρυθμίσεις. Τα δύο συνελικτικά νευρωνικά δίκτυα που αναγνωρίζουν κρυφούς ανθρώπους χρησιμοποιούν δεδομένα που προέρχονται από μόνο 20 σκηνές.

Το πρότζεκτ έχει ως στόχο τις υψηλού κινδύνου, κρίσιμες για την ασφάλεια καταστάσεις, για επιχειρήσεις έρευνας και διάσωσης, γενικές επιχειρήσεις επιτήρησης της αστυνομίας, σενάρια έκτακτης ανάγκης, για την ανίχνευση πτώσεων μεταξύ ηλικιωμένων ανθρώπων και ως μέσο για την ανίχνευση κρυφών πεζών για αυτονομούς οχήματα.

Παθητική Αξιολόγηση

Όπως συχνά συμβαίνει με τα προγράμματα υπολογιστικής όρασης, η κεντρική εργασία ήταν να αναγνωρίσει, να ταξινομήσει και να λειτουργήσει τις αντιληπτές αλλαγές στην ροή εικόνας. Η συνένωση των αλλαγών οδηγεί σε μοναδικά πρότυπα που μπορούν να χρησιμοποιηθούν είτε για να αναγνωρίσουν τον αριθμό των ατόμων είτε για να ανιχνεύσουν τη δραστηριότητα ενός ή περισσότερων ατόμων.

Το έργο ανοίγει την πιθανότητα για πλήρως παθητική αξιολόγηση της σκηνής, χωρίς την ανάγκη να χρησιμοποιηθούν ανακλαστικές επιφάνειες, σигνάλς Wi-Fi, ραρ, ήχος ή οποιαδήποτε άλλη “ειδική περίπτωση” που απαιτείται σε άλλες ερευνητικές προσπάθειες των τελευταίων ετών που έχουν ως στόχο να καθορίσουν την κρυφή ανθρώπινη παρουσία σε ένα επικίνδυνο ή κρίσιμο περιβάλλον.

Μια δειγματική σκηνή συλλογής δεδομένων του τύπου που χρησιμοποιήθηκε για τη νέα έρευνα. Τα αντικείμενα τοποθετούνται προσεκτικά ώστε να μην ρίχνουν σκιές ή να οκκλουδούν άμεσα τις πηγές φωτός, και δεν επιτρέπονται ανακλαστικές επιφάνειες ή άλλες “παράνομες” διαδρομές. Πηγή: https://arxiv.org/pdf/2108.13027.pdf

Επίδραση, το περιβάλλον φως για την τυπική σκηνή που προβλέπεται για την εφαρμογή θα υπερβεί οποιαδήποτε ελάσσων διαταραχή που προκαλείται από το αντανακλωμένο φως από τους ανθρώπους που κρύβονται αλλού στη σκηνή. Οι ερευνητές υπολογίζουν ότι η συμβολή της διαταραχής του φωτός των ατόμων θα είναι συνήθως λιγότερο από 1% του συνολικού ορατού φωτός.

Αφαίρεση Στατικού Φωτισμού

Για να εξαγάγει την κίνηση από την εμφανώς στατική εικόνα του τοίχου, είναι απαραίτητο να υπολογιστεί ο χρονικός μέσος όρος του βίντεο και να αφαιρεθεί από κάθε καρέ. Τα αποτελέσματα είναι συνήθως κάτω από το όριο θορύβου ακόμη και για καλή ποιότητα εξοπλισμού βίντεο, και στην πραγματικότητα μεγάλο μέρος της κίνησης συμβαίνει μέσα σε ένα αρνητικό χώρο pixel.

Για να θεραπεύσουν αυτό, οι ερευνητές υποδείγματα το βίντεο με einen παράγοντα 16 και ανεβάζουν το αποτέλεσμα με einen παράγοντα 50, ενώ προσθέτουν ένα μεσαίο γκρι επίπεδο βάσης για να διακρίνουν την παρουσία αρνητικών pixel (που δεν θα μπορούσαν να λογαριαστούν από τη θόρυβο του αισθητήρα βίντεο).

Η διαφορά μεταξύ της ανθρώπινης αντίληψης του τοίχου και της εξαγμένης διαταραχής των κρυφών ατόμων.既然 η ποιότητα της εικόνας είναι ένα κεντρικό ζήτημα σε αυτή την έρευνα, παρακαλώ αναφερθείτε στο επίσημο βίντεο στο τέλος του άρθρου για μια υψηλότερη ποιότητα εικόνας.

Το παράθυρο ευκαιρίας για να αντιληφθεί η κίνηση είναι πολύ εύθραυστο και μπορεί να επηρεαστεί ακόμη και από το σφάλμα των φωτών σε συχνότητα 60 Hz AC.，因此, αυτή η φυσική διαταραχή πρέπει επίσης να αξιολογηθεί και να αφαιρεθεί από το βίντεο πριν εμφανιστεί η κίνηση που προκαλείται από τα άτομα.

Τέλος, το σύστημα παράγει διαγράμματα χώρου-χρόνου που σήμανουν einen συγκεκριμένο αριθμό κρυφών κατοίκων του δωματίου – διακριτά οπτικά σήματα:

Σήματα διαγράμματος χώρου-χρόνου που αντιπροσωπεύουν διαφορετικούς αριθμούς κρυφών ανθρώπων σε ένα δωμάτιο.

Διαφορετικές ανθρώπινες δραστηριότητες θα οδηγήσουν επίσης σε σήματα διαταραχής που μπορούν να ταξινομηθούν και να αναγνωριστούν:

Τα σήματα διαγράμματος χώρου-χρόνου για την αδράνεια, το περπάτημα, το κάθισμα, το χτύπημα των χεριών και το άλμα.

Για να παράγει ένα αυτοματοποιημένο ροή μηχανικής μάθησης για την αναγνώριση κρυφών ατόμων, χρησιμοποιήθηκαν ποικίλα βίντεο από 20 κατάλληλες σκηνές για να εκπαιδεύσουν δύο νευρωνικά δίκτυα που λειτουργούν σε ευρύτερα tương tựτα ρυθμίσεις – ένα για να μετρήσει τον αριθμό των ατόμων σε μια σκηνή και το άλλο για να αναγνωρίσει οποιαδήποτε κίνηση που συμβαίνει.

Δοκιμές

Οι ερευνητές δοκιμάσαν το εκπαιδευμένο σύστημα σε δέκα μη προβλεπόμενες πραγματικές περιπτώσεις που σχεδιάστηκαν για να αναπαράγουν τις περιορισμούς που προβλέπονται για την τελική ανάπτυξη. Το σύστημα ήταν σε θέση να επιτύχει μέχρι και 94,4% ακρίβεια (σε 256 καρέ – συνήθως λίγο πάνω από 8 δευτερόλεπτα βίντεο) στην ταξινόμηση του αριθμού των κρυφών ατόμων και μέχρι και 93,7% ακρίβεια (υπό τις ίδιες συνθήκες) στην ταξινόμηση των δραστηριοτήτων. Αν και η ακρίβεια μειώνεται με λιγότερα πηγή καρέ, δεν είναι μια γραμμική πτώση, και ακόμη και 64 καρέ θα επιτύχουν einen 79,4% ποσοστό ακρίβειας για την “αξιολόγηση του αριθμού των ατόμων” (ενάντια σε σχεδόν 95% για τέσσερις φορές τον αριθμό των καρέ).

Αν και η μέθοδος είναι ανθεκτική στις καιρικές αλλαγές του φωτισμού, δυσκολεύεται σε μια σκηνή που φωτίζεται από μια τηλεόραση, ή σε περιπτώσεις όπου οι άνθρωποι φορούν μονοχρωματικά ρούχα του ίδιου χρώματος με τον ανακλαστικό τοίχο.

Περισσότερες λεπτομέρειες της έρευνας, συμπεριλαμβανομένων υψηλότερης ποιότητας βίντεο των εξαγμένων, μπορούν να δουν στο επίσημο βίντεο παρακάτω.