Η τεχνητή νοημοσύνη αποκαλύπτει τη μυστική δραστηριότητα που αποκαλύπτεται από κενές τοίχους

Μια ερευνητική συνεργασία, που περιλαμβάνει συντελεστές από την NVIDIA και το MIT, έχει αναπτύξει μια μέθοδο μηχανικής μάθησης που μπορεί να αναγνωρίσει κρυμμένους ανθρώπους απλώς παρατηρώντας την έμμεση φωτισμό σε ένα κοντινό τοίχο, ακόμη και όταν οι άνθρωποι δεν βρίσκονται κοντά στις πηγές φωτός. Η μέθοδος έχει ακρίβεια κοντά στο 94% όταν προσπαθεί να αναγνωρίσει τον αριθμό των κρυμμένων ανθρώπων και μπορεί επίσης να αναγνωρίσει τη συγκεκριμένη δραστηριότητα ενός κρυμμένου ατόμου με τη μαζική ενίσχυση των ανακλώσεων του φωτός που είναι αόρατες στο ανθρώπινο μάτι και στις τυπικές μεθόδους εικόνας ενίσχυσης.

Αισθητές perturbations του φωτός, ενισχυμένες από τη νέα μέθοδο, που χρησιμοποιεί convolutional νευρωνικά δίκτυα για να αναγνωρίσει περιοχές αλλαγής. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

Το νέο έγγραφο έχει τον τίτλο Τι μπορείτε να μάθετε κοιτάζοντας ένα κενό τοίχο, με συνεισφορές από την NVIDIA και το MIT, καθώς και το Ισραηλινό Ινστιτούτο Τεχνολογίας.

Οι προηγούμενες προσεγγίσεις για να “δείτε γύρω από τους τοίχους” έχουν βασιστεί σε ελεγχόμενες πηγές φωτός ή σε προηγούμενες γνώσεις γνωστών πηγών οκκλουσιόν, ενώ η νέα τεχνική μπορεί να γενικευτεί σε οποιοδήποτε νέο δωμάτιο, χωρίς να απαιτεί επαναρυθμίσεις. Τα δύο convolutional νευρωνικά δίκτυα που αναγνωρίζουν κρυμμένους ανθρώπους χρησιμοποιούν δεδομένα που προέρχονται από μόνο 20 σκηνές.

Το πρότζεκτ έχει ως στόχο τις υψηλού κινδύνου, κρίσιμες για την ασφάλεια καταστάσεις, για επιχειρήσεις έρευνας και διάσωσης, γενικές επιχειρήσεις επιτήρησης της αστυνομίας, καταστάσεις έκτακτης ανάγκης, για την ανίχνευση πτώσεων μεταξύ ηλικιωμένων ανθρώπων και ως μέσο για την ανίχνευση κρυμμένων πεζών για αυτόνομες οχήματα.

Παθητική Αξιολόγηση

Όπως συχνά συμβαίνει με τα προτζεκτ της υπολογιστικής όρασης, η κεντρική εργασία ήταν να αναγνωρίσει, να ταξινομήσει και να λειτουργήσει τις αντιληπτές αλλαγές σε μια ροή εικόνας. Η συνένωση των αλλαγών οδηγεί σε μοναδικά πρότυπα που μπορούν να χρησιμοποιηθούν είτε για να αναγνωρίσουν τον αριθμό των ατόμων είτε για να ανιχνεύσουν τη δραστηριότητα ενός ή περισσότερων ατόμων.

Το έργο ανοίγει τη δυνατότητα για μια πλήρως παθητική αξιολόγηση της σκηνής, χωρίς την ανάγκη να χρησιμοποιηθούν ανακλαστικές επιφάνειες, σήματα Wi-Fi, ραρ, ήχος ή οποιαδήποτε άλλη “ειδική περίπτωση” που απαιτείται σε άλλες ερευνητικές προσπάθειες των τελευταίων ετών που έχουν ως στόχο να καθορίσουν την κρυφή ανθρώπινη παρουσία σε ένα επικίνδυνο ή κρίσιμο περιβάλλον.

Μια δειγματική σκηνή συλλογής δεδομένων του τύπου που χρησιμοποιήθηκε για τη νέα έρευνα. Οι υποκειμένου τοποθετούνται προσεκτικά για να μην ρίχνουν σκιές ή να οκκλουδίζουν άμεσα τα φώτα, και δεν επιτρέπονται ανακλαστικές επιφάνειες ή άλλες ‘παράνομες’ διαδρομές. Source: https://arxiv.org/pdf/2108.13027.pdf

Επιδράσεις, η συνεισφορά του φωτός-διατάραξης των ατόμων θα ήταν τυπικά λιγότερο από 1% του συνολικού ορατού φωτός.

Αφαίρεση Στατικού Φωτισμού

Για να εξαγάγει την κίνηση από την εμφανώς στατική εικόνα του τοίχου, είναι απαραίτητο να υπολογιστεί ο χρονικός μέσος όρος του βίντεο και να αφαιρεθεί από κάθε καρέ. Τα αποτελέσματα πρότυπα κίνησης είναι συνήθως κάτω από το όριο θορύβου ακόμη και για καλής ποιότητας εξοπλισμό βίντεο, και στην πραγματικότητα μεγάλο μέρος της κίνησης συμβαίνει μέσα σε ένα αρνητικό χώρο pixel.

Για να θεραπεύσει αυτό, οι ερευνητές υποδείγνυαν το βίντεο με ένα παράγοντα 16 και ανέβαζαν το αποτέλεσμα βίντεο με ένα παράγοντα 50, ενώ πρόσθεταν ένα μεσαίο-γκρι βάση επίπεδο για να διακρίνουν την παρουσία αρνητικών pixel (που δεν θα μπορούσαν να λογαριαστούν από το θόρυβο του αισθητήρα βίντεο).

Η διαφορά μεταξύ της ανθρώπινης αντίληψης του τοίχου και της εξαγωγής της διατάραξης των κρυμμένων ατόμων.既然 η ποιότητα της εικόνας είναι ένα κεντρικό ζήτημα σε αυτή την έρευνα, παρακαλώ αναφερθείτε στο επίσημο βίντεο στο τέλος του άρθρου για μια υψηλότερη ποιότητα εικόνας.

Το παράθυρο ευκαιρίας για να αντιληφθεί η κίνηση είναι πολύ εύθραυστο, και μπορεί να επηρεαστεί ακόμη και από το τρεμόπαιγμα των φωτών σε μια συχνότητα 60 Hz AC. Γι’ αυτό και αυτή η φυσική διατάραξη πρέπει επίσης να αξιολογηθεί και να αφαιρεθεί από το βίντεο πριν θα εμφανιστεί η κίνηση που προκαλείται από τα άτομα.

Τελικά, το σύστημα παράγει χωροχρονικές πλοκές που σήμαναν einen συγκεκριμένο αριθμό κρυμμένων κατοίκων του δωματίου – διακριτά οπτικά πρότυπα:

Πρότυπα χωροχρονικών πλοκών που αντιπροσωπεύουν διαφορετικούς αριθμούς κρυμμένων ατόμων σε ένα δωμάτιο.

Διάφορες ανθρώπινες δραστηριότητες θα οδηγήσουν επίσης σε πρότυπα διαταραχών που μπορούν να ταξινομηθούν και να αναγνωριστούν:

Τα πρότυπα χωροχρονικών πλοκών για την αδράνεια, το περπάτημα, το κάθισμα, το χτύπημα των χεριών και το άλμα.

Για να παράγει ένα αυτοματοποιημένο ροή εργασίας της μηχανικής μάθησης για την αναγνώριση κρυμμένων ατόμων, χρησιμοποιήθηκαν ποικίλα βίντεο από 20 κατάλληλες σκηνές για να εκπαιδεύσουν δύο νευρωνικά δίκτυα που λειτουργούν σε γενικά παρόμοιες ρυθμίσεις – ένα για να μετρήσει τον αριθμό των ατόμων σε μια σκηνή και το άλλο για να αναγνωρίσει οποιαδήποτε κίνηση συμβαίνει.

Δοκιμή

Οι ερευνητές δοκιμάζουν το εκπαιδευμένο σύστημα σε δέκα μη προηγουμένως ελεγχόμενες πραγματικές περιπτώσεις που σχεδιάστηκαν για να αναπαράγουν τις περιορισμούς που προβλέπονται για την τελική ανάπτυξη. Το σύστημα ήταν σε θέση να επιτύχει μέχρι και 94,4% ακρίβεια (σε 256 καρέ – τυπικά λίγο πάνω από 8 δευτερόλεπτα βίντεο) στην ταξινόμηση του αριθμού των κρυμμένων ατόμων και μέχρι και 93,7% ακρίβεια (υπό τις ίδιες συνθήκες) στην ταξινόμηση δραστηριοτήτων. Αν και η ακρίβεια μειώνεται με λιγότερα πηγή καρέ, δεν είναι μια γραμμική πτώση, και ακόμη και 64 καρέ θα επιτύχουν ένα 79,4% ποσοστό ακρίβειας για την αξιολόγηση ‘αριθμού ατόμων’ (ενάντια σε σχεδόν 95% για τέσσερις φορές τον αριθμό των καρέ).

Αν και η μέθοδος είναι ανθεκτική στις αλλαγές του καιρού στο φωτισμό, έχει δυσκολίες σε μια σκηνή που φωτίζεται από μια τηλεόραση, ή σε περιπτώσεις όπου τα άτομα φορούν μονοχρωματικά ρούχα του ίδιου χρώματος με τον ανακλαστικό τοίχο.

Περισσότερες λεπτομέρειες της έρευνας, συμπεριλαμβανομένων υψηλότερης ποιότητας βίντεο των εξαγωγών, μπορούν να δουν στο επίσημο βίντεο παρακάτω.