Συνθετική Εικόνα Ανθρώπου από Ανακλώμενες Ραδιοκύματα

Ερευνητές από την Κίνα έχουν αναπτύξει μια μέθοδο για τη σύνθεση σχεδόν φωτορεαλιστικών εικόνων ανθρώπων χωρίς κάμερες, χρησιμοποιώντας ραδιοκύματα και Γεννητικές Αντισταθμιστικές Νευρωνικές Δίκτυα (GANs). Το σύστημα που έχουν αναπτύξει έχει εκπαιδευτεί σε πραγματικές εικόνες που έχουν ληφθεί σε καλό φως, αλλά είναι ικανό να καταγράφει σχετικά αυθεντικές “φωτογραφίες” ανθρώπων ακόμη και όταν οι συνθήκες είναι σκοτεινές – και ακόμη και μέσα από μεγάλες εμποδίσματα που θα κρύβουν τους ανθρώπους από τις συμβατικές κάμερες.

Οι εικόνες βασίζονται σε “θερμικές χάρτες” από δύο ραδιοαντένες, μια που καταγράφει δεδομένα από το ταβάνι προς τα κάτω, και μια άλλη που καταγράφει διαταραχές ραδιοκυμάτων από μια “όρθια” θέση.

Οι εικόνες που προκύπτουν από τα πειραματικά αποτελέσματα των ερευνητών έχουν ένα πρόσωπο χωρίς χαρακτηριστικά, ένα “J-Horror” χαρακτήρα:

Το RFGAN έχει εκπαιδευτεί σε εικόνες πραγματικών ανθρώπων σε ελεγχόμενα περιβάλλοντα και σε θερμικές χάρτες ραδιοκυμάτων που καταγράφουν την ανθρώπινη δραστηριότητα. Έχοντας μάθει χαρακτηριστικά από τα δεδομένα, το RFGAN μπορεί να δημιουργήσει φωτογραφίες με βάση νέα δεδομένα ραδιοκυμάτων. Η αποτέλεσμα εικόνα είναι μια προσέγγιση, με βάση την περιορισμένη ανάλυση των χαμηλής συχνότητας ραδιοσημάτων που είναι διαθέσιμα. Αυτή η διαδικασία λειτουργεί ακόμη και σε σκοτεινά περιβάλλοντα, και μέσα από ποικίλα πιθανά εμπόδια. Πηγή: https://arxiv.org/pdf/2112.03727.pdf

Για την εκπαίδευση του GAN, που ονομάζεται RFGAN, οι ερευνητές χρησιμοποίησαν δεδομένα από μια τυπική κάμερα RGB και από τις συνδεδεμένες αντίστοιχες θερμικές χάρτες ραδιοκυμάτων που παράχθηκαν την ακριβή στιγμή της λήψης. Οι εικόνες των συνθετικών ανθρώπων στη νέα εργασία τείνουν να είναι θολούμενες με τρόπο παρόμοιο με την πρώιμη φωτογραφία Daguerreotype, επειδή η ανάλυση των ραδιοκυμάτων που χρησιμοποιούνται είναι πολύ χαμηλή, με ανάλυση βάθους 7,5 εκ. και γωνιακή ανάλυση περίπου 1,3 μοιρών.

Πάνω, η εικόνα που δίνεται στο δίκτυο GAN – κάτω, οι δύο θερμικοί χάρτες, οριζόντιος και κατακόρυφος, που χαρακτηρίζουν τον άνθρωπο στο δωμάτιο, και που συνθέτουν τον εαυτό τους μέσα στη δομή σε eine τρισδιάστατη αναπαράσταση των διαταραχθέντων δεδομένων.

Η νέα έρευνα, με τίτλο RFGAN: Συνθετική Εικόνα Ανθρώπου με Ραδιοκύματα, προέρχεται από έξι ερευνητές από το Πανεπιστήμιο Ηλεκτρονικής Επιστήμης και Τεχνολογίας της Κίνας.

Δεδομένα και Αρχιτεκτονική

Λόγω της έλλειψης προηγούμενων συνόλων δεδομένων ή έργων που μοιράζονται αυτό το πεδίο, και του γεγονότος ότι τα ραδιοσήματα δεν έχουν χρησιμοποιηθεί προηγουμένως σε ένα πλαίσιο σύνθεσης εικόνας GAN, οι ερευνητές sollten αναπτύξουν νέες μεθοδολογίες.

Η βασική αρχιτεκτονική του RFGAN.

Χρησιμοποιήθηκε προσαρμοστική κανονικοποίηση για να ερμηνευθούν οι δίδυμοι θερμικοί χάρτες κατά την εκπαίδευση, ώστε να αντιστοιχούν χωρικά με τα δεδομένα εικόνας που καταγράφονται.

Τα ραδιοκυματικά συσκευές ήταν ραδάρ με μιλιμετρικές κυματικές (mmWave) που ρυθμίζονται ως δύο πίνακες κεραιών, οριζόντιος και κατακόρυφος. Χρησιμοποιήθηκαν Frequency Modulated Continuous Wave (FMCW) και γραμμικές κεραίες για την μετάδοση και λήψη.

Ο γεννήτορας λαμβάνει μια πηγή εικόνας ως εισαγωγή, με την ερμηνεία των θερμικών χαρτών ραδιοκυμάτων (θερμικός χάρτης) να διευθύνει το δίκτυο μέσω της κανονικοποίησης στο επίπεδο των συνβολικών στρωμάτων.

Δεδομένα

Τα δεδομένα συλλέχθηκαν από ανακλώμενες ραδιοκύματα από την κεραία mmWave σε μια ταχύτητα μόλις 20Hz, με ταυτόχρονη λήψη βίντεο ανθρώπων σε μια πολύ χαμηλή ταχύτητα 10fps. Εννέα εσωτερικά σκηνικά καταγράφηκαν, χρησιμοποιώντας έξι εθελοντές, каждый από τους οποίους φόρεσε διαφορετικά ρούχα για διάφορες συνεδρίες της συλλογής δεδομένων.

Το αποτέλεσμα ήταν δύο ξεχωριστά συνόλα δεδομένων, RF-Activity και RF-Walk, το πρώτο περιέχοντας 68.860 εικόνες ανθρώπων σε διάφορες θέσεις (όπως σκουπίδι και περίπατος), μαζί με 137.760 αντίστοιχες θερμικές χάρτες εικόνας; και το δεύτερο περιέχοντας 67.860 καρέ ανθρώπων που περπατούν τυχαία, μαζί με 135.720 ζευγάρια θερμικών χαρτών.

Τα δεδομένα, σύμφωνα με τη συνήθεια, χωρίστηκαν ανισόμορφα μεταξύ εκπαίδευσης και δοκιμής, με 55.225 καρέ εικόνας και 110.450 ζευγάρια θερμικών χαρτών που χρησιμοποιήθηκαν για εκπαίδευση, και το υπόλοιπο κρατήθηκε για δοκιμή. Οι εικόνες RGB αναδιαμορφώθηκαν σε 320×180, και οι θερμικοί χάρτες αναδιαμορφώθηκαν σε 201×160.

Το μοντέλο εκπαιδεύτηκε με Adam σε μια σταθερή ταχύτητα μάθησης 0,0002 και για τον γεννήτορα και τον διακρίτη, σε μια εποχή 80 και μια (πολύ σπάνια) μέγεθος δείγματος 2. Η εκπαίδευση πραγματοποιήθηκε μέσω PyTorch σε ένα καταναλωτικό επίπεδο sole GTX-1080 GPU, του οποίου τα 8GB VRAM θα θεωρούνταν γενικά khá скромные για τέτοιο έργο (εξηγώντας τη χαμηλή μέγεθος δείγματος).

Although οι ερευνητές προσάρμοσαν κάποιες συμβατικές μετρικές για τον έλεγχο της πραγματικότητας της εξόδου (λεπτομερώς στο έγγραφο), και πραγματοποίησαν τις συνήθεις δοκιμές αφαίρεσης, δεν υπήρχε ισοδύναμο προηγούμενο έργο με το οποίο να μετρηθεί η απόδοση του RFGAN.

Ανοιχτό Ενδιαφέρον για Κρυφές Σήματα

Το RFGAN δεν είναι το πρώτο έργο που προσπάθησε να χρησιμοποιήσει ραδιοσυχνοτήτες για να δημιουργήσει einen τρισδιάστατο πίνακα του τι συμβαίνει σε ένα δωμάτιο. Το 2019 ερευνητές από το MIT CSAIL ανέπτυξαν μια αρχιτεκτονική που ονομάζεται RF-Avatar, ικανή να ανακατασκευάσει τρισδιάστατους ανθρώπους με βάση ραδιοσυχνοτήτες στο εύρος Wi-Fi, υπό σκληρές συνθήκες αποκρύψεως.

Στο έργο του MIT CSAIL από το 2019, τα ραδιοκύματα χρησιμοποιήθηκαν για να αφαιρέσουν αποκρύψεις, ακόμη και συμπεριλαμβανομένων τοίχων και ρούχων, για να ανακατασκευάσουν τους καταγεγραμμένους υποκείμενους σε μια πιο παραδοσιακή ροή εργασίας CGI. Πηγή: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Οι ερευνητές της νέας εργασίας αναγνωρίζουν επίσης χαλαρά σχετιζόμενη προηγούμενη εργασία γύρω από την χαρτογράφηση του περιβάλλοντος με ραδιοκύματα (κανένα από αυτά δεν προσπάθησε να ανακατασκευάσει φωτορεαλιστικούς ανθρώπους), που ζήτησε να εκτιμήσει την ταχύτητα ανθρώπων; δείτε μέσω τοίχων με Wi-Fi; αξιολογήσει τις στάσεις ανθρώπων; και ακόμη αναγνωρίσει χειρονομίες ανθρώπων, μεταξύ άλλων στόχων.

Μεταφορικότητα και Ευρύτερη Εφαρμοσιμότητα

Οι ερευνητές στη συνέχεια προσπάθησαν να δουν αν η ανακάλυψή τους ήταν υπερ-προσαρμοσμένη στο αρχικό περιβάλλον και τις συνθήκες εκπαίδευσης, αν και το έγγραφο προσφέρει λίγες λεπτομέρειες για αυτή τη φάση του πειράματος. Δηλώνουν:

‘Για να αναπτύξουμε το μοντέλο μας σε μια νέα σκηνή, δεν χρειάζεται να ξαναεκπαιδεύσουμε όλο το μοντέλο από την αρχή. Μπορούμε να tinh chỉnh το προ-εκπαιδευμένο RFGAN χρησιμοποιώντας πολύ λίγα δεδομένα (περίπου 40s δεδομένα) για να πάρουμε παρόμοια αποτελέσματα.’

Και συνεχίζουν:

‘Οι συναρτήσεις απώλειας και οι υπερπαράμετροι είναι οι ίδιες με το στάδιο εκπαίδευσης. Από τα ποσοτικά αποτελέσματα, βρήκαμε ότι το προ-εκπαιδευμένο μοντέλο RFGAN μπορεί να δημιουργήσει επιθυμητές εικόνες ανθρώπινης δραστηριότητας στη νέα σκηνή μετά από tinh chỉnh με μόνο λίγα δεδομένα, που σημαίνει ότι το προτεινόμενο μοντέλο μας έχει το δυναμικό για ευρεία χρήση.’

Βασισμένο στις λεπτομέρειες του εγγράφου για αυτή τη σεμινάλ εφαρμογή μιας νέας τεχνικής, δεν είναι σαφές αν το δίκτυο που έχουν δημιουργήσει οι ερευνητές είναι ‘fit-εκπαιδευμένο’ αποκλειστικά στους αρχικούς υποκείμενους, ή αν οι θερμικοί χάρτες ραδιοκυμάτων μπορούν να καταλήξουν σε λεπτομέρειες όπως το χρώμα των ρούχων, καθώς αυτό φαίνεται να διασχίζει τις δύο διαφορετικές συχνότητες που εμπλέκονται στις οπτικές και ραδιοκαταγραφικές μεθόδους.

Είτε τρόπο, το RFGAN είναι ένας νέος τρόπος για να χρησιμοποιηθούν οι μιμητικές και αντιπροσωπευτικές δυνάμεις των Γεννητικών Αντισταθμιστικών Νευρωνικών Δικτύων για να δημιουργήσουν μια νέα και ενδιαφέρουσα μορφή επιτήρησης – μια που θα μπορούσε να λειτουργήσει στο σκοτάδι και μέσα από τοίχους, με τρόπο ακόμη πιο εντυπωσιακό από τις πρόσφατες προσπάθειες να δουν γύρω από γωνίες με ανακλώμενα φώτα.

8η Δεκεμβρίου 2021 (ημερομηνία πρώτης δημοσίευσης), 8:04 μ.μ. GMT+2 – αφαιρέθηκε επαναλαμβανόμενο λόγο. – MA