NeRF: Εκπαίδευση Drone σε Περιβάλλοντα Νευρικής Ακτινοβολίας

Ερευνητές από το Πανεπιστήμιο του Στάνφορντ έχουν αναπτύξει einen νέο τρόπο εκπαίδευσης drone να πλοηγούνται σε φωτορεαλιστικά και υψηλής ακρίβειας περιβάλλοντα, αξιοποιώντας το πρόσφατο πλήθος ενδιαφέροντος για τα Νευρικά Πεδία Ακτινοβολίας (NeRF).

Τα drone μπορούν να εκπαιδευτούν σε εικονικά περιβάλλοντα που χαρτογραφούνται trực tiếp από πραγματικές τοποθεσίες, χωρίς την ανάγκη για εξειδικευμένη ανακατασκευή 3D σκηνής. Στην εικόνα από το έργο, έχει προστεθεί μια διαταραχή ανέμου ως πιθανό εμπόδιο για το drone, και μπορούμε να δούμε το drone να απομακρύνεται για einen στιγμή από την τροχιά του και να компенσάρει στο τελευταίο στιγμή για να αποφύγει ένα πιθανό εμπόδιο. Πηγή: https://mikh3x4.github.io/nerf-navigation/

Η μέθοδος προσφέρει την δυνατότητα για διαδραστική εκπαίδευση drone (ή άλλων τύπων αντικειμένων) σε εικονικά σενάρια που περιλαμβάνουν αυτόματα πληροφορίες όγκου (για τον υπολογισμό αποφυγής συγκρούσεων), υφή που σχεδιάζεται trực tiếp από φωτογραφίες της πραγματικής ζωής (για να βοηθήσει την εκπαίδευση των δικτύων αναγνώρισης εικόνων του drone σε einen πιο ρεαλιστικό τρόπο) και φωτισμό του πραγματικού κόσμου (για να διασφαλιστεί ότι ποικίλα σενάρια φωτισμού εκπαιδεύονται στο δίκτυο, αποφεύγοντας την υπερ-προσαρμογή ή υπερ-βελτιστοποίηση στην αρχική φωτογραφία της σκηνής).

Ένα αντικείμενο-καναπές πλοηγείται σε einen σύνθετο εικονικό περιβάλλον που θα ήταν πολύ δύσκολο να χαρτογραφηθεί χρησιμοποιώντας γεωμετρική σύλληψη και ανασύνθεση σε παραδοσιακές διαδικασίες AR/VR, αλλά που αναπτύχθηκε αυτόματα σε NeRF από einen περιορισμένο αριθμό φωτογραφιών. Πηγή: https://www.youtube.com/watch?v=5JjWpv9BaaE

Τυπικές εφαρμογές NeRF δεν περιλαμβάνουν μηχανισμούς τροχιάς, поскольку η większość των έργων NeRF τα τελευταία 18 μήνες έχει επικεντρωθεί σε άλλες προκλήσεις, όπως ανασύνθεση σκηνής, απαρίθμηση ανακλάσεων, σύνθεση και αποσύνθεση των συλληφθέντων στοιχείων.，因此 η καινούρια εργασία είναι η πρώτη που θεωρεί τις δυνατότητες εξερεύνησης eines NeRF χώρου στο контέκστ eines πλοηγήσιμου και εικονικού περιβάλλοντος τύπου VR. Τα Νευρικά Πεδία Ακτινοβολίας είναι μια αναδυόμενη τεχνολογία, και αυτή τη στιγμή υπόκεινται σε πολλαπλά ακαδημαϊκά έργα για την βελτιστοποίηση των υψηλών απαιτήσεων υπολογιστικών πόρων, καθώς και για την αποσύνθεση των συλληφθέντων στοιχείων.

NeRF ως VR/AR

Η καινούρια εργασία έχει τον τίτλο Πλοήγηση Ρομποτών με Όραση σε einen Νευρικό Κόσμο Ακτινοβολίας, και είναι μια συνεργασία μεταξύ τριών τμημάτων του Πανεπιστημίου του Στάνφορντ: Αεροναυπηγικής και Αστροναυτικής, Μηχανολογικής Μηχανικής και Επιστήμης Υπολογιστών.

Η εργασία προτείνει einen πλαισιο πλοήγησης που παρέχει einen ρομποτ με einen προ-εκπαιδευμένο περιβάλλον NeRF, του οποίου η πυκνότητα όγκου οριοθετεί δυνατές διαδρομές για τη συσκευή. Περιλαμβάνει επίσης einen φίλτρο για την εκτίμηση της θέσης του ρομποτ μέσα στο εικονικό περιβάλλον, με βάση την αναγνώριση εικόνων από την κάμερα RGB του ρομποτ. Έτσι, ένα drone ή ρομποτ μπορεί να “οραματιστεί” πιο ακριβώς τι μπορεί να δει σε einen δεδομένο περιβάλλον.

Ο βελτιστοποιητής τροχιάς του έργου πλοηγείται μέσα σε einen μοντέλο NeRF του Στόουνχεντζ που δημιουργήθηκε μέσω φωτογραμμετρίας και ερμηνείας εικόνων (σε αυτή την περίπτωση, μοντέλων πλέγματος) σε einen Νευρικό Κόσμο Ακτινοβολίας. Ο βελτιστοποιητής τροχιάς υπολογίζει έναν αριθμό δυνατών διαδρομών πριν καθορίσει μια βέλτιστη τροχιά πάνω από την αψίδα.

Επειδή ένα περιβάλλον NeRF περιλαμβάνει πλήρως μοντελοποιημένες αποκρύψεις, το drone μπορεί να μάθει να υπολογίζει εμπόδια πιο εύκολα,既然 το νευρικό δίκτυο πίσω από το NeRF μπορεί να χαρτογραφήσει τη σχέση μεταξύ αποκρύψεων και του τρόπου που το σύστημα πλοήγησης του drone με βάση την όραση αντιλαμβάνεται το περιβάλλον. Η αυτοματοποιημένη διαδικασία δημιουργίας NeRF προσφέρει einen σχετικά εύκολη μέθοδο για την δημιουργία υπερ-ρεαλιστικών χώρων εκπαίδευσης με μόνο quelques φωτογραφίες.

Το πλαίσιο επανεκτίμησης που αναπτύχθηκε για το έργο του Στάνφορντ διευκολύνει einen ανθεκτικό και πλήρως βασισμένο στην όραση πλαισιο πλοήγησης.

Η πρωτοβουλία του Στάνφορντ είναι μεταξύ των πρώτων που θεωρούν τις δυνατότητες εξερεύνησης eines NeRF χώρου στο контέκστ eines πλοηγήσιμου και εικονικού περιβάλλοντος τύπου VR. Τα Νευρικά Πεδία Ακτινοβολίας είναι μια αναδυόμενη τεχνολογία, και αυτή τη στιγμή υπόκεινται σε πολλαπλά ακαδημαϊκά έργα για την βελτιστοποίηση των υψηλών απαιτήσεων υπολογιστικών πόρων, καθώς και για την αποσύνθεση των συλληφθέντων στοιχείων.

Nerf Δεν Είναι (Πραγματικά) CGI

Επειδή ένα περιβάλλον NeRF είναι einen πλοήγισιμος 3D χώρος, έχει γίνει μια παρεξηγημένη τεχνολογία από την εμφάνισή του το 2020, συχνά θεωρούμενη ως一种 μέθοδος αυτοματοποίησης της δημιουργίας πλέγματος και υφής, αντί να αντικαταστήσει 3D περιβάλλοντα που είναι οικεία στους θεατές από τα τμήματα VFX του Χόλιγουντ και τις φανταστικές σκηνές των περιβαλλόντων AR και VR.

Το NeRF εξάγει γεωμετρικές και υφής πληροφορίες από einen περιορισμένο αριθμό οπτικών σημείων, υπολογίζοντας την διαφορά μεταξύ εικόνων ως πληροφορίες όγκου. Πηγή: https://www.matthewtancik.com/nerf

Στην πραγματικότητα, το περιβάλλον NeRF είναι πιο σαν einen “ζωντανο” χώρο απόδοσης, όπου μια σύντηξη πληροφοριών pixel και φωτισμού διατηρείται και πλοηγείται σε einen ενεργό και τρέχον νευρικό δίκτυο.

Το κλειδί για το δυναμικό του NeRF είναι ότι απαιτεί μόνο einen περιορισμένο αριθμό εικόνων για να αναπτύξει περιβάλλοντα, και ότι τα δημιουργημένα περιβάλλοντα περιλαμβάνουν όλες τις απαραίτητες πληροφορίες για μια υψηλής πιστότητας ανακατασκευή, χωρίς την ανάγκη για τις υπηρεσίες μοντελιστών, καλλιτεχνών υφής, ειδικών φωτισμού και των λοιπών συντελεστών στα “παραδοσιακά” CGI.

Σημαντική Segmentazione

Ακόμη και αν το NeRF αποτελεί αποτελεσματικά “Computer-Generated Imagery” (CGI), προσφέρει μια εντελώς διαφορετική μεθοδολογία, και einen υψηλά αυτοματοποιημένο πλαισιο. Επιπλέον, το NeRF μπορεί να απομονώσει και “ενθυλακώσει” κινούμενα μέρη μιας σκηνής, ώστε να μπορούν να προστεθούν, να αφαιρεθούν, να επιταχύνουν και γενικά να λειτουργούν ως ξεχωριστά στοιχεία σε einen εικονικό περιβάλλον – μια ικανότητα που είναι πολύ πέρα από την τρέχουσα κατάσταση της τεχνολογίας σε μια “Χόλιγουντ” ερμηνεία του τι είναι το CGI.

Μια συνεργασία από το Πανεπιστήμιο της Σαγκάης, που κυκλοφόρησε το καλοκαίρι του 2021, προσφέρει einen μέθοδο για την ατομική αναγνώριση κινούμενων στοιχείων NeRF σε “κολλήσιμες” πτυχές για μια σκηνή. Πηγή: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Αρνητικά, η αρχιτεκτονική του NeRF είναι ένα peu “μαύρο κουτί”· δεν είναι目前 δυνατό να εξαγάγετε einen αντικείμενο από einen NeRF περιβάλλον και να το χειριστείτε trực tiếp με παραδοσιακές εργαλεία με βάση πλέγμα και εικόνα, αν και ένας αριθμός ερευνητικών προσπαθειών αρχίζει να κάνει прорыв σε αποσύνθεση του πίνακα πίσω από το νευρικό δίκτυο του NeRF.