Μπορούν οι Περιβάλλοντες Υπερ-Εύρους της Apple να Λύσουν τα Προβλήματα Αντανακλάσεων για την Νευρωνική Απόδοση;

Η ενεργητική και μακροχρόνια επένδυση της Apple στις τεχνολογίες Επαυξημένης Πραγματικότητας επιταχύνεται φέτος, με μια νέα σειρά εργαλείων για τους dévelopers να καταγράψουν και μετατρέψουν πραγματικούς αντικείμενα σε στοιχεία Επαυξημένης Πραγματικότητας, και μια αυξανόμενη πίστη της βιομηχανίας ότι专ικά γυαλιά Επαυξημένης Πραγματικότητας έρχονται για να υποστηρίξουν τις εικονικές εμπειρίες που μπορεί να ενεργοποιήσει αυτή η βροχή έρευνας και ανάπτυξης.

Μεταξύ μιας σειράς νέων πληροφοριών για τις προσπάθειες της Apple στις τεχνολογίες Επαυξημένης Πραγματικότητας, μια νέα έρευνα από το τμήμα έρευνας υπολογιστικής όρασης της εταιρείας αποκαλύπτει μια μέθοδο για χρήση 360-βαθμιών πανωραμικών εικόνων υψηλής δυναμικής εύρους (HDR) για να παρέχει περιβάλλοντα-ειδικές αντανακλάσεις και φωτισμό για αντικείμενα που είναι υπερθεμένα σε σκηνές Επαυξημένης Πραγματικότητας.

Με τίτλο Εκτίμηση Χαρτών Περιβάλλοντος Υπερ-Εύρους για Επαυξημένη Πραγματικότητα σε Πραγματικό Χρόνο, η έρευνα, από τον μηχανικό έρευνας υπολογιστικής όρασης της Apple Gowri Somanath και τον ανώτερο διευθυντή μηχανικής μάθησης Daniel Kurz, προτείνει τη δυναμική δημιουργία πραγματικού χρόνου περιβαλλόντων υψηλής δυναμικής εύρους μέσω ενός συνελικτικού νευρωνικού δικτύου (CNN) που εκτελείται σε ένα περιβάλλον επεξεργασίας κινητού. Το αποτέλεσμα είναι ότι τα αντικείμενα αντανακλάσεων μπορούν να αντανακλούν πραγματικά νέες, μη ορατές περιβάλοντες κατόπιν ζήτησης:

Στην νέα ροή δημιουργίας αντικειμένων Επαυξημένης Πραγματικότητας της Apple, ένας βραστήρας δημιουργείται με φωτογραμμετρία μαζί με το περιβάλλον του, οδηγώντας σε πειστικές αντανακλάσεις που δεν είναι ‘ψημένα’ στην υφή. Πηγή: https://docs-assets.developer.apple.com/

Η μέθοδος, που παρουσιάστηκε στο CVPR 2021, λαμβάνει μια φωτογραφία της ολόκληρης σκηνής και χρησιμοποιεί το EnvMapNet CNN για να εκτιμήσει μια οπτικά πλήρη πανωραμική εικόνα υψηλής δυναμικής εύρους (HDR), επίσης γνωστή ως ‘αντανακλαστικό δείγμα’.

Το αποτέλεσμα χαρτών αναγνωρίζει ισχυρές πηγές φωτός (περιγραμμένες στο τέλος της ανώτερης animation) και τις λαμβάνει υπόψη κατά την απόδοση των εικονικών αντικειμένων.

Η αρχιτεκτονική του EnvMapNet, που επεξεργάζεται περιορισμένες εικόνες σε πλήρεις χάρτες φωτός υψηλής δυναμικής εύρους. Πηγή: https://arxiv.org/pdf/2011.10687.pdf

Ο αλγόριθμος μπορεί να εκτελεστεί σε λιγότερο από 9ms σε ένα iPhone XS και είναι ικανός να αποδίδει αντικείμενα που είναι ευαίσθητα στις αντανακλάσεις σε πραγματικό χρόνο, με μειωμένο σφάλμα κατεύθυνσης 50% σε σύγκριση με προηγούμενες και διαφορετικές προσεγγίσεις στο πρόβλημα.

Αντανακλαστικά Δείγματα

Τα περιβάλλοντα φωτισμού υψηλής δυναμικής εύρους έχουν sido ένας παράγοντας στις οπτικές επιδράσεις από τότε που οι εικόνες υψηλής δυναμικής εύρους (εφευρέθηκαν το 1986) έγιναν μια αξιοσημείωτη δύναμη μέσω των προόδων στην υπολογιστική τεχνολογία στη δεκαετία του 1990. Όποιος παρακολουθεί πίσω από τις κάμερες μπορεί να έχει παρατηρήσει την σουρεαλιστική παρουσία τεχνικών που κρατούν αντανακλαστικά σφαίρες σε ράβδους – αναφορικές εικόνες που θα ενσωματωθούν ως περιβαλλοντικοί παράγοντες όταν ανακατασκευάζονται στοιχεία CGI για τη σκηνή.

Πηγή: https://beforesandafters.com/

Ωστόσο, η χρήση χρωμικών σφαιρών για αντανακλαστική χαρτογράφηση υφών προηγήθηκε της δεκαετίας του 1990, πηγαίνοντας πίσω στο 1983 SIGGRAPH paper Πυραμιδικά Παραμετρικά, το οποίο παρουσίασε στατικές εικόνες ενός αντανακλαστικού ρομποτικού CGI σε ένα στυλ που θα γινόταν διάσημο σχεδόν μια δεκαετία αργότερα μέσω των ‘υγρών μετάλλων’ επιδράσεων της ταινίας Terminator 2: Judgement Day.

Περιβάλλοντα Υπερ-Εύρους στη Νευρωνική Απόδοση;

Η νευρωνική απόδοση προσφέρει τη δυνατότητα να παράγει φωτορεαλιστικές βίντεο από πολύ σπάνιες εισόδους, συμπεριλαμβανομένων груβών χαρτών διαχωρισμού.

Intel ISL’s segmentation>image νευρωνική απόδοση (2017). Πηγή: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

Τον Μάιο, ερευνητές της Intel αποκάλυψαν μια νέα πρωτοβουλία στη νευρωνική σύνθεση εικόνων όπου η ταινία Grand Theft Auto V χρησιμοποιήθηκε για να παράγει φωτορεαλιστικές εξόδους με βάση συνόλους δεδομένων εικόνων δρόμων της Γερμανίας.

Πηγή: https://www.youtube.com/watch?v=0fhUJT21-bs

Η πρόκληση στην ανάπτυξη περιβαλλόντων νευρωνικής απόδοσης που μπορούν να προσαρμοστούν σε διάφορες συνθήκες φωτισμού είναι να διαχωρίσουν το περιεχόμενο του αντικειμένου από τους περιβαλλοντικούς παράγοντες που το επηρεάζουν.

Όπως είναι τώρα, οι αντανακλάσεις και οι ανισοτροπικές επιδράσεις παραμένουν συναρτήσεις είτε της αρχικής ταινίας δεδομένων (η οποία τις κάνει άκαμπτες), είτε απαιτούν το ίδιο είδος σχήματος που οι ερευνητές της Intel использовали, το οποίο παράγει ημι-φωτορεαλιστικές εξόδους από einen груβό (παιχνίδι) κινητήρα, εκτελεί διαχωρισμό σε αυτό και στη συνέχεια εφαρμόζει μεταφορά στυλ από einen ‘ψημένο’ σύνολο δεδομένων (όπως το σύνολο δεδομένων οδικής θέασης Mapillary της Γερμανίας που χρησιμοποιήθηκε στην πρόσφατη έρευνα).

Σε αυτή τη νευρωνική απόδοση (η ταινία GTA V είναι αριστερά), το όχημα μπροστά δείχνει πειστική λάμψη και ακόμη και κορεσμένη τον αισθητήρα της εικονικής κάμερας με αντανακλάσεις από τον ήλιο. Αλλά αυτή η πλευρά φωτισμού προέρχεται από τον κινητήρα φωτισμού της αρχικής ταινίας,既然 τα νευρωνικά στοιχεία της σκηνής δεν έχουν αυτόνομες και αυτοαναφορικές δομές φωτισμού που μπορούν να αλλάξουν.

Αντανακλάσεις στο NeRF

Οι εικόνες που προέρχονται από Νευρωνικά Πεδία Ραδιότητας (NeRF) αντιμετωπίζουν παρόμοιες προκλήσεις. Αν και πρόσφατη έρευνα στο NeRF έχει κάνει βήματα στην απομόνωση των στοιχείων που συνθέτουν μια νευρωνική σκηνή (για παράδειγμα, η συνεργασία MIT/Google NeRFactor), οι αντανακλάσεις παραμένουν ένα εμπόδιο.

Η προσέγγιση NeRFactor του MIT και της Google απομονώνει τους νόρμους, τη видимость (σκιές), την υφή και την τοπική αλμπέδο, αλλά δεν αντανακλά ένα περιβάλλον, επειδή υπάρχει στο κενό. Πηγή: https://arxiv.org/pdf/2106.01970.pdf

Το NeRF μπορεί να λύσει αυτό το πρόβλημα με τον ίδιο τύπο χαρτογράφησης υψηλής δυναμικής εύρους που χρησιμοποιεί η Apple. Κάθε εικονοστοιχείο σε ένα νευρωνικό πεδίο ραδιότητας υπολογίζεται σε μια τροχιά από μια εικονική κάμερα μέχρι το σημείο όπου ο ‘ακτίνα’ δεν μπορεί να ταξιδέψει περαιτέρω, παρόμοια με το ray-tracing στις παραδοσιακές CGI. Η προσθήκη εισόδου υψηλής δυναμικής εύρους στο υπολογισμό αυτής της ακτίνας είναι μια πιθανή μέθοδος για την επίτευξη γνήσιων περιβαλλοντικών αντανακλάσεων και είναι στην ουσία μια αναλογία με τις μεθόδους ‘παγκόσμιου φωτισμού’ ή ραδιοσκόπησης στις CGI, όπου μια σκηνή ή αντικείμενο φωτίζεται εν μέρει από τις αντανακλάσεις του περιβάλλοντός του.

Αν και είναι βέβαιο ότι ένας πίνακας υψηλής δυναμικής εύρους δεν θα κάνει τίποτα για να μειώσει τις υπολογιστικές επιβαρύνσεις του NeRF, μια μεγάλη ποσότητα έρευνας σε αυτό το πεδίο αυτή τη στιγμή επικεντρώνεται στην αντιμετώπιση αυτού του аспέκτου της pipeline επεξεργασίας. Αναπόφευκτα, οι αντανακλάσεις είναι ένας από τους πολλούς παράγοντες που περιμένουν στο wings να ξαναγεμίσει και να προκαλέσουν αυτή τη νεο-βελτιωμένη αρχιτεκτονική. Ωστόσο, το NeRF δεν μπορεί να επιτύχει το πλήρες δυναμικό του ως μια διακριτή νευρωνική μέθοδος σύνθεσης εικόνων και βίντεο χωρίς να υιοθετήσει έναν τρόπο για να λάβει υπόψη το περιβάλλον που το περιβάλλει.

Αντανακλάσεις στις Πipelines Νευρωνικής Απόδοσης

Σε μια υποθετική έκδοση της νευρωνικής απόδοσης της Intel με περιβάλλοντα υψηλής δυναμικής εύρους, ένας đơnικός χάρτης υψηλής δυναμικής εύρους δεν θα μπορούσε να φιλοξενήσει τις δυναμικές αντανακλάσεις που πρέπει να εκφραστούν σε κινούμενα αντικείμενα. Για παράδειγμα, για να δείτε το δικό σας όχημα να αντανακλάται στο όχημα μπροστά σας καθώς πλησιάζει στα φανάρια, το όχημα μπροστά θα μπορούσε να έχει το δικό του κινούμενο χάρτη φωτός υψηλής δυναμικής εύρους, η ανάλυση του οποίου θα μειωνόταν σταδιακά καθώς απομακρύνεται από το σημείο θέασης του χρήστη, για να γίνει χαμηλής ανάλυσης και μόνο αντιπροσωπευτικό όταν απομακρύνεται στην απόσταση – μια προσέγγιση LOD με βάση την απόσταση, παρόμοια με τους ορίους ‘απομακρύνσεων’ στα βιντεοπαιχνίδια.

Η πραγματική δυνατότητα της δουλειάς της Apple σε φωτισμό υψηλής δυναμικής εύρους και χάρτες αντανακλάσεων δεν είναι ότι είναι ιδιαίτερα καινοτόμα,既然 κτίζει πάνω σε προηγούμενη δουλειά στη γενική σύνθεση εικόνων και στην ανάπτυξη σκηνών Επαυξημένης Πραγματικότητας. Αλλά η πιθανή đột phá είναι ότι οι αυστηροί τοπικοί περιορισμοί υπολογιστικής έχουν συνδυαστεί με τις καινοτομίες της Apple στη μηχανική μάθηση για να παράγουν ελαφριά, χαμηλής καθυστέρησης χαρτογράφηση υψηλής δυναμικής εύρους που σχεδιάζεται για να λειτουργεί υπό περιορισμένες πόρους.

Αν αυτό το πρόβλημα μπορεί να λυθεί οικονομικά, η έλευση της σεμαντικής διαχωριστικής>φωτορεαλιστικής σύνθεσης βίντεο μπορεί να έρθει ένα σημαντικό βήμα πιο κοντά.

Πηγή: https://docs-assets.developer.apple.com/