Adobe: Ανανέωση του Πραγματικού Κόσμου με Νευρωνική Απόδοση

Ερευνητές της Adobe έχουν δημιουργήσει ένα σύστημα νευρωνικής απόδοσης για εσωτερικούς χώρους του πραγματικού κόσμου που είναι ικανό για σύνθετη ανανέωση, προσφέρει μια διεπαφή σε πραγματικό χρόνο και χειρίζεται γυαλιστερές επιφάνειες και ανακλάσεις – μια αξιοσημείωτη πρόκληση για ανταγωνιστικές μεθόδους σύνθεσης εικόνας όπως τα Νευρωνικά Πεδία Ραδιότητας (NeRF).

Εδώ, ένας πραγματικός κόσμος έχει ανακατασκευαστεί από ένα αριθμό στατικών εικόνων, καθιστώντας την σκηνή πλοήγηση. Το φωτισμό μπορεί να προστεθεί και να αλλάξει σε χρώμα και ποιότητα, ενώ οι ανακλάσεις παραμένουν ακριβείς και οι γυαλιστερές επιφάνειες εκφράζουν σωστά την αλλαγή του χρήστη στις πηγές φωτισμού και/ή στυλ. Πηγή: https://www.youtube.com/watch?v=d3ma4opFpgM

Το νέο σύστημα επιτρέπει τον έλεγχο του φωτισμού σε πραγματικό 3D χώρο που έχει καταγραφεί σε νευρωνικό χώρο, συμπεριλαμβανομένων σκιών και ανακλάσεων.

Η διεπαφή GUI επιτρέπει στον χρήστη να προσθέσει (και να điều chỉnh) μια πηγή φωτισμού σε μια πραγματική σκηνή που έχει ανακατασκευαστεί από ένα σπάνιο αριθμό φωτογραφιών και να πλοηγηθεί ελεύθερα μέσα σε αυτήν όπως σε μια σκηνή CGI-στυλ.

Το έγγραφο, που υποβεβληθηκε στις ACM Transactions on Graphics και έχει τον τίτλο Ελεύθερη Προοπτική Εσωτερική Νευρωνική Ανανέωση από Πολυοπτική Στερεοσκοπία, είναι μια συνεργασία μεταξύ της Adobe Research και ερευνητών από το Université Côte d’Azur.

Πηγή: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (κάντε κλικ για να δείτε την πλήρη εκδοχή)

Όπως και με τα Νευρωνικά Πεδία Ραδιότητας (NeRF), το σύστημα χρησιμοποιεί φωτογραμμετρία (πάνω αριστερά), όπου η κατανόηση της σκηνής υποδηλώνεται από ένα περιορισμένο αριθμό φωτογραφιών, και οι “λείπει” προοπτικές εκπαιδεύονται μέσω μηχανικής μάθησης μέχρι να είναι διαθέσιμο ένα πλήρες και εντελώς αφηρημένο μοντέλο της σκηνής για ad hoc ερμηνεία.

Το σύστημα έχει εκπαιδευτεί εξ ολοκλήρου σε συνθετικά (CGI) δεδομένα, αλλά τα 3D μοντέλα που χρησιμοποιούνται έχουν αντιμετωπιστεί ακριβώς όπως θα συνέβαινε αν ένα άτομο έπαιρνε几个 περιορισμένους φωτογραφίες μιας πραγματικής σκηνής για νευρωνική ερμηνεία. Η εικόνα πάνω δείχνει μια συνθετική σκηνή που ανανεώνεται, αλλά η “κρεβατοκάμαρα” προβολή στην πάνω (ανιματημένη) εικόνα πάνω είναι προερχόμενη από πραγματικές φωτογραφίες που τραβήχτηκαν σε ένα πραγματικό δωμάτιο.

Η σωρευτική αναπαράσταση της σκηνής λαμβάνεται από το αρχικό υλικό μέσω ενός Συνελικτικού Νευρωνικού Δικτύου (CNN) και διαιρείται σε πολλά στρώματα, συμπεριλαμβανομένων ανακλαστικότητας, πηγής ακτινοβολίας (ραδιοβολίας/παγκόσμιας освещения) και αλμπέντος.

Η αρχιτεκτονική του συστήματος ανανέωσης της Adobe. Το σύνολο δεδομένων πολυοπτικής στερεοσκοπίας προεπεξεργάζεται και η γεωμετρία 3D mesh παράγεται από τα εισαγόμενα δεδομένα. Όταν πρέπει να προστεθεί ένα νέο φως, η ακτινοβολία υπολογίζεται σε πραγματικό χρόνο και η ανανεωμένη προβολή συνθέτει. (κάντε κλικ για να δείτε την πλήρη εκδοχή)

Ο αλγόριθμος συνδυάζει πτυχές της παραδοσιακής ακολουθίας ακτίνων (Μοντέλο Carlo) και της Εικόνας-Βασισμένης Απόδοσης (IBR, νευρωνικής απόδοσης).

Αν και ένα αξιοσημείωτο μέρος της πρόσφατης έρευνας για τα Νευρωνικά Πεδία Ραδιότητας ασχολείται με την εξαγωγή 3D γεωμετρίας από πεδία εικόνων, η προσφορά της Adobe είναι η πρώτη φορά που έχει αποδειχθεί μια υψηλά εξειδικευμένη ανανέωση μέσω αυτής της μεθόδου.

Ο αλγόριθμος αντιμετωπίζει επίσης μια άλλη παραδοσιακή περιορισμό των NeRF και παρόμοιων προσεγγίσεων, υπολογίζοντας ένα πλήρες χάρτη ανακλαστικότητας, όπου κάθε μέρος της εικόνας έχει ανατεθεί ένα 100% ανακλαστικό υλικό.

Οι ανακλαστικές υφές χαρτογραφούν τις διαδρομές φωτισμού. (κάντε κλικ για να δείτε την πλήρη εκδοχή)

Με αυτόν τον ολοκληρωμένο χάρτη ανακλαστικότητας, είναι δυνατό να “μειώσετε” την ανακλαστικότητα για να προσαρμοστεί σε διάφορα επίπεδα ανακλαστικότητας σε διάφορους τύπους υλικών όπως ξύλο, μέταλλο και πέτρα. Ο χάρτης ανακλαστικότητας (πάνω) παρέχει επίσης một πλήρη πρότυπο για χαρτογράφηση ακτίνων, το οποίο μπορεί να επαναχρησιμοποιηθεί για σκοπούς προσαρμογής φωτισμού.

Άλλα στρώματα στο σύστημα νευρωνικής απόδοσης της Adobe. (κάντε κλικ για να δείτε την πλήρη εκδοχή)

Η αρχική καταγραφή της σκηνής χρησιμοποιεί 250-350 RAW φωτογραφίες από τις οποίες υπολογίζεται ένα mesh μέσω Πολυοπτικής Στερεοσκοπίας. Τα δεδομένα συνοψίζονται σε 2D χάρτες εισαγωγής χαρακτηριστικών που στη συνέχεια επανεγχαράσσονται στην καινούρια προβολή. Οι αλλαγές στο φωτισμό υπολογίζονται με την μέση τιμή των διαφανών και γυαλιστερών στρωμάτων της καταγεγραμμένης σκηνής.

Η ανακλαστική στρώση παράγεται μέσω μιας ταχείας μονής-ακτίνας ανακλαστικής υπολογισμού (μία αναπήδηση), η οποία εκτιμά τις αρχικές πηγές και στη συνέχεια τις στόχους. Οι χάρτες που περιέχουν πληροφορίες για το αρχικό φωτισμό της σκηνής αποθηκεύονται στα νευρωνικά δεδομένα, παρόμοια με τον τρόπο που οι χάρτες ραδιοβολίας αποθηκεύονται συχνά με παραδοσιακά δεδομένα σκηνής CGI.

Λύση Νευρωνικής Απόδοσης Ανακλάσεων

Πιθανότατα η κύρια επίτευξη του έργου είναι η αποσύνδεση της ανακλαστικότητας από τις διαφανείς και άλλες στρώσεις στα δεδομένα. Ο χρόνος υπολογισμού giữται κάτω από τον έλεγχο διασφαλίζοντας ότι οι ζωντανοί “ανακλαστικοί”-ενεργοποιημένες προοπτικές, όπως οι καθρέφτες, υπολογίζονται μόνο για την ενεργό προβολή του χρήστη και όχι για ολόκληρη την σκηνή.

Οι ερευνητές ισχυρίζονται ότι αυτό το έργο αντιπροσωπεύει την πρώτη φορά που οι ικανότητες ανανέωσης έχουν συσχετιστεί με ικανότητες ελεύθερης προοπτικής πλοήγησης σε ένα單ικό πλαίσιο για σκηνές που πρέπει να αναπαράγουν ανακλαστικές επιφάνειες πραγματικά.

Κάποιες θυσίες έχουν γίνει για να επιτευχθεί αυτή η λειτουργικότητα, και οι ερευνητές παραδέχονται ότι προηγούμενες μεθόδους που χρησιμοποιούν πιο σύνθετα mesh ανά προβολή δείχνουν βελτιωμένη γεωμετρία για μικρά αντικείμενα. Οι μελλοντικές κατευθύνσεις για την προσέγγιση της Adobe θα περιλαμβάνουν τη χρήση γεωμετρίας ανά προβολή για να βελτιώσουν αυτό το аспект.