Ερευνητές Δημιουργούν AI-Ενισχυμένα Τρισδιάστατα Ολογράμματα σε Πραγματικό Χρόνο σε Σ마트φώνες

Τα σ마트φώνη θα μπορούσαν σύντομα να παράγουν φωτορεαλιστικά τρισδιάστατα ολογράμματα, χάρη σε ένα μοντέλο AI που αναπτύχθηκε από ερευνητές στο MIT. Το σύστημα AI που αναπτύχθηκε από την ομάδα του MIT καθορίζει τον καλύτερο τρόπο για να δημιουργήσει ολογράμματα από μια σειρά εικόνων εισόδου.

Ερευνητές από το MIT έχουν σχεδιάσει πρόσφατα μοντέλα AI που επιτρέπουν τη δημιουργία φωτορεαλιστικών τρισδιάστατων ολογραμμάτων. Η τεχνολογία αυτή θα μπορούσε να έχει εφαρμογές για VR και AR γυαλιά, και τα ολογράμματα μπορούν ακόμη και να δημιουργηθούν από ένα σ마트φώνο.

Σε αντίθεση με τις παραδοσιακές οθόνες 3D και VR, οι οποίες απλώς παράγουν την ψευδαίσθηση του βάθους και οι οποίες μπορούν να προκαλέσουν ναυτία και πονοκέφαλο, οι ολογραφικές οθόνες μπορούν να παρατηρηθούν από τους ανθρώπους χωρίς να προκαλούν κόπωση στα μάτια. Ένα σημαντικό εμπόδιο στην δημιουργία ολογραφικών μέσων είναι η διαχείριση των δεδομένων που απαιτούνται για την πραγματική δημιουργία του ολογραμματος. Κάθε ολογράμματος αποτελείται από một τεράστιο ποσό δεδομένων, που απαιτούνται για τη δημιουργία του “βάθους” του ολογραμματος. Λόγω αυτού, η δημιουργία ολογραμμάτων γενικά απαιτεί μια τεράστια ποσότητα υπολογιστικής ισχύος. Για να κάνουν την ολογραφική τεχνολογία πιο πρακτική, η ομάδα του MIT εφαρμόστηκε βαθιά συνβολικά νευρωνικά δίκτυα στο πρόβλημα, δημιουργώντας ένα δίκτυο ικανό να παράγει γρήγορα ολογράμματα με βάση εικόνες εισόδου.

Η τυπική προσέγγιση για τη δημιουργία ολογραμμάτων ουσιαστικά παράγει πολλά τμήματα ολογραμμάτων και στη συνέχεια χρησιμοποιεί προσομοιώσεις φυσικής για να συνδυάσει τα τμήματα σε μια πλήρη αναπαράσταση ενός αντικειμένου ή εικόνας. Αυτό διαφέρει από την τυπική προσέγγιση που χρησιμοποιείται για τη δημιουργία ολογραμμάτων. Στη παραδοσιακή μέθοδο, οι εικόνες κομμάτιονται και μια σειρά πινάκων αναζήτησης χρησιμοποιούνται για να ενωθούν τα τμήματα ολογραμμάτων, καθώς οι πίνακες αναζήτησης σηματοδοτούν τα όρια των διαφορετικών τμημάτων ολογραμμάτων. Η διαδικασία της ορισμού ορίων τμημάτων ολογραμμάτων με πίνακες αναζήτησης είναι khá χρονοβόρα και εντατική σε υπολογιστική ισχύ.

Σύμφωνα με το IEEE Spectrum, η ομάδα του MIT σχεδιάσε μια άλλη μέθοδο για τη δημιουργία ολογραμμάτων. Χρησιμοποιώντας τη δύναμη των βαθιών συνβολικών νευρωνικών δικτύων, ήταν σε θέση να κομμάτισει εικόνες σε τμήματα που θα μπορούσαν να ανασυναρμολογηθούν σε ολογράμματα χρησιμοποιώντας πολύ λιγότερα “τμήματα”. Η νέα τεχνική αξιοποιεί την ικανότητα των συνβολικών νευρωνικών δικτύων να αναλύουν εικόνες και να τις χωρίζουν σε διακριτά τμήματα. Αυτή η νέα μέθοδος ανάλυσης και κομματισμού εικόνων μειώνει σημαντικά τον αριθμό των συνολικών λειτουργιών που πρέπει να εκτελεστούν από το σύστημα.

Για να σχεδιάσουν τον AI-ενισχυμένο γεννήτορα ολογραμμάτων, η ερευνητική ομάδα άρχισε να κατασκευάζει μια βάση δεδομένων που αποτελείται από περίπου 4000 υπολογιστικά γεννημένες εικόνες, με μια αντίστοιχη τρισδιάστατη ολογραφική εικόνα για κάθε μια από αυτές τις εικόνες. Το συνβολικό νευρωνικό δίκτυο εκπαιδεύτηκε σε αυτό το σύνολο δεδομένων, μαθαίνοντας πώς κάθε μια από τις εικόνες συνδέεται με το ολογράμμα της και τον καλύτερο τρόπο για να χρησιμοποιηθούν τα χαρακτηριστικά για τη δημιουργία των ολογραμμάτων. Όταν το σύστημα AI παρέχθηκε με μη είδη δεδομένα με πληροφορίες βάθους, μπορούσε τότε να δημιουργήσει νέα ολογράμματα από αυτά τα δεδομένα. Οι πληροφορίες βάθους παρέχονται μέσω της χρήσης αισθητήρων lidar ή οθονών πολλαπλών καμερών και αποδίδονται ως υπολογιστικά γεννημένες εικόνες. Ορισμένα νέα iPhone έχουν αυτές τις συνιστώσες, που σημαίνει ότι θα μπορούσαν потенτικά να δημιουργήσουν ολογράμματα εάν συνδεθούν με την κατάλληλη οθόνη.

Το νέο AI-κίνητο σύστημα ολογραμμάτων χρειάζεται πολύ λιγότερη μνήμη από τις κλασικές μεθόδους. Το σύστημα μπορεί να δημιουργήσει τρισδιάστατα ολογράμματα με 60 καρέ ανά δευτερόλεπτο σε πλήρη χρώμα με ανάλυση 1920 x 1080 χρησιμοποιώντας περίπου 620 kilobytes μνήμης ενώ εκτελείται σε một seul GPU. Οι ερευνητές ήταν σε θέση να εκτελέσουν το σύστημά τους σε ένα iPhone 11, παράγοντας περίπου 1 ολογράμματα ανά δευτερόλεπτο, ενώ ένα Google Edge TPU το σύστημα θα μπορούσε να αποδίδει 2 ολογράμματα ανά δευτερόλεπτο. Αυτό υποδηλώνει ότι το σύστημα θα μπορούσε να προσαρμοστεί σε σ마트φώνες, συσκευές AR και VR γενικά. Το σύστημα θα μπορούσε επίσης να έχει εφαρμογές για την τρισδιάστατη εκτύπωση ή στο σχεδιασμό ολογραφικών μικροσκοπίων.

Στο μέλλον, οι βελτιώσεις στην τεχνολογία θα μπορούσαν να εισαγάγουν υλικό και λογισμικό παρακολούθησης ματιών, επιτρέποντας στα ολογράμματα να κλιμακώνονται δυναμικά σε ανάλυση καθώς ο χρήστης κοιτάζει συγκεκριμένα σημεία.