Ερευνητές δημιουργούν τρισδιάστατα ολογράμματα σε πραγματικό χρόνο με τεχνητή νοημοσύνη σε smartphone

Τα smartphone θα μπορούν σύντομα να δημιουργούν φωτορεαλιστικά τρισδιάστατα ολογράμματα, εν μέρει ένα μοντέλο AI που αναπτύχθηκε από ερευνητές στο MIT. Το σύστημα AI που αναπτύχθηκε από την ομάδα του MIT καθορίζει τον καλύτερο τρόπο δημιουργίας ολογραμμάτων από μια σειρά εικόνων εισόδου.

Ερευνητές από το MIT σχεδίασαν πρόσφατα μοντέλα AI που επιτρέπουν τη δημιουργία φωτορεαλιστικών τρισδιάστατων ολογραμμάτων. Η τεχνολογία θα μπορούσε να έχει εφαρμογές για ακουστικά VR και AR, ενώ τα ολογράμματα μπορούν να δημιουργηθούν ακόμη και από ένα smartphone.

Σε αντίθεση με τις παραδοσιακές οθόνες 3D και VR, οι οποίες απλώς παράγουν την ψευδαίσθηση του βάθους και που μπορεί να προκαλέσουν ναυτία και πονοκεφάλους, οι ολογραφικές οθόνες μπορούν να δουν οι άνθρωποι χωρίς να προκαλούν καταπόνηση των ματιών. Ένα σημαντικό εμπόδιο προς τη δημιουργία ολογραφικών μέσων είναι ο χειρισμός των δεδομένων που απαιτούνται για την πραγματική δημιουργία του ολογράφου. Κάθε ολόγραμμα αποτελείται από έναν τεράστιο όγκο δεδομένων, που απαιτούνται για τη δημιουργία του «βάθους» που έχει το ολόγραμμα. Εξαιτίας αυτού, η δημιουργία ολογραφικών απαιτεί συνήθως μια τεράστια ποσότητα υπολογιστικής ισχύος. Προκειμένου να γίνει πιο πρακτική η ολογραφική τεχνολογία, η ομάδα του MIT εφάρμοσε βαθιά συνελικτικά νευρωνικά δίκτυα στο πρόβλημα, δημιουργώντας ένα δίκτυο ικανό να παράγει γρήγορα ολογράμματα με βάση τις εικόνες εισόδου.

Η τυπική προσέγγιση για τη δημιουργία ολογραμμάτων ουσιαστικά δημιούργησε πολλά κομμάτια ολογραμμάτων και στη συνέχεια χρησιμοποίησε προσομοιώσεις φυσικής για να συνδυάσει τα κομμάτια σε μια πλήρη αναπαράσταση ενός αντικειμένου ή εικόνας. Αυτό διαφέρει από την τυπική προσέγγιση που χρησιμοποιείται για τη δημιουργία ολογραμμάτων. Στην παραδοσιακή μέθοδο, οι εικόνες χωρίζονται σε φέτες και μια σειρά από πίνακες αναζήτησης χρησιμοποιούνται για να ενώσουν τα κομμάτια ολογράμματος μεταξύ τους, καθώς οι πίνακες αναζήτησης επισημαίνουν τα όρια των διαφορετικών τμημάτων ολογραμμάτων. Η διαδικασία καθορισμού των ορίων των ολογραφικών κομματιών με πίνακες εμφάνισης είναι αρκετά χρονοβόρα και ένταση επεξεργασίας.

Σύμφωνα με το IEEE Spectrum, Η ομάδα του MIT σχεδίασε μια άλλη μέθοδο παραγωγής ολογραμμάτων. Χρησιμοποιώντας τη δύναμη των δικτύων βαθιάς εκμάθησης, μπόρεσαν να κόψουν τις εικόνες σε κομμάτια που θα μπορούσαν να επανασυμμορφωθούν σε ολογράμματα χρησιμοποιώντας πολύ λιγότερες «φέτες». Οι νέες τεχνικές εκμεταλλεύονται την ικανότητα των συνελικτικών νευρωνικών δικτύων να αναλύουν εικόνες και να διαχωρίζουν τις εικόνες σε διακριτά κομμάτια. Αυτή η νέα μέθοδος ανάλυσης και τμηματοποίησης εικόνων μειώνει σημαντικά τον αριθμό των συνολικών λειτουργιών που πρέπει να πραγματοποιήσει ένα σύστημα.

Προκειμένου να σχεδιάσει την ολογραφική γεννήτριά της με τεχνητή νοημοσύνη, η ερευνητική ομάδα ξεκίνησε με την κατασκευή μιας βάσης δεδομένων που αποτελείται από περίπου 4000 εικόνες που δημιουργούνται από υπολογιστή, με ένα αντίστοιχο τρισδιάστατο ολόγραμμα για κάθε μία από αυτές τις εικόνες. Το συνελικτικό νευρωνικό δίκτυο εκπαιδεύτηκε σε αυτό το σύνολο δεδομένων, μαθαίνοντας πώς κάθε μία από τις εικόνες ήταν συνδεδεμένη με το ολόγραμμά της και τον καλύτερο τρόπο χρήσης χαρακτηριστικών για τη δημιουργία των ολογραμμάτων. Όταν στο σύστημα AI παρείχαν αόρατα δεδομένα με πληροφορίες βάθους, θα μπορούσε στη συνέχεια να δημιουργήσει νέα ολογράμματα από αυτά τα δεδομένα. Οι πληροφορίες βάθους παρέχονται μέσω της χρήσης είτε των αισθητήρων lidar οθονών πολλαπλών καμερών και αποδίδονται ως εικόνα που δημιουργείται από υπολογιστή. Ορισμένα νέα iPhone διαθέτουν αυτά τα στοιχεία, πράγμα που σημαίνει ότι θα μπορούσαν ενδεχομένως να δημιουργήσουν τα ολογράμματα εάν συνδεθούν με τον σωστό τύπο οθόνης.

Το νέο σύστημα ολογραμμάτων που βασίζεται σε AI χρειάζεται πολύ λιγότερη μνήμη από τις κλασικές μεθόδους. Το σύστημα μπορεί να δημιουργήσει τρισδιάστατα ολογράμματα σε 3 καρέ το δευτερόλεπτο σε πλήρες χρώμα με ανάλυση 60 x 1920 χρησιμοποιώντας περίπου 1080 kilobyte μνήμης ενώ εκτελείται σε μια ενιαία συνήθως διαθέσιμη GPU. Οι ερευνητές μπόρεσαν να λειτουργήσουν τα συστήματά τους σε ένα iPhone 620 που παράγει περίπου 11 ολόγραμμα το δευτερόλεπτο, ενώ ένα Google Edge TPU το σύστημα μπορούσε να αποδώσει 1 ολογράμματα ανά δευτερόλεπτο. Αυτό υποδηλώνει ότι το σύστημα θα μπορούσε να προσαρμοστεί σε smartphone, συσκευές AR και συσκευές VR γενικά. Το σύστημα θα μπορούσε επίσης να έχει εφαρμογές για ογκομετρική τρισδιάστατη εκτύπωση ή στο σχεδιασμό ολογραφικών μικροσκοπίων.

Στο μέλλον, βελτιώσεις στην τεχνολογία θα μπορούσαν να εισάγουν υλικό και λογισμικό παρακολούθησης ματιών, επιτρέποντας στα ολογράμματα να κλιμακώνονται δυναμικά σε ανάλυση καθώς ο χρήστης κοιτάζει σε συγκεκριμένα μέρη.