Forscher erstellen AI-gesteuerte Echtzeit-3D-Hologramme auf Smartphones

Smartphones könnten bald in der Lage sein, photorealistische 3D-Hologramme zu generieren, dank eines von Forschern am MIT entwickelten AI-Modells. Das von dem MIT-Team entwickelte AI-System bestimmt die beste Methode, um Hologramme aus einer Reihe von Eingabebildern zu generieren.

Forscher am MIT haben kürzlich AI-Modelle entworfen, die die Generierung von photorealistischen 3D-Hologrammen ermöglichen. Die Technologie könnte Anwendungen für VR- und AR-Headsets haben, und die Hologramme können sogar von einem Smartphone generiert werden.

Anders als herkömmliche 3D- und VR-Displays, die einfach die Illusion von Tiefe erzeugen und die zu Übelkeit und Kopfschmerzen führen können, können holografische Displays von Menschen ohne Augenbelastung betrachtet werden. Ein großes Hindernis auf dem Weg zur Schaffung von holografischen Medien ist die Bewältigung der Daten, die tatsächlich zum Generieren des Hologramms benötigt werden. Jedes Hologramm besteht aus einer enormen Menge an Daten, die zum Erzeugen der “Tiefe” des Hologramms benötigt werden. Aufgrund dessen erfordert die Generierung von Hologrammen in der Regel eine enorme Rechenleistung. Um die holografische Technologie praktischer zu machen, wendete das MIT-Team tiefere konvolutionale neuronale Netze auf das Problem an und schuf ein Netz, das in der Lage ist, Hologramme basierend auf Eingabebildern schnell zu generieren.

Der typische Ansatz zur Generierung von Hologrammen besteht darin, viele Hologramm-Teile zu generieren und dann Physik-Simulationen zu verwenden, um die Teile zu einem vollständigen Bild oder einer vollständigen Darstellung eines Objekts zu kombinieren. Dies unterscheidet sich von dem typischen Ansatz, der zur Generierung von Hologrammen verwendet wird. Im herkömmlichen Verfahren werden Bilder in Teile geschnitten und eine Reihe von Lookup-Tabellen verwendet, um die Hologramm-Teile zusammenzufügen, da die Lookup-Tabellen die Grenzen der verschiedenen Hologramm-Teile markieren. Der Prozess der Definition von Grenzen von holografischen Teilen mit Lookup-Tabellen ist sehr zeitaufwändig und rechenintensiv.

Laut IEEE Spectrum entwarf das MIT-Team eine andere Methode zur Generierung von Hologrammen. Mit der Hilfe von tiefen Lernalgorithmen konnten sie Bilder in Teile schneiden, die mit viel weniger “Schnitten” zu Hologrammen zusammengefügt werden konnten. Die neue Technik nutzt die Fähigkeit von konvolutionalen neuronalen Netzen, Bilder zu analysieren und in separate Teile zu unterteilen. Diese neue Methode der Bildanalyse und -unterteilung reduziert die Anzahl der Gesamtbetriebe, die ein System ausführen muss.

Um ihren AI-gesteuerten Hologramm-Generator zu entwerfen, begann das Forschungsteam mit dem Aufbau einer Datenbank, die aus etwa 4000 computergenerierten Bildern bestand, mit einem entsprechenden 3D-Hologramm, das jedem dieser Bilder zugeordnet war. Das konvolutionale neuronale Netz wurde auf dieser Datenbank trainiert und lernte, wie jedes Bild mit seinem Hologramm verbunden war und wie die Merkmale zum Generieren der Hologramme verwendet werden konnten. Wenn dem AI-System unbeobachtete Daten mit Tiefeninformationen zur Verfügung gestellt wurden, konnte es dann neue Hologramme aus diesen Daten generieren. Die Tiefeninformationen werden durch die Verwendung von Lidar-Sensoren oder Multi-Kamera-Displays bereitgestellt und als computergeneriertes Bild dargestellt. Einige neue iPhone haben diese Komponenten, was bedeutet, dass sie potenziell Hologramme generieren könnten, wenn sie mit dem richtigen Typ von Display verbunden werden.

Das neue AI-gesteuerte Hologramm-System benötigt viel weniger Speicher als die klassischen Methoden. Das System kann 3D-Hologramme mit 60 Bildern pro Sekunde in voller Farbe und einer Auflösung von 1920 x 1080 mit etwa 620 Kilobyte Speicher generieren, während es auf einer einzigen, allgemein verfügbaren GPU läuft. Die Forscher konnten ihr System auf einem iPhone 11 ausführen und etwa 1 Hologramm pro Sekunde erzeugen, während ein Google Edge TPU das System 2 Hologramme pro Sekunde rendern konnte. Dies deutet darauf hin, dass das System an Smartphones, AR-Geräte und VR-Geräte allgemein angepasst werden könnte. Das System könnte auch Anwendungen für volumetrisches 3D-Drucken oder bei der Konstruktion von holografischen Mikroskopen haben.

In der Zukunft könnten Verbesserungen der Technologie die Einführung von Eye-Tracking-Hardware und -Software ermöglichen, die es Hologrammen ermöglicht, dynamisch in der Auflösung zu skalieren, wenn der Benutzer bestimmte Stellen ansieht.