Forscher erstellen AI-gesteuerte Echtzeit-3D-Hologramme auf Smartphones

Smartphones könnten bald in der Lage sein, photorealistische 3D-Hologramme zu generieren, dank eines von Forschern am MIT entwickelten AI-Modells. Das AI-System, das von dem MIT-Team entwickelt wurde, bestimmt die beste Methode, um Hologramme aus einer Reihe von Eingabebildern zu generieren.

Forscher am MIT haben kürzlich AI-Modelle entwickelt, die die Erstellung von photorealistischen 3D-Hologrammen ermöglichen. Die Technologie könnte Anwendungen für VR- und AR-Headsets haben, und die Hologramme können sogar von einem Smartphone generiert werden.

Im Gegensatz zu herkömmlichen 3D- und VR-Displays, die nur die Illusion von Tiefe erzeugen und die zu Übelkeit und Kopfschmerzen führen können, können holografische Displays von Menschen ohne Augenbelastung betrachtet werden. Ein großes Hindernis bei der Erstellung von holografischen Medien ist die Handhabung der Daten, die tatsächlich zur Erzeugung des Hologramms benötigt werden. Jedes Hologramm besteht aus einer enormen Menge an Daten, die zur Erzeugung der “Tiefe” des Hologramms benötigt werden. Aufgrund dessen erfordert die Erzeugung von Hologrammen normalerweise eine enorme Rechenleistung. Um die holografische Technologie praktischer zu machen, wandte das MIT-Team tiefere konvolutionale neuronale Netze auf das Problem an und erstellte ein Netz, das in der Lage ist, Hologramme schnell auf der Grundlage von Eingabebildern zu generieren.

Der typische Ansatz für die Erzeugung von Hologrammen generiert im Wesentlichen viele Hologramm-Teile und verwendet dann Physik-Simulationen, um die Teile zu einem vollständigen Objekt oder Bild zu kombinieren. Dies unterscheidet sich von dem typischen Ansatz, der zur Erzeugung von Hologrammen verwendet wird. Im herkömmlichen Verfahren werden Bilder in Teile geschnitten und eine Reihe von Lookup-Tabellen wird verwendet, um die Hologramm-Teile zusammenzufügen, da die Lookup-Tabellen die Grenzen der verschiedenen Hologramm-Teile markieren. Der Prozess der Definition von Grenzen von holografischen Teilen mit Lookup-Tabellen ist sehr zeitaufwändig und rechenintensiv.

Laut IEEE Spectrum entwarf das MIT-Team eine andere Methode zur Erzeugung von Hologrammen. Mit der Kraft von Deep-Learning-Netzwerken konnten sie Bilder in Teile schneiden, die mit viel weniger “Schnitten” zu Hologrammen zusammengefügt werden konnten. Die neue Technik nutzt die Fähigkeit von konvolutionalen neuronalen Netzen, Bilder zu analysieren und in separate Teile zu unterteilen. Diese neue Methode der Bildanalyse und -unterteilung reduziert die Anzahl der Operationen, die ein System durchführen muss, erheblich.

Um ihren AI-gesteuerten Hologramm-Generator zu entwerfen, begann das Forschungsteam mit dem Aufbau einer Datenbank, die aus etwa 4000 computer-generierten Bildern bestand, mit einem entsprechenden 3D-Hologramm, das jedem dieser Bilder zugeordnet war. Das konvolutionale neuronale Netz wurde auf dieser Datenbank trainiert und lernte, wie jedes der Bilder mit seinem Hologramm verbunden war und wie die Merkmale zur Erzeugung der Hologramme verwendet werden konnten. Wenn das AI-System mit unbekannten Daten mit Tiefeninformationen versorgt wurde, konnte es dann neue Hologramme aus diesen Daten erzeugen. Die Tiefeninformationen werden durch den Einsatz von Lidar-Sensoren oder Multi-Kamera-Displays und als computer-generiertes Bild bereitgestellt. Einige neue iPhone-Modelle verfügen über diese Komponenten, was bedeutet, dass sie möglicherweise Hologramme erzeugen könnten, wenn sie mit dem richtigen Typ von Display verbunden werden.

Das neue AI-gesteuerte Hologramm-System benötigt viel weniger Speicher als die klassischen Methoden. Das System kann 3D-Hologramme mit 60 Bildern pro Sekunde in voller Farbe und einer Auflösung von 1920 x 1080 mit etwa 620 Kilobyte Speicher generieren, während es auf einer einzigen allgemein verfügbaren GPU läuft. Die Forscher konnten ihr System auf einem iPhone 11 ausführen und etwa 1 Hologramm pro Sekunde erzeugen, während ein Google Edge TPU das System 2 Hologramme pro Sekunde rendern konnte. Dies deutet darauf hin, dass das System für Smartphones, AR-Geräte und VR-Geräte in allgemeiner Weise angepasst werden könnte. Das System könnte auch Anwendungen für das volumetrische 3D-Drucken oder für die Gestaltung von holografischen Mikroskopen haben.

In der Zukunft könnten Verbesserungen der Technologie die Einführung von Eye-Tracking-Hardware und -Software ermöglichen, die es Hologrammen ermöglichen, ihre Auflösung dynamisch anzupassen, wenn der Benutzer bestimmte Stellen ansieht.