Forscher erstellen KI-gestützte Echtzeit-3D-Hologramme auf Smartphones

Smartphones könnten bald in der Lage sein, fotorealistische 3D-Hologramme zu erzeugen, auch dank ein KI-Modell, das von Forschern am MIT entwickelt wurde. Das KI-System Entwickelt vom MIT-Team Bestimmt die beste Methode zum Generieren von Hologrammen aus einer Reihe von Eingabebildern.

Forscher des MIT haben kürzlich KI-Modelle entwickelt, die die Erzeugung fotorealistischer 3D-Hologramme ermöglichen. Die Technologie könnte Anwendung für VR- und AR-Headsets finden, und die Hologramme können sogar von einem Smartphone erzeugt werden.

Im Gegensatz zu herkömmlichen 3D- und VR-Displays, die lediglich die Illusion von Tiefe erzeugen und Übelkeit und Kopfschmerzen verursachen können, können holografische Displays von Menschen gesehen werden, ohne dass es zu einer Belastung der Augen kommt. Ein großes Hindernis bei der Erstellung holografischer Medien ist der Umgang mit den Daten, die zur tatsächlichen Erstellung des Hologramms erforderlich sind. Jedes Hologramm besteht aus einer riesigen Datenmenge, die benötigt wird, um die „Tiefe“ des Hologramms zu erzeugen. Aus diesem Grund erfordert die Erzeugung von Hologrammen typischerweise eine enorme Menge an Rechenleistung. Um die holographische Technologie praktischer zu machen, wandte das MIT-Team Deep Convolutional Neural Networks auf das Problem an und schuf ein Netzwerk, das in der Lage ist, schnell Hologramme auf der Grundlage von Eingabebildern zu erzeugen.

Der typische Ansatz zur Erzeugung von Hologrammen erzeugt im Wesentlichen viele Hologrammblöcke und nutzt dann physikalische Simulationen, um die Blöcke zu einer vollständigen Darstellung eines Objekts oder Bilds zu kombinieren. Dies unterscheidet sich vom typischen Ansatz zur Erzeugung von Hologrammen. Bei der herkömmlichen Methode werden Bilder in Scheiben geschnitten und eine Reihe von Nachschlagetabellen verwendet, um die Hologrammblöcke zusammenzufügen, da die Nachschlagetabellen die Grenzen der verschiedenen Hologrammblöcke markieren. Das Definieren der Grenzen holografischer Blöcke mithilfe von Look-Tables ist recht zeitaufwändig und rechenleistungsintensiv.

Laut IEEE SpectrumDas MIT-Team entwickelte eine weitere Methode zur Erzeugung von Hologrammen. Mithilfe der Leistungsfähigkeit von Deep-Learning-Netzwerken waren sie in der Lage, Bilder in Stücke zu zerlegen, die mit weitaus weniger „Scheiben“ wieder in Hologramme umgewandelt werden konnten. Die neuen Techniken nutzen die Fähigkeit von Faltungs-Neuronalen Netzen, Bilder zu analysieren und Bilder in diskrete Blöcke zu unterteilen. Diese neue Methode zur Analyse und Aufteilung von Bildern reduziert die Anzahl der Gesamtoperationen, die ein System ausführen muss, erheblich.

Um ihren KI-gestützten holografischen Generator zu entwerfen, baute das Forschungsteam zunächst eine Datenbank mit rund 4000 computergenerierten Bildern auf, wobei jedem dieser Bilder ein entsprechendes 3D-Hologramm zugeordnet wurde. Das Faltungs-Neuronale Netzwerk wurde anhand dieses Datensatzes trainiert und lernte, wie jedes der Bilder mit seinem Hologramm verknüpft war und wie Merkmale am besten zur Generierung der Hologramme genutzt werden konnten. Wenn das KI-System unsichtbare Daten mit Tiefeninformationen versorgte, konnte es aus diesen Daten neue Hologramme generieren. Die Tiefeninformationen werden durch die Verwendung von Lidar-Sensoren oder Multikamera-Displays bereitgestellt und als computergeneriertes Bild gerendert. Einige neue iPhones verfügen über diese Komponenten, was bedeutet, dass sie möglicherweise Hologramme erzeugen könnten, wenn sie mit dem richtigen Displaytyp verbunden sind.

Das neue KI-gesteuerte Hologrammsystem benötigt deutlich weniger Speicher als die klassischen Methoden. Das System kann 3D-Hologramme mit 60 Bildern pro Sekunde in Vollfarbe und einer Auflösung von 1920 x 1080 erzeugen und benötigt dazu rund 620 Kilobyte Speicher, während es auf einer einzigen handelsüblichen GPU läuft. Die Forscher konnten ihre Systeme auf einem iPhone 11 betreiben und etwa ein Hologramm pro Sekunde erzeugen, während das System auf einer Google Edge TPU zwei Hologramme pro Sekunde rendern konnte. Dies deutet darauf hin, dass das System an Smartphones, AR-Geräte und VR-Geräte im Allgemeinen angepasst werden könnte. Das System könnte auch im volumetrischen 1D-Druck oder bei der Entwicklung holographischer Mikroskope Anwendung finden.

Zukünftig könnten durch Verbesserungen der Technologie Eye-Tracking-Hardware und -Software eingeführt werden, die es ermöglichen, dass die Auflösung von Hologrammen dynamisch skaliert wird, wenn der Benutzer bestimmte Orte betrachtet.