Onderzoekers creëren AI-geactiveerde real-time 3D-hologrammen op smartphones

Smartphones zullen mogelijk binnenkort in staat zijn om fotorealistische 3D-hologrammen te genereren, mede dankzij een AI-model ontwikkeld door onderzoekers aan het MIT. Het AI-systeem ontwikkeld door het MIT-team bepaalt de beste manier om hologrammen te genereren uit een reeks invoerbeeldjes.

Onderzoekers van het MIT hebben onlangs AI-modellen ontwikkeld die de generatie van fotorealistische 3D-hologrammen mogelijk maken. De technologie kan toepassingen hebben voor VR- en AR-headsets, en de hologrammen kunnen zelfs worden gegenereerd door een smartphone.

In tegenstelling tot traditionele 3D- en VR-weergaven, die alleen de illusie van diepte creëren en die misselijkheid en hoofdpijn kunnen veroorzaken, kunnen holografische weergaven door mensen worden bekeken zonder oogvermoeidheid te veroorzaken. Een belangrijke belemmering voor de creatie van holografische media is het omgaan met de benodigde gegevens om daadwerkelijk een hologram te genereren. Elk hologram bestaat uit een enorme hoeveelheid gegevens die nodig zijn om de “diepte” van het hologram te creëren. Vanwege dit feit, vereist het genereren van hologrammen meestal een enorme hoeveelheid rekenkracht. Om holografische technologie praktischer te maken, paste het MIT-team diepe convolutionele neurale netwerken toe op het probleem, waardoor een netwerk ontstond dat snel hologrammen kon genereren op basis van invoerbeeldjes.

De traditionele aanpak voor het genereren van hologrammen houdt in dat veel stukjes hologrammen worden gegenereerd en vervolgens fysieke simulaties worden gebruikt om de stukjes te combineren tot een complete weergave van een object of beeld. Dit verschilt van de traditionele aanpak die wordt gebruikt om hologrammen te genereren. Bij de traditionele methode worden beelden in stukjes gesneden en worden lookup-tabellen gebruikt om de hologramstukjes samen te voegen, aangezien de lookup-tabellen de grenzen van de verschillende hologramstukjes markeren. Het proces van het definiëren van de grenzen van holografische stukjes met lookup-tabellen is zeer tijdrovend en vereist veel verwerkingskracht.

Volgens IEEE Spectrum, ontwierp het MIT-team een andere methode voor het genereren van hologrammen. Met behulp van de kracht van diepe leer-netwerken konden ze beelden in stukjes snijden die opnieuw konden worden samengesteld tot hologrammen met veel minder “snijpunten”. De nieuwe techniek maakt gebruik van de mogelijkheid van convolutionele neurale netwerken om beelden te analyseren en beelden te splitsen in discrete stukjes. Deze nieuwe methode voor het analyseren en splitsen van beelden vermindert het aantal totale bewerkingen dat een systeem moet uitvoeren aanzienlijk.

Om hun AI-geactiveerde holografische generator te ontwerpen, begon het onderzoeksteam met het construeren van een database van ongeveer 4000 computer gegenereerde beelden, met een overeenkomstig 3D-hologram voor elk van deze beelden. Het convolutionele neurale netwerk werd getraind op deze dataset, waarbij het leerde hoe elk van de beelden was verbonden met zijn hologram en de beste manier om kenmerken te gebruiken om de hologrammen te genereren. Wanneer het AI-systeem ongeziene gegevens met diepte-informatie kreeg, kon het vervolgens nieuwe hologrammen genereren uit deze gegevens. De diepte-informatie wordt geleverd door middel van het gebruik van lidar-sensoren of multi-camera-weergaven en wordt weergegeven als een computer gegenereerd beeld. Sommige nieuwe iPhones hebben deze componenten, wat betekent dat ze mogelijk hologrammen kunnen genereren als ze zijn verbonden met het juiste type weergave.

Het nieuwe AI-gestuurde hologram-systeem heeft veel minder geheugen nodig dan de klassieke methoden. Het systeem kan 3D-hologrammen genereren met 60 frames per seconde in volle kleur met een resolutie van 1920 x 1080 met ongeveer 620 kilobyte geheugen, terwijl het draait op een enkele algemeen beschikbare GPU. De onderzoekers konden hun systeem uitvoeren op een iPhone 11, waardoor ongeveer 1 hologram per seconde kon worden gegenereerd, terwijl een Google Edge TPU het systeem kon renderen met 2 hologrammen per seconde. Dit suggereert dat het systeem kan worden aangepast voor smartphones, AR-apparaten en VR-apparaten in het algemeen. Het systeem kan ook toepassingen hebben voor volumetrische 3D-printen of in het ontwerp van holografische microscopen.

In de toekomst kunnen verbeteringen in de technologie oogvolgapparatuur en -software introduceren, waardoor hologrammen dynamisch kunnen schalen in resolutie wanneer de gebruiker naar specifieke plaatsen kijkt.