Onderzoekers creëren AI-geactiveerde real-time 3D-hologrammen op smartphones

Smartphones kunnen binnenkort in staat zijn om fotorealistische 3D-hologrammen te genereren, dankzij een door onderzoekers van MIT ontwikkelde AI-model. Het AI-systeem ontwikkeld door het MIT-team bepaalt de beste manier om hologrammen te genereren uit een reeks invoerbeelden.

Onderzoekers van MIT hebben onlangs AI-modellen ontworpen die de generatie van fotorealistische 3D-hologrammen mogelijk maken. De technologie kan toepassingen hebben voor VR- en AR-headsets, en de hologrammen kunnen zelfs worden gegenereerd door een smartphone.

In tegenstelling tot traditionele 3D- en VR-weergaven, die alleen de illusie van diepte creëren en die hoofdpijn en misselijkheid kunnen veroorzaken, kunnen holografische weergaven door mensen worden bekeken zonder oogvermoeidheid te veroorzaken. Een belangrijk obstakel bij de creatie van holografische media is het omgaan met de benodigde gegevens om daadwerkelijk een hologram te genereren. Elk hologram bestaat uit een enorme hoeveelheid gegevens die nodig zijn om de “diepte” van het hologram te creëren. Vanwege dit feit vereist het genereren van hologrammen doorgaans een enorme hoeveelheid rekenkracht. Om holografische technologie meer praktisch te maken, paste het MIT-team diepe convolutionele neurale netwerken toe op het probleem, waardoor een netwerk ontstond dat in staat was om hologrammen snel te genereren op basis van invoerbeelden.

De traditionele aanpak voor het genereren van hologrammen houdt in dat veel stukken hologrammen worden gegenereerd en vervolgens worden samengevoegd tot een complete weergave van een object of beeld met behulp van natuurkundesimulaties. Dit verschilt van de traditionele methode die wordt gebruikt om hologrammen te genereren. In de traditionele methode worden beelden in stukken gesneden en worden lookup-tabellen gebruikt om de hologramstukken samen te voegen, waarbij de lookup-tabellen de grenzen van de verschillende hologramstukken markeren. Het proces van het definiëren van de grenzen van holografische stukken met lookup-tabellen is zeer tijdrovend en rekenkrachtintensief.

Volgens IEEE Spectrum ontwierp het MIT-team een andere methode voor het genereren van hologrammen. Met behulp van de kracht van diepe leer-netwerken konden ze beelden in stukken snijden die konden worden samengesteld tot hologrammen met behulp van veel minder “sneden”. De nieuwe techniek maakt gebruik van de mogelijkheid van convolutionele neurale netwerken om beelden te analyseren en beelden te splitsen in afzonderlijke stukken. Deze nieuwe methode voor het analyseren en splitsen van beelden vermindert aanzienlijk het aantal bewerkingen dat een systeem moet uitvoeren.

Om hun AI-geactiveerde hologramgenerator te ontwerpen, begon het onderzoeksteam met het opbouwen van een database van ongeveer 4000 computer gegenereerde beelden, met een overeenkomstig 3D-hologram voor elk van deze beelden. Het convolutionele neurale netwerk werd getraind op deze dataset, waarbij het leerde hoe elk van de beelden was verbonden met zijn hologram en de beste manier om functies te gebruiken om de hologrammen te genereren. Wanneer het AI-systeem ongezien gegevens met diepte-informatie kreeg, kon het vervolgens nieuwe hologrammen genereren uit deze gegevens. De diepte-informatie wordt geleverd via het gebruik van lidar-sensoren of multi-camera-weergaven en weergegeven als een computer gegenereerd beeld. Sommige nieuwe iPhones hebben deze componenten, wat betekent dat ze potentieel hologrammen kunnen genereren als ze zijn verbonden met het juiste type weergave.

Het nieuwe AI-gestuurde hologramsysteem heeft veel minder geheugen nodig dan de klassieke methoden. Het systeem kan 3D-hologrammen genereren met 60 frames per seconde in volle kleur met een resolutie van 1920 x 1080 met behulp van ongeveer 620 kilobyte geheugen terwijl het draait op een enkele algemeen beschikbare GPU. De onderzoekers konden hun systeem uitvoeren op een iPhone 11, waardoor ongeveer 1 hologram per seconde kon worden gegenereerd, terwijl een Google (GOOGL ) Edge TPU het systeem kon renderen met 2 hologrammen per seconde. Dit suggereert dat het systeem kan worden aangepast voor smartphones, AR-apparaten en VR-apparaten in het algemeen. Het systeem kan ook toepassingen hebben voor volumetrische 3D-printing of in het ontwerp van holografische microscopen.

In de toekomst kunnen verbeteringen in de technologie oogvolgapparatuur en -software introduceren, waardoor hologrammen dynamisch kunnen worden geschaald in resolutie wanneer de gebruiker naar specifieke plaatsen kijkt.