Onderzoekers maken AI-aangedreven real-time 3D-hologrammen op smartphones

Mede dankzij Smartphones kunnen binnenkort fotorealistische 3D-hologrammen worden gemaakt een AI-model ontwikkeld door onderzoekers van MIT. Het AI-systeem ontwikkeld door het MIT-team bepaalt de beste manier om hologrammen te genereren uit een reeks invoerafbeeldingen.

Onderzoekers van MIT hebben onlangs AI-modellen ontworpen die het genereren van fotorealistische 3D-hologrammen mogelijk maken. De technologie zou toepassingen kunnen hebben voor VR- en AR-headsets, en de hologrammen kunnen zelfs door een smartphone worden gegenereerd.

In tegenstelling tot traditionele 3D- en VR-beeldschermen, die simpelweg de illusie van diepte wekken en misselijkheid en hoofdpijn kunnen veroorzaken, kunnen mensen holografische beeldschermen zien zonder vermoeide ogen te veroorzaken. Een belangrijke belemmering voor het maken van holografische media is het omgaan met de gegevens die nodig zijn om het hologram daadwerkelijk te genereren. Elk hologram bestaat uit een enorme hoeveelheid gegevens die nodig zijn om de "diepte" te creëren die het hologram heeft. Hierdoor vereist het genereren van holografische gegevens doorgaans een enorme hoeveelheid rekenkracht. Om holografische technologie praktischer te maken, paste het MIT-team diepe convolutionele neurale netwerken toe op het probleem, waardoor een netwerk ontstond dat snel hologrammen kon genereren op basis van invoerbeelden.

De typische benadering voor het genereren van hologrammen genereerde in wezen veel stukken hologrammen en gebruikte vervolgens natuurkundige simulaties om de stukken te combineren tot een volledige weergave van een object of afbeelding. Dit verschilt van de typische aanpak die wordt gebruikt om hologrammen te genereren. Bij de traditionele methode worden afbeeldingen uit elkaar gesneden en wordt een reeks opzoektabellen gebruikt om de hologrambrokken samen te voegen, aangezien de opzoektabellen de grenzen van de verschillende hologrambrokken markeren. Het proces van het definiëren van de grenzen van holografische chunks met kijktabellen is nogal tijdrovend en rekenintensief.

Volgens IEEE Spectrum, Het MIT-team ontwierp een andere methode om hologrammen te genereren. Door gebruik te maken van de kracht van deep learning-netwerken, waren ze in staat afbeeldingen op te splitsen in brokken die opnieuw konden worden samengevoegd tot hologrammen met veel minder "plakjes". De nieuwe technieken maken gebruik van het vermogen van convolutionele neurale netwerken om beelden te analyseren en beelden te scheiden in discrete brokken. Deze nieuwe methode voor het analyseren en indelen van beelden vermindert het totale aantal bewerkingen dat een systeem moet uitvoeren aanzienlijk.

Om hun AI-aangedreven holografische generator te ontwerpen, begon het onderzoeksteam met het opbouwen van een database bestaande uit ongeveer 4000 door de computer gegenereerde afbeeldingen, met een bijbehorend 3D-hologram toegewezen aan elk van deze afbeeldingen. Het convolutionele neurale netwerk werd op deze dataset getraind, waarbij werd geleerd hoe elk van de afbeeldingen verband hield met het bijbehorende hologram en hoe de functies het beste konden worden gebruikt om de hologrammen te genereren. Wanneer het AI-systeem ongeziene data van diepte-informatie kreeg, kon het uit deze data nieuwe hologrammen genereren. De diepte-informatie wordt geleverd door het gebruik van lidar-sensoren van beeldschermen met meerdere camera's en weergegeven als een door de computer gegenereerd beeld. Sommige nieuwe iPhones hebben deze componenten, wat betekent dat ze mogelijk hologrammen kunnen genereren als ze aan het juiste type scherm worden gekoppeld.

Het nieuwe AI-gestuurde hologramsysteem heeft veel minder geheugen nodig dan de klassieke methodes. Het systeem kan 3D-hologrammen genereren met 60 frames per seconde in kleur met een resolutie van 1920 x 1080 met ongeveer 620 kilobyte geheugen terwijl het op een enkele algemeen verkrijgbare GPU draait. De onderzoekers konden hun systemen draaien op een iPhone 11 die ongeveer 1 hologram per seconde produceerde, terwijl een Google Edge TPU het systeem 2 hologrammen per seconde kon weergeven. Dit suggereert dat het systeem kan worden aangepast aan smartphones, AR-apparaten en VR-apparaten in het algemeen. Het systeem zou ook toepassingen kunnen hebben voor volumetrisch 3D-printen of bij het ontwerpen van holografische microscopen.

In de toekomst zouden verbeteringen aan de technologie eye-tracking hardware en software kunnen introduceren, waardoor hologrammen dynamisch in resolutie kunnen worden geschaald terwijl de gebruiker naar bepaalde plaatsen kijkt.