Forskere skaber AI-drevne realtids 3D-hologrammer på smartphones

Smartphones kan snart være i stand til at generere fotorealistiske 3D-hologrammer, takket være en AI-model udviklet af forskere på MIT. AI-systemet, der er udviklet af MIT-holdet, bestemmer den bedste måde at generere hologrammer fra en række inputbilleder.

Forskere fra MIT har nylig designede AI-modeller, der muliggør generationen af fotorealistiske 3D-hologrammer. Teknologien kunne have anvendelser for VR- og AR-headsets, og hologrammerne kan endda genereres af en smartphone.

I modsætning til traditionelle 3D- og VR-skærme, der blot producerer illusionen af dybde og som kan forårsage kvalme og hovedpine, kan holografiske skærme ses af mennesker uden at forårsage øjenskade. En større forhindring for skabelsen af holografisk medie er håndtering af de data, der er nødvendige for at generere hologrammet. Hvert hologram består af en enorm mængde data, der er nødvendig for at skabe “dybden” i hologrammet. På grund af dette kræver generering af holografisk typisk en enorm mængde beregningskraft. For at gøre holografisk teknologi mere praktisk anvendte MIT-holdet dybe convolutionelle neurale netværk på problemet og skabte et netværk, der kan generere hologrammer hurtigt på basis af inputbilleder.

Den typiske tilgang til generering af hologrammer genererer grundlæggende mange stykker af hologrammer og bruger derefter fysiksimuleringer til at kombinere stykkerne til en komplet repræsentation af et objekt eller billede. Dette adskiller sig fra den typiske metode, der bruges til at generere hologrammer. I den traditionelle metode skæres billeder fra og bruges en række opslagstabeller til at kombinere hologramstykkerne, da opslagstabellerne markerer grænserne for de forskellige hologramstykker. Processen med at definere grænser for holografiske stykker med opslagstabeller er ret tidskrævende og kræver meget proceskraft.

Ifølge IEEE Spectrum designede MIT-holdet en anden metode til generering af hologrammer. Ved hjælp af kraften fra dybe neurale netværk kunne de skære billeder i stykker, der kunne kombineres til hologrammer ved hjælp af langt færre “skær”. Den nye teknik udnytter evnen hos convolutionelle neurale netværk til at analysere billeder og separere billeder i separate stykker. Denne nye metode til at analysere og stykke billeder reducerer betydeligt antallet af operationer, som systemet skal udføre.

For at designe deres AI-drevne hologramgenerator begyndte forskningsholdet med at opbygge en database bestående af omkring 4000 computer-genererede billeder med en tilhørende 3D-hologram til hver af disse billeder. Det convolutionelle neurale netværk blev trænet på denne dataset, og det lærte, hvordan hvert af billederne var forbundet med dets hologram og den bedste måde at bruge funktioner til at generere hologrammerne. Når AI-systemet blev præsenteret for usete data med dybdeinformation, kunne det derefter generere nye hologrammer fra disse data. Dybdeinformationen leveres gennem brug af enten lidar-sensorer eller multi-kamera-skærme og renderes som et computer-genereret billede. Nogle nye iPhone-modeller har disse komponenter, hvilket betyder, at de potentielt kan generere hologrammer, hvis de kobles til den rette type skærm.

Det nye AI-drevne hologramsystem behøver langt mindre hukommelse end de klassiske metoder. Systemet kan generere 3D-hologrammer i 60 billeder i sekundet i fuld farve med en opløsning på 1920 x 1080 ved hjælp af omkring 620 kilobyte hukommelse, mens det kører på en enkelt almindelig GPU. Forskerne kunne køre deres system på en iPhone 11, der producerede omkring 1 hologram i sekundet, mens en Google (GOOGL ) Edge TPU kunne rendre 2 hologrammer i sekundet. Dette tyder på, at systemet kunne tilpasses til smartphones, AR-enheder og VR-enheder i almindelighed. Systemet kunne også have anvendelser for volumetrisk 3D-printning eller i designet af holografiske mikroskoper.

I fremtiden kunne forbedringer af teknologien introducere øjnesporingshardware og -software, der muliggør, at hologrammer dynamisk kan ændre opløsning, når brugeren ser på bestemte steder.