Forskere skaber AI-drevne realtids 3D-hologrammer på smartphones

Smartphones kunne snart være i stand til at generere fotorealistiske 3D-hologrammer, takket være en AI-model udviklet af forskere på MIT. AI-systemet udviklet af MIT-holdet bestemmer den bedste måde at generere hologrammer fra en række inputbilleder.

Forskere fra MIT har for nylig designet AI-modeller, der muliggør generering af fotorealistiske 3D-hologrammer. Teknologien kunne have anvendelser for VR- og AR-headsets, og hologrammerne kan endda genereres af en smartphone.

I modsætning til traditionelle 3D- og VR-skærme, der blot producerer illusionen af dybde og som kan forårsage kvalme og hovedpine, kan holografiske skærme ses af mennesker uden at forårsage øjenskade. En større hindring for skabelsen af holografisk medie er håndtering af de data, der er nødvendige for at generere hologrammet. Hvert hologram består af en massevis af data, der er nødvendig for at skabe “dybden” i hologrammet. På grund af dette kræver generering af holografisk typisk en masse beregningskraft. For at gøre holografisk teknologi mere praktisk anvendte MIT-holdet dybe convolutionelle neurale netværk på problemet og skabte et netværk, der kan generere hologrammer hurtigt på basis af inputbilleder.

Den typiske tilgang til generering af hologrammer genererer grundlæggende mange stykker af hologrammer og bruger derefter fysiksimuleringer til at kombinere stykkerne til en komplet repræsentation af et objekt eller billede. Dette adskiller sig fra den typiske metode, der anvendes til at generere hologrammer. I den traditionelle metode skæres billeder fra og bruges en række opslagstabeller til at samle hologramstykkerne sammen, da opslagstabellerne markerer grænserne for de forskellige hologramstykker. Processen med at definere grænser for holografiske stykker med opslagstabeller er ret tidskrævende og kræver meget proceskraft.

Ifølge IEEE Spectrum designede MIT-holdet en anden metode til generering af hologrammer. Ved hjælp af kraften fra dybe lærenetværk kunne de skære billeder i stykker, der kunne gen-samles til hologrammer med langt færre “skær”. Den nye teknik udnytter convolutionelle neurale netværks evne til at analysere billeder og adskille billeder i separate stykker. Denne nye metode til analyse og opdeling af billeder reducerer betydeligt antallet af operationer, der skal udføres af systemet.

For at designe deres AI-drevne hologramgenerator begyndte forskerholdet med at opbygge en database bestående af omkring 4000 computer-genererede billeder med en tilhørende 3D-hologram til hver af disse billeder. Convolutionelt neuralt netværk blev trænet på denne dataset, og det lærte, hvordan hver af billederne var forbundet med dets hologram og den bedste måde at bruge funktioner til at generere hologrammerne. Når AI-systemet fik usete data med dybdeinformation, kunne det derefter generere nye hologrammer fra disse data. Dybdeinformationen leveres gennem brug af enten lidar-sensorer eller multi-kamera-skærme og renderes som et computer-genereret billede. Nogle nye iPhone har disse komponenter, hvilket betyder, at de potentielt kunne generere hologrammerne, hvis de var forbundet til den rette type skærm.

Det nye AI-drevne hologramsystem kræver langt mindre hukommelse end de klassiske metoder. Systemet kan generere 3D-hologrammer med 60 billeder i sekundet i fuld farve med en opløsning på 1920 x 1080 ved hjælp af omkring 620 kilobyte hukommelse, mens det køres på en enkelt almindelig GPU. Forskerne kunne køre deres system på en iPhone 11 og producere omkring 1 hologram i sekundet, mens en Google Edge TPU-system kunne renderere 2 hologrammer per sekund. Dette antyder, at systemet kunne tilpasses til smartphones, AR-enheder og VR-enheder generelt. Systemet kunne også have anvendelser for volumetrisk 3D-printning eller i design af holografiske mikroskoper.

I fremtiden kunne forbedringer af teknologien introducere øjnesporings-hardware og -software, der muliggør, at hologrammer kan dynamisk skaleres i opløsning, efterhånden som brugeren ser på bestemte steder.