Forskere utvikler AI-drevne sanntids 3D-hologrammer på smarttelefoner

Smarttelefoner kan snart være i stand til å generere fotorealistiske 3D-hologrammer, takket være en AI-modell utviklet av forskere ved MIT. AI-systemet utviklet av MIT-teamet bestemmer den beste måten å generere hologrammer fra en rekke innputtbilder.

Forskere fra MIT har nylig designet AI-modeller som muliggjør generering av fotorealistiske 3D-hologrammer. Teknologien kan ha anvendelser for VR- og AR-briller, og hologrammene kan sogar genereres av en smarttelefon.

I motsetning til tradisjonelle 3D- og VR-skjermer, som bare produserer illusjonen av dybde og som kan forårsake kvalme og hodepine, kan holografiske skjermer sees av mennesker uten å forårsake øyespenning. En stor hindring mot skapelsen av holografisk media er å håndtere dataene som trengs for å faktisk generere hologrammet. Hvert hologram består av en enorm mengde data, nødvendig for å skape “dybden” hologrammet har. På grunn av dette, krever generering av holografiske typisk en enorm mengde beregningskraft. For å gjøre holografisk teknologi mer praktisk, anvendte MIT-teamet dype konvolusjonsneurale nettverk på problemet, og skapte et nettverk i stand til å raskt generere hologrammer basert på innputtbilder.

Den typiske tilnærmingen for å generere hologrammer genererer essensielt mange biter av hologrammer og bruker deretter fysikk-simuleringer for å kombinere bitene til en fullstendig representasjon av et objekt eller bilde. Dette skiller seg fra den typiske metoden som brukes til å generere hologrammer. I den tradisjonelle metoden, skjæres bildene fra hverandre og en rekke oppslagstabeller brukes til å kombinere hologram-bitene sammen, ettersom oppslagstabellene markerer grensene for de forskjellige hologram-bitene. Prosessen med å definere grensene for holografiske biter med oppslagstabeller er ganske tidskrevende og prosessorkraft-intensiv.

Ifølge IEEE Spectrum, designet MIT-teamet en annen metode for å generere hologrammer. Ved å bruke kraften fra dype læringsnettverk, kunne de skjære bildene i biter som kunne re-kombineres til hologrammer med langt færre “skiver”. Den nye teknikken tar fordel av evnen til konvolusjonsneurale nettverk til å analysere bilder og separere bilder i diskrete biter. Denne nye metoden for å analysere og skjære bilder reduserer betydelig antallet totale operasjoner et system må utføre.

For å designe deres AI-drevne holografiske generator, begynte forskningsteamet med å konstruere en database bestående av rundt 4000 datagenererte bilder, med en tilhørende 3D-hologram tilordnet hvert av disse bildene. Konvolusjonsneuralt nettverk ble trent på denne datasetten, og lærte hvordan hvert av bildene var knyttet til sitt hologram og den beste måten å bruke funksjoner til å generere hologrammene. Når AI-systemet ble gitt usette data med dybdeinformasjon, kunne det deretter generere nye hologrammer fra disse dataene. Dybdeinformasjonen leveres gjennom bruk av enten lidar-sensorer eller flerkamera-skjermer og rendre som et datagenerert bilde. Noen nye iPhone har disse komponentene, noe som betyr at de potensielt kunne generere hologrammene hvis de var koblet til riktig type skjerm.

Det nye AI-drevne hologramsystemet trenger mye mindre minne enn de klassiske metodene. Systemet kan generere 3D-hologrammer med 60 bilder per sekund i full farge med en oppløsning på 1920 x 1080 ved å bruke rundt 620 kilobyte minne mens det kjører på en enkelt vanlig GPU. Forskerne kunne kjøre deres systemer på en iPhone 11 og produsere rundt 1 hologram per sekund, mens en Google Edge TPU-systemet kunne rendre 2 hologrammer per sekund. Dette antyder at systemet kunne tilpasses smarttelefoner, AR-enheter og VR-enheter generelt. Systemet kunne også ha anvendelser for volumetrisk 3D-utskrift eller i design av holografiske mikroskoper.

I fremtiden kan forbedringer av teknologien introdusere øye-sporings-hardware og -programvare, som muliggjør at hologrammene kan skaleres dynamisk i oppløsning når brukeren ser på bestemte steder.