Forskere utvikler AI-drevne sanntids 3D-hologrammer på smarttelefoner

Smarttelefoner kan snart kunne generere fotorealistiske 3D-hologrammer, takket være en AI-modell utviklet av forskere ved MIT. AI-systemet utviklet av MIT-teamet bestemmer den beste måten å generere hologrammer fra en rekke innputtbilder.

Forskere fra MIT har nylig designet AI-modeller som muliggjør generering av fotorealistiske 3D-hologrammer. Teknologien kan ha anvendelser for VR- og AR-hoder, og hologrammene kan sogar genereres av en smarttelefon.

I motsetning til tradisjonelle 3D- og VR-skjermer, som bare produserer illusjonen av dybde og som kan forårsake kvalme og hodepine, kan holografiske skjermer sees av mennesker uten å forårsake øyespenning. En stor hindring mot skapning av holografisk media er å håndtere dataene som trengs for å faktisk generere hologrammet. Hvert hologram består av en enorm mengde data, nødvendig for å skape “dybden” hologrammet har. På grunn av dette, krever generering av holografiske data vanligvis en enorm mengde beregningskraft. For å gjøre holografisk teknologi mer praktisk, anvendte MIT-teamet dype konvolusjonsneurale nettverk på problemet, og skapte et nettverk i stand til å raskt generere hologrammer basert på innputtbilder.

Den typiske metoden for å generere hologrammer genererer essensielt mange biter av hologrammer og bruker deretter fysikk-simuleringer for å kombinere bitene til en fullstendig representasjon av et objekt eller bilde. Dette skiller seg fra den typiske metoden som brukes til å generere hologrammer. I den tradisjonelle metoden, skjæres bildene fra hverandre og en rekke oppslagstabeller brukes for å kombinere hologrambitene sammen, ettersom oppslagstabellene markerer grensene for de forskjellige hologrambitene. Prosessen med å definere grensene for holografiske biter med oppslagstabeller er ganske tidskrevende og krever mye beregningskraft.

Ifølge IEEE Spectrum, designet MIT-teamet en annen metode for å generere hologrammer. Ved å bruke kraften fra dype lærenettverk, kunne de skjære bildene i biter som kunne kombineres til hologrammer ved å bruke langt færre “skjær”. Den nye teknikken tar fordel av evnen til konvolusjonsneurale nettverk til å analysere bilder og skille bilder fra hverandre i separate biter. Denne nye metoden for å analysere og skille bilder reduserer betydelig antall operasjoner systemet må utføre.

For å designe deres AI-drevne hologramgenerator, begynte forskningsteamet med å bygge en database bestående av omtrent 4000 datagenererte bilder, med en tilhørende 3D-hologram for hver av disse bildene. Konvolusjonsneuralt nettverk ble trent på denne datasetten, og lærte hvordan hver av bildene var knyttet til sitt hologram og den beste måten å bruke funksjoner for å generere hologrammene. Når AI-systemet ble gitt usette data med dybdeinformasjon, kunne det deretter generere nye hologrammer fra disse dataene. Dybdeinformasjonen leveres gjennom bruk av enten lidar-sensorer eller flerkamera-skjermer og rendres som et datagenerert bilde. Noen nye iPhone-modeller har disse komponentene, hvilket betyr at de potensielt kan generere hologrammene hvis de kobles til riktig type skjerm.

Det nye AI-drevne hologramsystemet trenger mye mindre minne enn de klassiske metodene. Systemet kan generere 3D-hologrammer i 60 bilder per sekund i full farge med en oppløsning på 1920 x 1080 ved å bruke omtrent 620 kilobyte minne, mens det kjører på en enkelt vanlig tilgjengelig GPU. Forskerne kunne kjøre sine systemer på en iPhone 11 og produsere omtrent 1 hologram per sekund, mens en Google (GOOGL ) Edge TPU kunne rendre 2 hologrammer per sekund. Dette antyder at systemet kan tilpasses smarttelefoner, AR-enheter og VR-enheter i alminnelighet. Systemet kan også ha anvendelser for volumetrisk 3D-utskrift eller i design av holografiske mikroskoper.

I fremtiden kan forbedringer av teknologien introdusere øyesporings-hardware og -programvare, som muliggjør at hologrammene kan skaleres dynamisk i oppløsning når brukeren ser på bestemte steder.