Forskare Skapar AI-Drivna Realtids 3D-Hologram På Smarttelefoner

Smarttelefoner kan snart kunna generera fotorealistiska 3D-hologram, tack vare en AI-modell som utvecklats av forskare vid MIT. AI-systemet som utvecklats av MIT-teamet bestämmer det bästa sättet att generera hologram från en serie indatabilder.

Forskare från MIT har nyligen designat AI-modeller som möjliggör generering av fotorealistiska 3D-hologram. Teknologin kan ha tillämpningar för VR- och AR-headset, och hologrammen kan till och med genereras av en smarttelefon.

Till skillnad från traditionella 3D- och VR-skärmar, som bara skapar illusionen av djup och som kan orsaka yrsel och huvudvärk, kan holografiska skärmar ses av människor utan att orsaka ögonbelastning. Ett stort hinder för skapandet av holografiska medier är hanteringen av den data som behövs för att faktiskt generera hologrammet. Varje hologram består av en enorm mängd data, som behövs för att skapa “djupet” i hologrammet. På grund av detta kräver generering av hologram vanligtvis en enorm mängd beräkningskraft. För att göra holografisk teknik mer praktisk tillämpade MIT-teamet djupa konvolutionsneuronnät på problemet, och skapade ett nätverk som kan generera hologram snabbt baserat på indatabilder.

Den typiska metoden för att generera hologram genererar i princip många bitar av hologram och använder sedan fysiksimuleringar för att kombinera bitarna till en komplett representation av ett föremål eller en bild. Detta skiljer sig från den typiska metoden som används för att generera hologram. I den traditionella metoden skärs bilder upp i bitar och en serie söktabeller används för att kombinera hologrambitarna, eftersom söktabellerna markerar gränserna för de olika hologrambitarna. Processen att definiera gränser för holografiska bitar med söktabeller är ganska tidskrävande och kräver mycket bearbetningskraft.

Enligt IEEE Spectrum har MIT-teamet designat en annan metod för att generera hologram. Med hjälp av kraften från djupa neurala nätverk kunde de skära upp bilder i bitar som kunde sättas samman till hologram med mycket färre “skivor”. Den nya tekniken utnyttjar förmågan hos konvolutionsneuronnät att analysera bilder och separera bilder i diskreta bitar. Denna nya metod för att analysera och dela upp bilder minskar avsevärt antalet totala operationer som systemet måste utföra.

För att designa sin AI-drivna hologramgenerator började forskarteamet med att bygga en databas som bestod av cirka 4000 datorgenererade bilder, med en motsvarande 3D-hologram tilldelad var och en av dessa bilder. Konvolutionsneuronnätverket tränades på denna dataset, och lärde sig hur var och en av bilderna var kopplad till sitt hologram och det bästa sättet att använda funktioner för att generera hologrammen. När AI-systemet tillhandahölls osedda data med djupinformation kunde det sedan generera nya hologram från dessa data. Djupinformationen tillhandahålls genom användning av antingen lidar-sensorer eller multi-kameraskärmar och återges som en datorgenererad bild. Vissa nya iPhone har dessa komponenter, vilket innebär att de potentiellt kan generera hologrammen om de är kopplade till rätt typ av skärm.

Det nya AI-drivna hologramsystemet behöver mycket mindre minne än de klassiska metoderna. Systemet kan generera 3D-hologram i 60 bilder per sekund i full färg med en upplösning på 1920 x 1080 med hjälp av cirka 620 kilobyte minne medan det körs på en enda vanligt förekommande GPU. Forskarna kunde köra sitt system på en iPhone 11 och producera cirka 1 hologram per sekund, medan en Google (GOOGL ) Edge TPU kunde rendera 2 hologram per sekund. Detta tyder på att systemet kan anpassas till smarttelefoner, AR-enheter och VR-enheter i allmänhet. Systemet kan också ha tillämpningar för volymetrisk 3D-skrivning eller i designen av holografiska mikroskop.

I framtiden kan förbättringar av tekniken introducera ögonspårningshårdvara och -programvara, som möjliggör att hologram dynamiskt skalas i upplösning när användaren tittar på specifika platser.