Forskare skapar AI-drivna 3D-hologram i realtid på smartphones

Smartphones skulle snart kunna generera fotorealistiska 3D-hologram, delvis tack vare en AI-modell utvecklad av forskare vid MIT. AI-systemet utvecklad av MIT-teamet bestämmer det bästa sättet att generera hologram från en serie ingångsbilder.

Forskare från MIT har nyligen designat AI-modeller som möjliggör generering av fotorealistiska 3D-hologram. Tekniken kan ha applikationer för VR- och AR-headset, och hologrammen kan till och med genereras av en smartphone.

Till skillnad från traditionella 3D- och VR-skärmar, som helt enkelt producerar en illusion av djup och som kan orsaka illamående och huvudvärk, kan holografiska skärmar ses av människor utan att orsaka ansträngda ögon. En stor vägspärr mot skapandet av holografiska media är att hantera de data som behövs för att faktiskt generera holografin. Varje hologram består av en enorm mängd data, som behövs för att skapa "djupet" som hologrammet har. På grund av detta kräver generering av holografi vanligtvis en enorm mängd datorkraft. För att göra holografisk teknik mer praktisk använde MIT-teamet djupa konvolutionella neurala nätverk på problemet och skapade ett nätverk som snabbt kan generera hologram baserat på ingångsbilder.

Den typiska metoden för att generera hologram genererade i huvudsak många bitar av hologram och använde sedan fysiksimuleringar för att kombinera bitarna till en komplett representation av ett objekt eller en bild. Detta skiljer sig från det typiska tillvägagångssättet som används för att generera hologram. I den traditionella metoden skärs bilder isär och en serie uppslagstabeller används för att sammanfoga hologrambitarna, eftersom uppslagstabellerna markerar gränserna för de olika hologrambitarna. Processen att definiera gränser för holografiska bitar med utseendetabeller är ganska tidskrävande och processorkraftskrävande.

Enligt IEEE SpectrumMIT-teamet designade en annan metod för att generera hologram. Genom att använda kraften i nätverk för djupinlärning kunde de dela upp bilder i bitar som kunde återskapas till hologram med mycket färre "skivor". De nya teknikerna drar fördel av möjligheten hos konvolutionella neurala nätverk för att analysera bilder och separera bilder i diskreta bitar. Denna nya metod för att analysera och chunka bilder minskar avsevärt antalet totala operationer som ett system måste utföra.

För att designa sin AI-drivna holografiska generator började forskargruppen med att konstruera en databas bestående av cirka 4000 datorgenererade bilder, med ett motsvarande 3D-hologram för att tilldelas var och en av dessa bilder. Det konvolutionella neurala nätverket tränades på denna datauppsättning, och lärde sig hur var och en av bilderna var kopplade till sitt hologram och det bästa sättet att använda funktioner för att generera hologrammen. När AI-systemet försågs med osynliga data med djupinformation, kunde det sedan generera nya hologram från dessa data. Djupinformationen tillhandahålls genom användning av antingen lidar-sensorer på skärmar med flera kameror och återges som en datorgenererad bild. Vissa nya iPhone har dessa komponenter, vilket innebär att de potentiellt kan generera hologrammen om de är länkade till rätt typ av display.

Det nya AI-drivna hologramsystemet kräver mycket mindre minne än de klassiska metoderna. Systemet kan generera 3D-hologram med 60 bilder per sekund i fullfärg med en upplösning på 1920 x 1080 med cirka 620 kilobyte minne samtidigt som det körs på en enda allmänt tillgänglig GPU. Forskarna kunde köra sina system på en iPhone 11 som producerade cirka 1 hologram per sekund, medan en Google Edge TPU kunde systemet återge 2 hologram per sekund. Detta tyder på att systemet skulle kunna anpassas till smartphones, AR-enheter och VR-enheter i allmänhet. Systemet kan också ha tillämpningar för volymetrisk 3D-utskrift eller vid design av holografiska mikroskop.

I framtiden kan förbättringar av tekniken introducera eyetracking-hårdvara och mjukvara, vilket gör det möjligt för hologram att dynamiskt skalas i upplösning när användaren tittar på särskilda platser.