Tutkijat luovat AI-tehostettuja reaaliaikaisia 3D-hologrammeja älypuhelimilla

Älypuhelimet voivat pian pystyä generoimaan fotorealistisia 3D-hologrammeja, kiitos osittain MIT:n tutkijoiden kehittämän AI-mallin. MIT:n tiimin kehittämä AI-järjestelmä määrittää parhaimman tavan generoida hologrammeja sarjasta syötekuvia.

Tutkijat MIT:stä ovat suunnitelleet äskettäin AI-malleja, jotka mahdollistavat fotorealististen 3D-hologrammien generoinnin. Teknologia voi olla sovellettavissa VR- ja AR-lasien kanssa, ja hologrammit voidaan jopa generoida älypuhelimen avulla.

Toisin kuin perinteiset 3D- ja VR-näytöt, jotka tuottavat vain syvyyden illuusion ja jotka voivat aiheuttaa pahoinvointia ja päänsärkyä, holografiset näytöt voidaan katsella ilman silmien rasittumista. Suuri este holografisen median luomiselle on hologrammin generoimiseen tarvittavan datan käsittely. Jokainen hologrammi koostuu valtavasta määrästä dataa, jota tarvitaan “syvyyden” luomiseen. Tämän vuoksi hologrammien generointi vaatii yleensä valtavan määrän laskentatehoa. Jotta holografista teknologiaa voitaisiin tehdä käytännöllisemmäksi, MIT:n tiimi sovelsi syvän konvoluutioneuroniaaliverkkoja ongelmaan, luoden verkon, joka pystyy nopeasti generoimaan hologrammeja syötekuville perustuen.

Perinteinen lähestymistapa hologrammien generoimiseen on generoinut useita hologrammien paloja ja sitten käyttänyt fysiikan simulaatioita yhdistämään palat täydelliseksi esitykseksi objektiista tai kuvasta. Tämä poikkeaa perinteisestä lähestymistavasta hologrammien generoimiseen. Perinteisessä menetelmässä kuvat leikataan osiin ja sarja hakutaulukoita käytetään hologrammipalojen yhdistämiseen, koska hakutaulukot merkitsevät hologrammipalojen rajoja. Holografisten palojen rajojen määrittäminen hakutaulukoiden avulla on hyvin aikaa ja laskentatehoa vaativaa prosessia.

IEEE Spectrumin mukaan MIT:n tiimi suunnitteli toisen menetelmän hologrammien generoimiseen. Käyttämällä syvän konvoluutioneuroniaaliverkkojen voimaa he pystyivät leikkaamaan kuvat paloiksi, jotka voitiin yhdistää hologrammeiksi paljon vähemmän “viipaleita” käyttäen. Uusi tekniikka hyödyntää konvoluutioneuroniaaliverkkojen kykyä analysoida kuvia ja erottaa kuvat erillisiin paloihin. Tämä uusi tapa analysoida ja jakaa kuvia vähentää huomattavasti järjestelmän suoritettavien operaatioiden määrää.

Jotta he voivat suunnitella AI-tehostetun hologrammigeneraattorin, tutkimusryhmä aloitti rakentamalla tietokannan, joka koostui noin 4000 tietokoneella generoidusta kuvasta, ja jokaiselle kuvalle oli määritetty vastaava 3D-hologrammi. Konvoluutioneuroniaaliverkko koulutettiin tällä aineistolla, ja se oppi, miten jokainen kuva liittyi hologrammiinsa ja miten hologrammeja voitiin generoida parhaiten ominaisuuksien avulla. Kun AI-järjestelmälle annettiin näkemätön data syvyydentiedolla, se pystyi generoimaan uusia hologrammeja tästä tiedosta. Syvyydentiedot toimitetaan joko lidar-anturien tai monikameranäyttöjen avulla ja renderöidään tietokoneella generoiduksi kuvaksi. Jotkut uudet iPhone-mallit sisältävät nämä komponentit, mikä tarkoittaa, että ne voivat potentiaalisesti generoida hologrammeja, jos ne liitetään oikeaan näyttöön.

Uusi AI-ohjattu hologrammijärjestelmä tarvitsee paljon vähemmän muistia kuin perinteiset menetelmät. Järjestelmä pystyy generoimaan 3D-hologrammeja 60 kehys/nopeudella täysivärisinä ja 1920 x 1080 resoluutiolla käyttäen noin 620 kilotavua muistia yhden yleisesti saatavilla olevan GPU:n avulla. Tutkijat pystyivät suorittamaan järjestelmänsä iPhone 11:llä, joka tuotti noin yhden hologrammin sekunnissa, kun taas Google Edge TPU:lla järjestelmä pystyi renderöimään 2 hologrammia sekunnissa. Tämä osoittaa, että järjestelmä voitaisiin sovittaa älypuhelimiin, AR-laitteisiin ja VR-laitteisiin yleensä. Järjestelmällä voisi olla sovelluksia myös tilavuudellisessa 3D-tulostuksessa tai holografisten mikroskooppien suunnittelussa.

Tulevaisuudessa teknologian parantaminen voisi esitellä silmänseurantaa ohjaimella ja ohjelmistolla, mahdollistaen hologrammien dynaamisen skaalauksen resoluutiossa, kun käyttäjä tarkastelee tiettyjä kohteita.