Tutkijat luovat AI-tehostettuja 3D-hologrammeja älypuhelimilla

Älypuhelimet voivat pian pystyä tuottamaan fotorealistisia 3D-hologrammeja, ja tämä on osittain kiitettävissä MIT:n tutkijoiden kehittämästä AI-mallista. MIT-tiimin kehittämä AI-järjestelmä määrittää parhaimman tavan hologrammien luomiseen syötteenä olevista kuvista.

MIT:n tutkijat ovat suunnitelleet äskettäin AI-malleja, jotka mahdollistavat fotorealististen 3D-hologrammien luomisen. Teknologia voi olla sovellettavissa VR- ja AR-lasien kanssa, ja hologrammeja voidaan jopa luoda älypuhelimella.

Toisin kuin perinteiset 3D- ja VR-näytöt, jotka ainoastaan luovat syvyyden illuusion ja jotka voivat aiheuttaa pahoinvointia ja päänsärkyä, holografiset näytöt voidaan katsella ilman silmien rasittumista. Suuri este holografisen median luomiselle on hologrammin luomiseen tarvittavan datan käsittely. Jokainen hologrammi koostuu valtavasta määrästä dataa, jota tarvitaan “syvyyden” luomiseen. Tämän vuoksi hologrammien luominen vaatii yleensä valtavan määrän laskentatehoa. Jotta holografista teknologiaa voitaisiin tehdä käytännöllisemmäksi, MIT-tiimi sovelsi syvää konvoluutioneuraaliverkkoa ongelmaan ja loi verkoston, joka pystyy nopeasti luomaan hologrammeja syötteenä olevista kuvista.

Perinteinen lähestymistapa hologrammien luomiseen on käytännössä luoda useita hologrammin paloja ja sitten käyttää fysiikan simulaatioita yhdistämään palat kokonaiseksi esineen tai kuvan esitykseksi. Tämä poikkeaa perinteisestä hologrammien luomismenetelmästä. Perinteisessä menetelmässä kuvat leikataan paloiksi, ja sitten käytetään hakutaulukoita yhdistämään hologrammin palat, koska hakutaulukot merkitsevät eri hologrammipalojen rajat. Hologrammipalojen rajojen määrittäminen hakutaulukoiden avulla on hyvin aikaa ja laskentatehoa vaativaa prosessia.

IEEE Spectrumin mukaan MIT-tiimi suunnitteli toisen menetelmän hologrammien luomiseen. Käyttämällä syvän oppimisen verkkoja, he pystyivät leikkaamaan kuvat paloiksi, jotka voitiin koota uudelleen hologrammeiksi käyttämällä paljon vähemmän “paloja”. Uusi tekniikka hyödyntää konvoluutioneuraaliverkkojen kykyä analysoida kuvia ja erottaa kuvat erillisiin paloihin. Tämä uusi tapa analysoida ja jakaa kuvia vähentää huomattavasti järjestelmän suoritettavien operaatioiden määrää.

Jotta he voivat suunnitella AI-tehostetun hologrammigeneraattorin, tutkimusryhmä aloitti rakentamalla tietokannan, joka koostui noin 4000 tietokoneella luodusta kuvasta, ja jokaiselle kuvalle oli liitetty vastaava 3D-hologrammi. Konvoluutioneuraaliverkko koulutettiin tällä tietokannalla, ja se oppi, miten jokainen kuva liittyi hologrammiinsa ja miten hologrammeja voitiin parhaiten luoda ominaisuuksien avulla. Kun AI-järjestelmälle annettiin näkemätön data, jossa oli syvyystietoa, se pystyi sitten luomaan uusia hologrammeja tästä datasta. Syvyystieto toimitetaan joko lidar-anturien tai monikameranäyttöjen avulla ja renderöidään tietokoneella luotuina kuvina. Jotkut uudet iPhone-mallit sisältävät nämä komponentit, mikä tarkoittaa, että ne voivat potentiaalisesti luoda hologrammeja, jos ne liitetään oikeaan näyttöön.

Uusi AI-ohjattu hologrammijärjestelmä tarvitsee paljon vähemmän muistia kuin perinteiset menetelmät. Järjestelmä pystyy luomaan 3D-hologrammeja 60 kehysnopeudella täysivärisinä ja 1920 x 1080 resoluutiolla käyttäen noin 620 kilotavua muistia yhdellä yleisesti saatavilla olevalla GPU:lla. Tutkijat pystyivät suorittamaan järjestelmänsä iPhone 11:llä, joka tuotti noin yhden hologrammin sekunnissa, kun taas Google (GOOGL ) Edge TPU:lla järjestelmä pystyi renderöimään 2 hologrammia sekunnissa. Tämä osoittaa, että järjestelmä voitaisiin sovittaa älypuhelimille, AR-laitteille ja VR-laitteille yleensä. Järjestelmällä voisi olla sovelluksia myös tilavuudellisessa 3D-tulostuksessa tai holografisten mikroskooppien suunnittelussa.

Tulevaisuudessa teknologian parantaminen voisi sisältää silmänseurantaa ohjaimilla ja ohjelmistoilla, mikä mahdollistaisi hologrammien dynaamisen skaalauksen resoluutioon sen mukaan, mihin käyttäjä katsoo.