Raziskovalci na pametnih telefonih ustvarjajo 3D-holograme v realnem času, ki jih poganja AI

Pametni telefoni bi lahko kmalu lahko ustvarili fotorealistične 3D holograme, deloma tudi po zaslugi model AI, ki so ga razvili raziskovalci na MIT. Sistem AI razvila ekipa MIT določa najboljši način za ustvarjanje hologramov iz serije vhodnih slik.

Raziskovalci z MIT so nedavno oblikovali modele AI, ki omogočajo generiranje fotorealističnih 3D hologramov. Tehnologija bi lahko imela aplikacije za slušalke VR in AR, holograme pa lahko ustvari celo pametni telefon.

Za razliko od tradicionalnih 3D in VR zaslonov, ki preprosto ustvarijo iluzijo globine in lahko povzročijo slabost in glavobole, lahko ljudje vidijo holografske zaslone brez naprezanja oči. Glavna ovira pri ustvarjanju holografskih medijev je obdelava podatkov, potrebnih za dejansko ustvarjanje holografa. Vsak hologram je sestavljen iz ogromne količine podatkov, potrebnih za ustvarjanje "globine", ki jo ima hologram. Zaradi tega ustvarjanje holografije običajno zahteva ogromno računalniške moči. Da bi holografska tehnologija postala bolj praktična, je ekipa MIT za problem uporabila globoke konvolucijske nevronske mreže in ustvarila mrežo, ki je sposobna hitro ustvariti holograme na podlagi vhodnih slik.

Tipičen pristop za ustvarjanje hologramov je v bistvu ustvaril veliko kosov hologramov in nato uporabil fizikalne simulacije za združevanje kosov v popolno predstavitev predmeta ali slike. To se razlikuje od običajnega pristopa, ki se uporablja za ustvarjanje hologramov. Pri tradicionalni metodi se slike razrežejo in niz iskalnih tabel se uporabi za združevanje hologramskih kosov, saj iskalne tabele označujejo meje različnih hologramskih kosov. Postopek določanja meja holografskih kosov s tabelami videza je precej zamuden in procesno intenziven.

Glede na IEEE Spectrum, Ekipa MIT je oblikovala drugo metodo ustvarjanja hologramov. Z uporabo moči omrežij za globoko učenje so lahko slike razrezali na dele, ki jih je bilo mogoče ponovno združiti v holograme z veliko manj "rezinami". Nove tehnike izkoriščajo sposobnost konvolucijskih nevronskih mrež za analizo slik in ločevanje slik na ločene dele. Ta nova metoda analiziranja in razdeljevanja slik močno zmanjša skupno število operacij, ki jih mora izvesti sistem.

Da bi oblikovali svoj holografski generator, ki ga poganja umetna inteligenca, je raziskovalna skupina začela z izdelavo baze podatkov, sestavljene iz približno 4000 računalniško ustvarjenih slik, z ustreznim 3D-hologramom, ki je bil dodeljen vsaki od teh slik. Konvolucijska nevronska mreža je bila usposobljena na tem naboru podatkov, pri čemer se je naučila, kako je vsaka slika povezana s svojim hologramom in najboljši način uporabe funkcij za ustvarjanje hologramov. Ko je sistem AI dobil nevidne podatke z informacijami o globini, je lahko nato iz teh podatkov ustvaril nove holograme. Informacije o globini se pridobijo z uporabo lidarskih senzorjev zaslonov z več kamerami in se prikažejo kot računalniško ustvarjena slika. Nekateri novi iPhone imajo te komponente, kar pomeni, da bi lahko ustvarili holograme, če bi bili povezani s pravo vrsto zaslona.

Nov hologramski sistem, ki ga poganja AI, potrebuje veliko manj pomnilnika kot klasične metode. Sistem lahko ustvari 3D holograme pri 60 sličicah na sekundo v polnih barvah z ločljivostjo 1920 x 1080 z uporabo približno 620 kilobajtov pomnilnika, medtem ko deluje na eni sami splošno dostopni GPE. Raziskovalci so lahko zagnali svoje sisteme na iPhonu 11, ki je proizvedel približno 1 hologram na sekundo, medtem ko je sistem Google Edge TPU lahko upodobil 2 holograma na sekundo. To nakazuje, da bi sistem lahko prilagodili pametnim telefonom, napravam AR in napravam VR na splošno. Sistem bi lahko imel tudi aplikacije za volumetrično 3D tiskanje ali pri oblikovanju holografskih mikroskopov.

V prihodnosti bi izboljšave tehnologije lahko uvedle strojno in programsko opremo za sledenje očem, kar bi hologramom omogočilo dinamično spreminjanje ločljivosti, ko uporabnik gleda na določena mesta.