Výzkumníci vytvořili AI poháněné reálné časy 3D hologramy na smartphonech

Smartphony by mohly brzy být schopny generovat fotorealistické 3D hologramy, díky částečně AI modelu vyvinutému výzkumníky na MIT. AI systém vyvinutý týmem MIT určuje nejlepší způsob, jak generovat hologramy z řady vstupních obrazů.

Výzkumníci z MIT nedávno navrhli AI modely, které umožňují generovat fotorealistické 3D hologramy. Tato technologie by mohla mít aplikace pro VR a AR brýle a hologramy lze dokonce generovat pomocí smartphone.

Na rozdíl od tradičních 3D a VR displejů, které pouze vytvářejí iluzi hloubky a které mohou způsobovat nevolnost a bolesti hlavy, holografické displeje lze pozorovat lidmi bez způsobení očních potíží. Hlavní překážkou při vytváření holografických médií je zpracování dat potřebných pro generování hologramu. Každý hologram se skládá z obrovského množství dat, potřebných pro vytvoření “hloubky” hologramu. Z tohoto důvodu vyžaduje generování holografických médií obrovské množství výpočetního výkonu. Aby učinit holografickou technologii více praktickou, tým MIT aplikoval hluboké konvoluční neuronové sítě na problém, vytvořil síť schopnou rychle generovat hologramy na základě vstupních obrazů.

Typický přístup pro generování hologramů spočívá v generování mnoha částí hologramů a poté použití fyzikálních simulací pro kombinaci částí do kompletní reprezentace objektu nebo obrazu. To se liší od typického přístupu používaného pro generování hologramů. V tradiční metodě jsou obrazy rozděleny a série lookup tabulek se používají pro spojení částí hologramu, protože lookup tabulky označují hranice různých částí hologramu. Proces definování hranic holografických částí pomocí lookup tabulek je bastante časově náročný a náročný na zpracování.

Podle IEEE Spectrum, Tým MIT navrhl jinou metodu generování hologramů. S pomocí hlubokých učících se sítí byli schopni rozdělit obrazy na části, které lze re-kompilovat do hologramů pomocí mnohem méně “řezů”. Nová technika využívá schopnosti konvolučních neuronových sítí analyzovat obrazy a rozdělit je na diskrétní části. Tato nová metoda analýzy a rozdělení obrazů výrazně snižuje počet operací, které musí systém provést.

Aby navrhl svůj AI poháněný holografický generátor, výzkumný tým začal budováním databáze skládající se z přibližně 4000 počítačově generovaných obrazů, s odpovídajícím 3D hologramem přiřazeným každému z těchto obrazů. Konvoluční neuronová síť byla trénována na tomto datasetu, naučila se, jak každý obraz souvisí s jeho hologramem a nejlepší způsob, jak použít funkce pro generování hologramů. Když byl AI systém poskytnut neviditelná data s hloubkovými informacemi, mohl poté generovat nové hologramy z těchto dat. Hloubkové informace jsou dodávány pomocí lidar senzorů nebo multi-kamerových displejů a vykresleny jako počítačově generovaný obraz. Některé nové iPhony mají tyto komponenty, což znamená, že by mohly potenciálně generovat hologramy, pokud jsou spojeny s odpovídajícím typem displeje.

Nový AI poháněný holografický systém potřebuje mnohem méně paměti než klasické metody. Systém může generovat 3D hologramy při 60 snímcích za sekundu v plném barevném režimu s rozlišením 1920 x 1080 pomocí přibližně 620 kilobajtů paměti, zatímco běží na jediném běžně dostupném GPU. Výzkumníci byli schopni spustit svůj systém na iPhone 11, produkující přibližně 1 hologram za sekundu, zatímco na Google Edge TPU systém mohl vykreslit 2 hologramy za sekundu. To naznačuje, že systém by mohl být přizpůsoben pro smartphony, AR zařízení a VR zařízení obecně. Systém by mohl mít také aplikace pro volumetrický 3D tisk nebo návrh holografických mikroskopů.

V budoucnosti by zlepšení technologie mohla zahrnovat eye-tracking hardware a software, umožňující hologramům dynamicky měnit rozlišení, jak uživatel pohledává na konkrétní místa.