Vědci vytvořili AI poháněné reálné časy 3D hologramy na smartphonech

Smartphony by mohly brzy být schopny generovat fotorealistické 3D hologramy, díky částečně vyvinutému AI modelu výzkumníky z MIT. AI systém vyvinutý týmem z MIT určuje nejlepší způsob, jak generovat hologramy z řady vstupních obrazů.

Výzkumníci z MIT nedávno navrhli AI modely, které umožňují generovat fotorealistické 3D hologramy. Tato technologie by mohla mít aplikace pro VR a AR brýle a hologramy lze dokonce generovat pomocí smartphone.

Na rozdíl od tradičních 3D a VR displejů, které pouze vytvářejí iluzi hloubky a které mohou způsobit nevolnost a bolesti hlavy, holografické displeje lze pozorovat lidmi bez způsobení očních problémů. Velkou překážkou při vytváření holografických médií je zpracování dat potřebných pro skutečné generování hologramu. Každý hologram se skládá z obrovského množství dat, potřebných pro vytvoření “hloubky” hologramu. Z tohoto důvodu vyžaduje generování hologramů obvykle obrovské množství výpočetního výkonu. Aby učiniли holografickou technologii více praktickou, tým z MIT aplikoval hluboké konvoluční neuronové sítě na problém, vytvořil síť schopnou rychle generovat hologramy na základě vstupních obrazů.

Typický přístup pro generování hologramů基本ně generuje mnoho částí hologramů a poté používá fyzikální simulace pro spojení částí do kompletní reprezentace objektu nebo obrazu. To se liší od typického přístupu používaného pro generování hologramů. V tradiční metodě se obrazy rozdělí a série lookup tabulek se použije pro spojení hologramových částí, protože lookup tabulky označují hranice různých hologramových částí. Proces definování hranic hologramových částí pomocí lookup tabulek je quite časově náročný a náročný na zpracování.

Podle IEEE Spectrum, tým z MIT navrhl jinou metodu generování hologramů. Použitím síly hlubokých učících se sítí byli schopni rozdělit obrazy na části, které lze znovu sestavit do hologramů pomocí mnohem méně “řezů”. Nová technika využívá schopnosti konvolučních neuronových sítí analyzovat obrazy a rozdělit je na diskrétní části. Tato nová metoda analýzy a rozdělení obrazů výrazně snižuje počet operací, které musí systém provést.

Při návrhu svého AI poháněného holografického generátoru začali výzkumníci sestavením databáze skládající se z přibližně 4000 počítačově generovaných obrazů, s odpovídajícím 3D hologramem přiřazeným ke každému z těchto obrazů. Konvoluční neuronová síť byla trénována na této datové sadě, učila se, jak každý z obrazů byl spojen s jeho hologramem a jak nejlépe použít funkce pro generování hologramů. Když byl AI systém poskytnut nevídaná data s hloubkovými informacemi, mohl poté generovat nové hologramy z těchto dat. Hloubkové informace jsou poskytovány pomocí lidar senzorů nebo multi-kamerových displejů a vykresleny jako počítačově generovaný obraz. Některé nové iPhony mají tyto komponenty, což znamená, že by mohly potenciálně generovat hologramy, pokud by byly propojeny s odpovídajícím typem displeje.

Nový AI poháněný holografický systém potřebuje mnohem méně paměti než klasické metody. Systém může generovat 3D hologramy při 60 snímcích za sekundu v plném barevném režimu s rozlišením 1920 x 1080 pomocí přibližně 620 kilobajtů paměti při běhu na jediném běžně dostupném GPU. Výzkumníci byli schopni spustit svůj systém na iPhone 11, produkující přibližně 1 hologram za sekundu, zatímco na Google (GOOGL ) Edge TPU systém mohl vykreslit 2 hologramy za sekundu. To naznačuje, že systém by mohl být přizpůsoben pro smartphony, AR zařízení a VR zařízení obecně. Systém by mohl mít také aplikace pro objemové 3D tisk nebo v návrhu holografických mikroskopů.

V budoucnosti by mohlo vylepšení technologie zavést hardwarové a softwarové sledování očí, umožňující hologramům dynamicky měnit rozlišení v závislosti na tom, kam uživatel pohledí.