Naukowcy tworzą AI-powiązane hologramy 3D w czasie rzeczywistym na smartfonach

Smartfony mogą wkrótce generować fotorealistyczne hologramy 3D, dzięki częściowo opracowanemu przez naukowców z MIT modelowi AI. System AI opracowany przez zespół MIT określa najlepszy sposób generowania hologramów z serii obrazów wejściowych.

Naukowcy z MIT opracowali niedawno modele AI, które umożliwiają generowanie fotorealistycznych hologramów 3D. Ta technologia może mieć zastosowanie w urządzeniach VR i AR, a hologramy mogą być nawet generowane przez smartfon.

W przeciwieństwie do tradycyjnych wyświetlaczy 3D i VR, które tylko tworzą iluzję głębi i które mogą powodować nudności i bóle głowy, wyświetlacze holograficzne mogą być oglądane przez ludzi bez powodowania zmęczenia oczu. Główną przeszkodą w tworzeniu mediów holograficznych jest obsługa danych potrzebnych do wygenerowania hologramu. Każdy hologram składa się z ogromnej ilości danych, potrzebnych do stworzenia “głębi” hologramu. Z tego powodu generowanie hologramów zwykle wymaga ogromnej mocy obliczeniowej. Aby uczynić technologię holograficzną bardziej praktyczną, zespół MIT zastosował głębokie sieci neuronowe do problemu, tworząc sieć zdolną do szybkiego generowania hologramów na podstawie obrazów wejściowych.

Typowy sposób generowania hologramów polega na wygenerowaniu wielu fragmentów hologramu, a następnie użyciu symulacji fizycznych do połączenia fragmentów w pełną reprezentację obiektu lub obrazu. Różni się to od tradycyjnego podejścia do generowania hologramów. W tradycyjnej metodzie obrazy są dzielone na fragmenty, a następnie używane są tabele wyszukiwania, aby połączyć fragmenty hologramu, ponieważ tabele wyszukiwania oznaczają granice różnych fragmentów hologramu. Proces określania granic fragmentów holograficznych za pomocą tabel wyszukiwania jest dość czasochłonny i wymaga dużej mocy obliczeniowej.

Według IEEE Spectrum, zespół MIT opracował inną metodę generowania hologramów. Używając mocy sieci neuronowych, byli w stanie podzielić obrazy na fragmenty, które mogą być ponownie skompilowane w hologramy przy użyciu znacznie mniej “fragmentów”. Nowa technika wykorzystuje zdolność sieci neuronowych do analizy obrazów i rozdzielania ich na oddzielne fragmenty. Ta nowa metoda analizy i dzielenia obrazów znacznie redukuje liczbę operacji, które system musi wykonać.

Aby zaprojektować swój generator hologramów AI, zespół badawczy rozpoczął od budowy bazy danych składającej się z około 4000 obrazów komputerowych, z odpowiednim hologramem 3D przypisanym do każdego z tych obrazów. Sieć neuronowa została przeszkolona na tym zestawie danych, ucząc się, jak każdy z obrazów był związany z jego hologramem i jak najlepiej użyć cech do wygenerowania hologramów. Gdy system AI został dostarczony nieznanym danym z informacjami o głębi, mógł wówczas wygenerować nowe hologramy z tych danych. Informacje o głębi są dostarczane za pomocą czujników lidar lub wyświetlaczy wielokamerowych i renderowane jako obraz generowany komputerowo. Niektóre nowe iPhone mają te komponenty, co oznacza, że mogą potencjalnie generować hologramy, jeśli połączone z odpowiednim typem wyświetlacza.

Nowy system hologramów AI wymaga znacznie mniej pamięci niż metody klasyczne. System może generować hologramy 3D w 60 klatkach na sekundę w pełnym kolorze z rozdzielczością 1920 x 1080, używając około 620 kilobajtów pamięci podczas uruchamiania na jednej dostępnej karcie graficznej. Naukowcy byli w stanie uruchomić swój system na iPhone 11, produkując około 1 hologram na sekundę, podczas gdy na Google (GOOGL ) Edge TPU system mógł renderować 2 hologramy na sekundę. To sugeruje, że system może być dostosowany do smartfonów, urządzeń AR i VR ogólnie. System może również mieć zastosowanie w druku 3D objętościowym lub w projekcie mikroskopów holograficznych.

W przyszłości ulepszenia technologie mogą wprowadzić sprzęt i oprogramowanie do śledzenia wzroku, umożliwiając hologramom dynamiczne skalowanie rozdzielczości w zależności od miejsca, na które użytkownik patrzy.