Naukowcy tworzą hologramy 3D w czasie rzeczywistym zasilane przez sztuczną inteligencję na smartfonach

Smartfony mogą wkrótce być w stanie generować fotorealistyczne hologramy 3D, dzięki w części modelowi sztucznej inteligencji opracowanemu przez naukowców z MIT. System sztucznej inteligencji opracowany przez zespół z MIT określa najlepszy sposób generowania hologramów z serii obrazów wejściowych.

Naukowcy z MIT niedawno opracowali modele sztucznej inteligencji, które umożliwiają generowanie fotorealistycznych hologramów 3D. Ta technologia może mieć zastosowanie w urządzeniach VR i AR, a hologramy mogą być nawet generowane przez smartfon.

W przeciwieństwie do tradycyjnych wyświetlaczy 3D i VR, które tylko tworzą iluzję głębi i które mogą powodować nudności i bóle głowy, wyświetlacze holograficzne mogą być widziane przez ludzi bez powodowania zmęczenia oczu. Główną przeszkodą w tworzeniu mediów holograficznych jest obsługa danych potrzebnych do wygenerowania hologramu. Każdy hologram składa się z ogromnej ilości danych, potrzebnych do stworzenia „głębi” hologramu. Z tego powodu generowanie hologramów zwykle wymaga ogromnej ilości mocy obliczeniowej. Aby uczynić technologię holograficzną bardziej praktyczną, zespół z MIT zastosował głębokie sieci neuronowe do tego problemu, tworząc sieć zdolną do szybkiego generowania hologramów na podstawie obrazów wejściowych.

Typowy sposób generowania hologramów polega na wygenerowaniu wielu fragmentów hologramu, a następnie użyciu symulacji fizycznych do połączenia fragmentów w pełną reprezentację obiektu lub obrazu. Różni się to od typowego podejścia stosowanego do generowania hologramów. W tradycyjnej metodzie obrazy są dzielone na części, a następnie używane są tabele przyporządkowań do połączenia fragmentów hologramu, ponieważ tabele przyporządkowań oznaczają granice różnych fragmentów hologramu. Proces definiowania granic fragmentów hologramu z użyciem tabel przyporządkowań jest dość czasochłonny i wymaga dużej ilości mocy obliczeniowej.

Według IEEE Spectrum, zespół z MIT opracował inną metodę generowania hologramów. Z wykorzystaniem mocy sieci neuronowych głębokich, byli w stanie podzielić obrazy na fragmenty, które mogą być ponownie skompilowane w hologramy przy użyciu znacznie mniej „fragmentów”. Nowa technika wykorzystuje zdolność sieci neuronowych do analizy obrazów i rozdzielania obrazów na dyskretne fragmenty. Nowy sposób analizy i dzielenia obrazów znacznie redukuje liczbę operacji, które system musi wykonać.

Aby zaprojektować swój generator hologramów zasilany przez sztuczną inteligencję, zespół badawczy rozpoczął od budowy bazy danych składającej się z około 4000 obrazów wygenerowanych komputerowo, z przyporządkowanym hologramem 3D dla każdego z tych obrazów. Sieć neuronowa została wyszkolona na tym zestawie danych, ucząc się, jak każdy z obrazów był powiązany z jego hologramem i jaki jest najlepszy sposób użycia cech do generowania hologramów. Gdy system sztucznej inteligencji został dostarczony nieznanym danym z informacjami o głębi, mógł wtedy wygenerować nowe hologramy z tych danych. Informacje o głębi są dostarczane za pomocą czujników lidar lub wyświetlaczy wielokamerowych i renderowane jako obraz wygenerowany komputerowo. Niektóre nowe iPhone mają te komponenty, co oznacza, że mogą potencjalnie generować hologramy, jeśli połączone z odpowiednim typem wyświetlacza.

Nowy system hologramów napędzany przez sztuczną inteligencję wymaga znacznie mniej pamięci niż klasyczne metody. System może generować hologramy 3D z prędkością 60 klatek na sekundę w pełnym kolorze z rozdzielczością 1920 x 1080 przy użyciu około 620 kilobajtów pamięci podczas działania na jednej powszechnie dostępnej karcie graficznej. Naukowcy byli w stanie uruchomić swój system na iPhone 11, produkując około 1 hologram na sekundę, podczas gdy na Google Edge TPU system mógł renderować 2 hologramy na sekundę. To sugeruje, że system może być dostosowany do smartfonów, urządzeń AR i VR ogólnie. System może mieć również zastosowanie w druku 3D objętościowym lub w projekcie mikroskopów holograficznych.

W przyszłości ulepszenia technologii mogą wprowadzić sprzęt i oprogramowanie do śledzenia ruchu oczu, umożliwiając hologramom dynamiczne skalowanie rozdzielczości, gdy użytkownik patrzy na konkretnych miejscach.