Дослідники створили AI-підтримку реального часу 3D-голографії на смартфонах

Смартфони можуть скоро генерувати фотореалістичні 3D-голографію, завдяки розробці моделі штучного інтелекту дослідниками з MIT. Система штучного інтелекту розроблена командою MIT визначає найкращий спосіб генерації голографій з серії вхідних зображень.

Дослідники з MIT розробили моделі штучного інтелекту, які дозволяють генерувати фотореалістичні 3D-голографію. Ця технологія може мати застосування для шоломів віртуальної та доповненої реальності, а голографію можна навіть генерувати за допомогою смартфона.

На відміну від традиційних 3D та VR-дисплеїв, які просто створюють ілюзію глибини та можуть викликати нудоту та головний біль, голографічні дисплеї можуть бути переглянуті людьми без викликання окулярного напруження. Великим перешкодом на шляху створення голографічних медіа є обробка даних, необхідних для генерації голографії. Кожна голографія складається з величезної кількості даних, необхідних для створення “глибини” голографії. Через це генерація голографій зазвичай вимагає великої обчислювальної потужності. Для того, щоб зробити голографічну технологію більш практичною, команда MIT застосувала глибокі нейронні мережі до цієї проблеми, створивши мережу, здатну швидко генерувати голографію на основі вхідних зображень.

Типовий підхід до генерації голографій полягає у генерації багатьох фрагментів голографій, а потім використанні фізичних симуляцій для об’єднання цих фрагментів у повне зображення об’єкта чи зображення. Це відрізняється від традиційного підходу до генерації голографій. У традиційному методі зображення розрізаються на частини, а потім використовуються таблиці пошукових запитів для з’єднання фрагментів голографій, оскільки таблиці пошукових запитів позначають межі різних фрагментів голографій. Процес визначення меж голографічних фрагментів за допомогою таблиць пошукових запитів досить тривалий і вимагає великої обчислювальної потужності.

За даними IEEE Spectrum, команда MIT розробила інший метод генерації голографій. Використовуючи потужність глибоких нейронних мереж, вони змогли розрізати зображення на фрагменти, які можна було зібрати у голографію за допомогою значно меншої кількості “фрагментів”. Новий метод використовує здатність нейронних мереж аналізувати зображення та розділяти їх на окремі фрагменти. Цей новий метод аналізу та розрізання зображень значно знижує кількість операцій, які система повинна виконувати.

Для розробки свого генератора голографій, підтримуваного штучним інтелектом, дослідницька команда почала з створення бази даних, яка складається з близько 4000 комп’ютерних зображень, з відповідною 3D-голографією для кожного з цих зображень. Нейронна мережа була навчена на цьому наборі даних, вивчаючи, як кожне зображення пов’язане з його голографією та найкращим способом використання функцій для генерації голографій. Коли система штучного інтелекту отримала незнайомі дані з інформацією про глибину, вона могла генерувати нові голографію з цих даних. Інформація про глибину надається за допомогою лідарних датчиків або дисплеїв з多камерними датчиками та відображається у вигляді комп’ютерного зображення. Деякі нові iPhone мають ці компоненти, що означає, що вони потенційно можуть генерувати голографію, якщо підключені до відповідного типу дисплея.

Нова система голографій, підтримувана штучним інтелектом, потребує значно менше пам’яті, ніж класичні методи. Система може генерувати 3D-голографію з частотою 60 кадрів у секунду у повному кольорі з роздільною здатністю 1920 x 1080, використовуючи близько 620 кілобайт пам’яті під час виконання на одному звичайному графічному процесорі. Дослідники змогли запустити свою систему на iPhone 11, генеруючи близько 1 голографії у секунду, тоді як на Google (GOOGL ) Edge TPU система могла відображати 2 голографію у секунду. Це свідчить про те, що система може бути адаптована для смартфонів, пристроїв доповненої реальності та пристроїв віртуальної реальності загалом. Система також може мати застосування для об’ємного 3D-друку або у проектуванні голографічних мікроскопів.

У майбутньому вдосконалення технології можуть включати апаратне та програмне забезпечення для відстеження очей, що дозволить голографіям динамічно масштабуватися у роздільній здатності, коли користувач дивиться на конкретні місця.