Раду Русу, генеральный директор и сооснователь Fyusion – Интервью

Раду Русу – генеральный директор и сооснователь Fyusion, компании, которая ставит целью разработку новых, визуально потрясающих 3D-технологий, которые позволят решать сложные визуальные проблемы с помощью искусственного интеллекта. Вместе они разработали и запатентовали новый формат файла, называемый .fyuse, который позволяет людям захватывать потрясающие 3D-изображения с помощью своих смартфонов, что вызвало социальную медиа-сенсацию и привлекло более 100 миллионов пользователей через мобильные приложения для потребителей.

Вы работаете над 3D с 2012 года, в настоящее время являетесь президентом и генеральным директором Open Perception, Inc. Не могли бы вы рассказать о миссии этой некоммерческой организации?

Я начал свою карьеру в обработке 3D-данных в начале 2000-х годов, во время моих постдипломных исследований, с идеей сделать роботов лучше видеть и понимать мир с визуальной точки зрения. Это привело меня через decade робототехнических исследований в области 3D-компьютерного зрения, и в начале 2010-х годов я понял, что то, над чем я работал, можно применить к более широкому кругу проблем. Open Perception была создана как спин-офф от Willow Garage и продолжила развитие одного из наших проектов с открытым исходным кодом – Point Cloud Library (PCL). Open Perception, Inc. была зарегистрирована в Калифорнии в апреле 2012 года как независимая организация, созданная для поддержки разработки, распространения и внедрения программного обеспечения с открытым исходным кодом для 2D/3D-обработки сенсорных данных, с применением в исследованиях, образовании и разработке продуктов.

В 2014 году вы стали сооснователем и генеральным директором Fyusion, Inc. Не могли бы вы рассказать о истории создания Fyusion, Inc?

Во время работы над робототехническими исследованиями мы поняли, что основными препятствиями являются не алгоритмы, а форматы данных. Машиное обучение достигло пика точности в многих областях, поскольку тип данных, который мы использовали, особенно в визуальных форматах, был двумерным (таким как фотографии и видео), а мир – трехмерным. Мы поняли, что существует потенциал для трансформации того, как люди понимают мир, используя 3D-данные в платформах машинного обучения.

В 2014 году мы решили создать новый тип 3D-данных, сгенерированных с помощью компьютерного зрения и программного обеспечения машинного обучения, объединив несколько источников данных и используя очень масштабируемое коммодитное оборудование, доступное в наших карманах – то есть наши смартфоны.

Мы основали Fyusion с целью разработки новых, визуально потрясающих 3D-технологий, которые позволят всем решать сложные визуальные проблемы с помощью искусственного интеллекта.

Вместе мы разработали и запатентовали новый формат файла, называемый .fyuse, который позволяет людям захватывать потрясающие 3D-изображения с помощью своих смартфонов. Это сразу же вызвало социальную медиа-сенсацию и привлекло более 100 миллионов пользователей через мобильные приложения для потребителей.

Что изначально привлекло вас к идее переосмысления 3D для потребительских приложений?

Мы просто поняли, что никто не решал эту проблему в масштабе. Это была нерешенная проблема. Как и в наших докторских программах, то, что нас интеллектуально возбуждает, – это действительно сложные проблемы, которые кто-то сказал, что не могут быть решены.

В данном случае, до некоторой степени, они были правы. Тип алгоритмов, необходимых для решения этой проблемы, был только частично продуман, а аппаратное обеспечение, необходимое для его запуска, не существовало, особенно на мобильных устройствах, таких как смартфоны. Нам фактически пришлось ждать, пока не выйдет iPhone 4S, чтобы мы могли запустить код компьютерного зрения и машинного обучения в реальном времени на смартфоне, поскольку до этого iPhone имел только один ядро процессора. Как только мы увидели, что может сделать аппаратное обеспечение смартфона, мы стали очень заинтересованы в том, чтобы взять наши знания в области компьютерного зрения и робототехники и посмотреть, что мы можем сделать с помощью этих крошечных камер и процессоров. Это заняло некоторое время, чтобы вернуться к чертежной доске и переосмыслить, как представить и реализовать захват и обработку световых полей исключительно через программное обеспечение. Как только мы увидели, что это работает, Fyusion начала работать.

У нас были 2D-фотографии в аналоговой форме, и затем они просто были оцифрованы вместе со всем остальным. Единственной реализацией, которую мы имели в 3D-мире в масштабе, была “треугольная сетка с текстурой” (например, форматы файлов OBJ), которые исходили из компьютерных игр и компьютерной графики и были предназначены для представления искусственно созданных объектов в игре. Они сильно зависели от идеальной геометрии, которую невозможно получить – как можно захватить и представить воду как треугольную сетку с текстурой с помощью камеры? Что насчет прозрачных объектов? Листья? Объекты, находящиеся далеко? И так далее…

Было rõ, что кто-то должен решить проблему потребительских 3D-форматов. Это должно было быть основано на совершенно другой парадигме и решено в “3D-изображении” (т.е. световых полях), и включать информацию, доступную на момент захвата (такую как ориентация камеры через гироскопический датчик), которая обычно отбрасывается при захвате 2D-изображения. А затем, конечно, мы пытаемся восстановить эту отброшенную информацию с помощью машинного обучения.

Это была наша возможность, и это то, о чем должны мечтать стартапы: найти действительно сложную проблему, которую они страстно любят, подождать подходящего момента и возможности, и попытаться решить ее.

Можете ли вы рассказать о процессе создания .fyuse с помощью мобильного приложения для человека, который хочет создать .fyuse?

Мы все еще находимся в начале развития этой технологии, но суть заключается в следующем: вы берете смартфон с приложением, написанным Fyusion или партнерским приложением, которое использует наш SDK Fyusion ALIS, открываете камеру и получаете инструкции о том, что делать. Если вы следуете им, вы получаете .fyuse на устройстве, который является объектом файла, обработанным с помощью компьютерного зрения и машинного обучения, который можно отображать на устройстве, в Интернете или на любом шлеме виртуальной/смешанной реальности.

Какие компьютерные технологии зрения и машинного обучения используются для реализации этого?

На самом деле нет серебряной пули, а скорее огромного коктейля из 3D-компьютерного зрения и машинного обучения, который мы создали для решения этой проблемы. Есть идеи из фотограмметрии (поскольку мы фактически создаем виртуальную камерную матрицу, перемещая одну камеру в пространстве), робототехники (огромная проблема слияния датчиков, поскольку у нас нет одной камеры, а множества датчиков, от которых можно получить данные для решения этой проблемы), компьютерной графики (вы можете посмотреть на нашу работу на Siggraph 2019, чтобы понять, как мы представляем некоторые из лежащих в основе структур) и многие другие. Все это должно было быть сделано на устройстве и запускаться в реальном времени, что означает, что мы используем вычислительные шейдеры и пишем код на ассемблере. Как упоминалось, это только начало, и чем больше сенсоров и вычислительной мощности будет доступно нам, тем больше мы будем использовать наш двигатель ALIS, чтобы улучшить различные аспекты технологии. Это долгосрочное видение, и у нас есть еще decade работы, чтобы быть полностью удовлетворенными тем, как выглядят оцифрованные сложные реальные сцены.

Легко представить, как .fyuses будут нарушать VR-приложения. Можете ли вы рассказать о текущих VR-приложениях, в которых могут быть использованы .fyuses?

Мы считаем, что любое VR-приложение, в котором оцифровка реального объекта и его отображение важны, должно получить пользу от использования нашего двигателя ALIS и .fyuses. Есть действительно нет недостатка в вертикальных и приложениях в электронной коммерции, здравоохранении, автомобильной промышленности, образовании и за их пределами, и мы очень взволнованы этим будущим.

Что вы предвидите как будущее VR-приложений для Fyuses?

Мы не видим никаких ограничений для текущей технологии, хотя наша текущая направленность больше на небольшие и средние сцены и объекты, а не на большие городские пейзажи.

Я легко могу представить Fyuses, используемые в будущих AR- и MR-приложениях. Что ваше видение будущего Fyuses в AR- и MR-среде?

Мы относимся ко всем AR/VR/MR-приложениям точно так же: как только 3D-объект был оцифрован с помощью нашей технологии, его можно извлечь из сцены и поместить куда угодно.

Обсуждали ли ваша команда возможность создания Fyuses с помощью виртуального помощника или ИИ?

Мы не исследовали возможность создания интерактивных виртуальных аватаров для людей. Это интересная возможность, но мы пытаемся оставаться сосредоточенными на решении текущего набора проблем, над которыми мы работаем.

Есть ли что-то еще, что вы хотели бы поделиться о Fyuses или Fyusion, Inc?

Это может звучать как реклама, но… мы – команда сумасшедших робототехников и ученых в области 3D-компьютерного зрения, смешанных с физиками из ЦЕРН, удивительными хакерами и инженерами, и это только описывает членов нашей основной технической команды. Мы любим разнообразие всех видов, поскольку это делает нас умнее и сильнее как команду. Если что-либо из того, над чем мы работаем, интересно кому-либо, кто читает это, пожалуйста, не стесняйтесь связаться с нами. Мы делаем все возможное, чтобы ответить на все вопросы, и вы можете оказаться в ситуации, когда придете к нам на кофе, а затем останетесь на decade.

Благодарим за отличные интервью, читатели, которые хотят узнать больше, могут посетить Fyusion.