Стивен Миллер, сооснователь и старший вице-президент по инженерии в Fyusion – Интервью

Стивен Миллер – сооснователь и старший вице-президент по инженерии в Fyusion, компании, занимающейся 3D-изображениями и компьютерным зрением, входящей в группу Cox Automotive. До основания Fyusion он был аспирантом в Стэнфордском университете, где изучал компьютерные науки, и работал над личными роботами, такими как складывание белья и завязывание хирургических узлов, во время своего бакалавриата в Университете Калифорнии в Беркли. Он является стипендиатом Google (GOOGL ) Hertz, стипендиатом SAP Стэнфордского университета и бывшим стипендиатом Национального научного фонда.

Можете ли вы объяснить, что такое Fyusion и как оно позволяет легко захватывать и визуализировать 3D-данные?

Fyusion – это компания, занимающаяся компьютерным зрением, которая предоставляет клиентам опыт, основанный на искусственном интеллекте и 3D-технологиях. Мы позволяем людям захватывать 3D-изображения с помощью простого приложения для смартфона, которое работает на большинстве устройств Android и iOS. Приложение имеет пошаговую инструкцию и предназначено для использования кем угодно, независимо от технических знаний. На захват изображения уходит минута или две. После этого наш движок ALIS может проанализировать 3D-изображения и превратить визуальные данные в полезную информацию. Сейчас мы сосредоточены на использовании 3D-изображений для диагностики внешнего повреждения автомобилей.

Можете ли вы объяснить, как алгоритмы используют формат файла .fyuse, чтобы позволить смартфону с одной камерой создавать 3D-изображения?

Мне помогает думать о формате .fyuse наряду с фотографиями и видео. Фотография захватывает момент времени с фиксированного угла, а видео захватывает серию этих моментов в линейной временной шкале. Напротив, изображение .fyuse захватывает то, что мы называем “моментом в пространстве”. Зритель не ограничен одним углом или линейной временной шкалой: он может видеть не только одну сторону чего-либо, но и вокруг него.

Чтобы создать изображение .fyuse, фотограф проходит вокруг объекта в одном направлении с камерой смартфона. Альтернативно, технология Fyusion также совместима с фиксированными решениями для съёмки и нестандартными решениями для съёмки, такими как беспилотники.

Наш формат файла .fyuse – это то, что оживляет эти изображения. Он лёгкий и позволяет сложную, многофакторную интерактивность. Он также полностью совместим с ноутбуками, планшетами и смартфонами, которые обычный пользователь уже имеет в своём распоряжении.

Можете ли вы обсудить некоторые данные, которые захватываются и анализируются с помощью Fyusion?

С автомобилями ALIS распознаёт каждую часть транспортного средства, а затем может определить, где есть повреждение, размер и тяжесть повреждения, и исключить потенциальные ложные положительные результаты, такие как грязь, поднятая с дороги. Технология, которую мы разработали и запатентовали, может решить другие проблемы, но сейчас мы сосредоточены на этой.

Можете ли вы обсудить, что такое AI-основанный Lightfield Information Suite (ALIS)?

ALIS – это движок, стоящий за каждым продуктом Fyusion. Он позволяет лёгкое 3D-изображение и глубокое понимание визуальных данных. В ALIS есть три части: Захват, Движок и Просмотрщик. В модуле Захват мобильное приложение содержит встроенные учебники и настраиваемые рабочие процессы, которые позволяют пользователям захватывать высококачественные 3D-изображения с помощью большинства смартфонов на рынке. Захват изображений Fyusion также поддерживает DSLR-камеры, беспилотники и множество других устройств.

На втором этапе, Движок, ALIS анализирует эти 3D-изображения и превращает их в полезную информацию, такую как типы повреждений, необходимых нашим клиентам. Он также может предоставить подтверждение своих выводов, создавая высококачественные 2D-изображения повреждений, которые он находит.

Наконец, Просмотрщик отображает формат файла .fyuse. Файл .fyuse запатентован и лёгкий, и обеспечивает погружающий 3D-опыт с быстрой загрузкой. Мы можем добавить все sorts опыта с файлом .fyuse, включая аудио, видео и, конечно же, 2D-изображения.

Fyusion готов как для AR, так и для VR, насколько большим, по вашему мнению, будут эти применения в будущем?

Дополненная реальность – это миллиардная индустрия, которая становится всё более мейнстримной, и теперь ещё проще захватывать окружающую среду в 3D благодаря мощным новым мобильным устройствам и низкозадержанным сетям. По мере того, как эти технологии входят в мейнстрим, ожидания клиентов от онлайн-опыта будут расти так же быстро, как создатели контента смогут их удовлетворить.

Особенно в автомобильной промышленности, где покупка автомобилей всё чаще происходит онлайн, в ближайшие несколько лет мы ожидаем всплеска интереса к AR, VR и 3D-листингам. Цель – превратить простую страницу деталей транспортного средства (VDP) в страницу опыта транспортного средства (VEP), помогая как крупным, так и мелким автодилерам продолжать процветать. Это может быть всё, от добавления 3D-логотипов и тегов богатых медиа к листингам, или позволяя покупателям виртуально размещать набор гольф-клубов в багажнике автомобиля, чтобы увидеть, как они там помещаются.

Будет интересно увидеть, как эти типы приложений начнут работать в мейнстриме. Я не думаю, что нам придётся долго ждать.

Можете ли вы обсудить улучшение коэффициента кликов и выручки, которое наблюдается в электронной коммерции при использовании 3D-изображений вместо 2D?

Я наиболее знаком с оптовыми и розничными автомобильными продажами. 3D-изображения создали новый уровень доверия для онлайн-покупателей, что особенно критично для крупных товаров, таких как автомобили.

Наши внутренние данные показывают, что 3D-изображения увеличивают вовлечённость пользователей и время, проведённое на страницах деталей транспортных средств, что, в свою очередь, было показано увеличением продаж автомобилей. Предоставление реалистичного 3D-опыта транспортного средства также создаёт положительный настрой по отношению к продавцу, увеличивая доверие.

Одним из вариантов Fyusion является обработка данных локально или в облаке, можете ли вы обсудить преимущества каждого?

Локально, краевой ИИ заставляет разработчиков работать в значительных ограничениях, особенно для случая мобильных телефонов. Помимо стандартных проблем для любого разработчика ИИ – насколько оптимизирована сеть? Насколько надёжны результаты? – определённые практические проблемы устанавливают чёткие потолки. Давление на память, разрядка батареи, возможность того, что ваш процесс будет помещён в фон пользователем или операционной системой и т. д. И это при условии, что сравнимые ЦП и ГП доступны на краю. Даже для флагманских устройств это редко бывает.

Вам нужно планировать каждый возможный случай; тогда как в облаке любое решение можно контролировать и настраивать.

Но коллективно говоря, краевой ИИ может быть рассмотрен как идеальное “автомасштабирующее” решение: для каждого нового пользователя у вас есть совершенно новая машина в вашем распоряжении. Если вы оптимизировали свою сеть для работы entirely на краю, вы можете так же легко обслужить двух, или два миллиона, клиентов.

Хотя самое мощное оборудование всегда будет существовать в облаке, обычно считается, что данные – это король. Чем больше данных, и чем ближе они к сырым, тем лучше. ИИ на краю имеет доступ к необработанным, сырым входным данным, без ограничений. В то время как для решения ИИ в облаке входные данные должны быть либо обработаны (сжаты, частичны), либо огромны, после чего пропускная способность становится серьёзной проблемой.

Поскольку он находится ближе всего к пользователю, краевой ИИ открывает целый ряд возможностей, которые ИИ в облаке не может. Если он оптимизирован для работы в реальном времени, он может предоставлять обратную связь в реальном времени. Что означает, что вы можете строить решения, которые не только потребляют данные, но и поощряют пользователей предоставлять лучшие данные.

Как 5G позволит быстро расти компьютерным технологиям зрения?

При более быстрых скоростях подключения вы можете переместить больше обработки в облако, что открывает возможности для всех sorts новых компьютерных приложений зрения. Однако это действительно зависит от приложения и того, насколько широко оно будет принято.

5G может иметь фрагментированное влияние и дальнейшее расширение цифрового разрыва, поскольку некоторые части мира имеют более быструю и быструю связь, в то время как другие области будут продолжать иметь медленную связь. Приложения, ориентированные на людей с доступом к 5G, очевидно, выиграют. Но более широко принятые приложения могут быть вынуждены выбирать между тратой времени и денег на то, что по сути станет двумя версиями одного и того же приложения, или придерживаться одной версии, которая менее мощная, но может работать на几乎 любом подключении.

Какие шаги предпринимает Fyusion, чтобы воспользоваться будущим внедрением 5G?

Я хочу предварить это, сказав, что Fyusion потратил значительное время на то, чтобы обеспечить доступ клиентов к нашим приложениям даже на старых телефонах с плохой доступностью полосы пропускания. С Manheim alone наша технология проявила более миллиона автомобилей, и мы не достигли бы этого иначе.

Тем не менее, мы очень взволнованы тем, что видим сейчас – это триада увеличивающейся скорости обработки, подключения 5G и ничего short революции в камерах смартфонов. Всё это вместе и даёт нам некоторые новые разработки, которые, к сожалению, я не могу поделиться с вами сейчас.

Есть ли что-то ещё, что вы хотели бы поделиться о Fyusion?

Это очень интересное время для работы в области компьютерного зрения – как дисциплина, мы переходим в мейнстрим после многих лет обсуждения как будущей технологии. Fyusion растёт быстро, и мы нанимаем учёных-компьютерного зрения со всего мира. Наши члены команды могут работать из любого места, но они всегда приветствуются в наших офисах в Потреро-Хилл.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Fyusion.