Стівен Міллер, співзасновник та старший віце-президент з інженерії у Fyusion – Інтерв’ю

Стівен Міллер – співзасновник і старший віце-президент з інженерії у Fyusion, компанії з 3D-зображеннями та комп’ютерним баченням, що входить до складу групи Cox Automotive. До заснування Fyusion він був аспірантом Стенфордського університету, де вивчав комп’ютерні науки, і працював над персональними роботами, такими як складання білизни та зав’язування хірургічних вузлів під час навчання університету Каліфорнії у Берклі. Він є стипендіатом Google (GOOGL ) Hertz, стипендіатом SAP Стенфордського університету та колишнім стипендіатом Національного наукового фонду.

Чи можете ви пояснити, що таке Fyusion і як воно дозволяє легко захоплювати та візуалізувати 3D-дані?

Fyusion – це компанія з комп’ютерним баченням, яка забезпечує клієнтам 3D-досвід за допомогою штучного інтелекту. Ми дозволяємо людям захоплювати 3D-зображення за допомогою простого застосунку для смартфонів, який працює на більшості пристроїв Android і iOS. Застосунок має крок за кроком керівництво та розроблений для використання будь-ким, незалежно від технічних знань. На захоплення зображення потрібно хвилинку чи дві. Після цього наш двигун штучного інтелекту ALIS може аналізувати 3D-зображення та перетворювати візуальні дані на діючу інформацію. Наразі ми зосереджені на використанні 3D-зображень для діагностики зовнішніх пошкоджень автомобілів.

Чи можете ви пояснити, як алгоритми використовують формат файлу .fyuse, щоб дозволити смартфону з однією камерою створювати 3D-зображення?

Мені корисно розглядати формат .fyuse поряд з фотографіями та відео. Фотографія захоплює момент часу з фіксованого кута, а відео захоплює серію таких моментів у лінійному хронологічному порядку. Натомість зображення .fyuse захоплює те, що ми називаємо “моментом у просторі”. Дивак не обмежений одним кутом чи лінійним хронологічним порядком: він може бачити не тільки одну сторону чогось, а й навколо нього.

Щоб створити зображення .fyuse, фотограф повинен обертати свій об’єкт у одному напрямку камерою смартфону. Альтернативно, технологія Fyusion також сумісна з стаціонарними рішеннями зображення та нетрадиційними рішеннями зображення, такими як дрони.

Наш формат файлу .fyuse – це те, що оживляє ці зображення. Він легкий та дозволяє складну, багатовимірну інтерактивність. Він також повністю сумісний з ноутбуками, планшетами та смартфонами, які звичайний користувач уже має.

Чи можете ви обговорити деякі дані, які захоплюються та аналізуються за допомогою Fyusion?

З автомобілями ALIS розпізнає кожну частину транспортного засобу, а потім може визначити, де є пошкодження, розмір та ступінь пошкодження, а також виключити потенційні помилкові позитиви, такі як бруд, піднятий з дороги. Технологія, яку ми розробили та запатентували, може вирішувати інші проблеми, але зараз ми зосереджені на цій.

Чи можете ви обговорити, що таке AI-інформаційна система Lightfield (ALIS)?

ALIS – це двигун за кожним продуктом Fyusion. Він забезпечує легке 3D-зображення та глибоке візуальне розуміння. У нього є три частини: Захоплення, Двигун та Переглядач. У модулі Захоплення мобільний застосунок містить вбудовані навчальні матеріали та настраївані робочі процеси, які дозволяють користувачам захоплювати високоякісні 3D-зображення за допомогою більшості смартфонів на ринку. Захоплення зображення Fyusion також підтримує DSLR, дрони та багато інших пристроїв.

На другому етапі, Двигун, ALIS аналізує ці 3D-зображення та перетворює їх на діючу інформацію, таку як типи пошкоджень, необхідні нашими клієнтами. Він також може надати підтвердження своїх висновків, створюючи високоякісні 2D-зображення пошкоджень, які він виявляє.

Нарешті, Переглядач відображає формат файлу .fyuse. Формат .fyuse патентований та легкий, забезпечуючи іммерсивний 3D-досвід з швидкими часами завантаження. Ми можемо додати всі види досвіду до формату .fyuse, включаючи аудіо, відео та, звичайно, 2D-зображення.

Fyusion готовий до AR та VR, наскільки великими ви вважаєте ці застосування в майбутньому?

Додана реальність – це галузь вартістю мільярд доларів, яка стає все більш популярною, і тепер ще легше захоплювати навколишнє середовище у 3D завдяки потужним новим мобільним пристроям та низьколатентним мережам. Коли ці технології входять у масову культуру, очікування клієнтів щодо онлайн-досвідів зростатимуть так само швидко, як і творці вмісту зможуть跟ати.

Особливо в автомобільній промисловості, де покупка автомобілів все частіше відбувається онлайн, ми очікуємо зростання інтересу до AR, VR та 3D-листингів у найближчі роки. Метою є перетворення простої сторінки деталей транспортного засобу (VDP) на сторінку досвіду транспортного засобу (VEP), що допоможе великим і малим автодилерам продовжувати процвітати. Це може бути все, від додавання 3D-логотипів та багатих медіа-тегів до листингів, до дозволу клієнтам віртуально розміщувати набір гольф-клубів у багажнику автомобіля, щоб побачити, як вони поміщаються всередину.

Буде цікаво побачити, як ці види застосунків починають входити у масову культуру. Я не думаю, що це буде довгим чеканням.

Чи можете ви обговорити покращення клікової частоти та доходу в електронній комерції при використанні 3D-зображень порівняно з 2D-зображеннями?

Я найбільш знайомий з оптом та роздрібною торгівлею автомобілями. 3D-зображення створили новий рівень довіри для онлайн-шоперів, який особливо критичний для великих товарів, таких як автомобілі.

Наші внутрішні дані свідчать про те, що 3D-зображення збільшують взаємодію користувачів та час, проведений на сторінках деталей транспортного засобу, що, в свою чергу, було показано для збільшення продажів автомобілів. Надання реалістичного 3D-досвіду транспортного засобу також будує позитивне ставлення до постачальника, збільшуючи довіру.

Однією з опцій у Fyusion є обробка даних локально або в хмарі, чи можете ви обговорити переваги кожної?

Локально, краєві штучний інтелект змушує розробників працювати в рамках значних обмежень, особливо для випадку мобільних телефонів. Крім стандартних проблем для будь-якого розробника штучного інтелекту – Наскільки оптимізована мережа? Наскільки надійні результати? – певні практичні проблеми встановлюють чіткі стелі. Тиск на пам’ять, розрядка батареї, можливість того, що ваш процес буде відкладений користувачем або операційною системою тощо. І це припускає, що порівнянні ЦП та ГП були доступні на краю. Навіть для флагманських пристроїв це рідко буває випадком.

Вам потрібно планувати кожний можливий випадок; тоді як у хмарі будь-яке рішення можна відстежувати та налаштовувати.

Але колективно кажучи, краєвий штучний інтелект можна вважати ідеальним “автомасштабуванням” рішенням: для кожного нового користувача у вас є повністю нова машина у вашому розпорядженні. Якщо ви оптимізували свою мережу для роботи повністю на краю, ви можете так само легко обслуговувати двох клієнтів чи два мільйони клієнтів.

Хоча найбільш потужне апаратне забезпечення завжди буде існувати у хмарі, загалом прийнято, що дані – це король. Чим більше даних, і чим ближче вони до сирого стану, тим краще. Краєвий штучний інтелект має доступ до необроблених сирих даних, без обмежень. Натомість для рішення штучного інтелекту у хмарі вхідні дані повинні бути оброблені (стиснуті, часткові) або величезними, у цьому випадку пропускна здатність стає серйозною проблемою.

Оскільки він знаходиться найближче до користувача, краєвий штучний інтелект відкриває цілий ряд можливостей, яких немає у штучному інтелекті у хмарі. Якщо він оптимізований для роботи в реальному часі, він може надавати зворотний зв’язок у реальному часі. Що означає, що ви можете будувати рішення, які не тільки приймають дані, а й заохочують користувачів надавати кращі дані.

Як 5G забезпечить швидкий зростання застосунків комп’ютерного бачення?

При швидших швидкостях підключення ви можете перемістити більше обробки у хмару, що відкриває можливості для всіх видів нових застосунків комп’ютерного бачення. Однак це залежить від застосування та того, наскільки широко воно буде прийняте.

5G може мати фрагментований вплив і подальше поглиблення цифрового розриву, оскільки деякі частини світу матимуть усе швидшу та швидшу підключення, тоді як інші області продовжуватимуть мати повільне підключення. Застосунки, орієнтовані на людей з доступом до 5G, очевидно, виграють. Однак більш широко прийняті застосування можуть бути змушені вибирати між витратами часу та грошей на те, що фактично стане двома версіями одного й того ж застосування, або залишатися з однією версією, яка менш потужна, але може працювати майже на будь-якому підключенні.

Які кроки здійснює Fyusion, щоб скористатися майбутнім розгортанням 5G?

Я хочу попередити, що Fyusion витратив значний час на забезпечення того, щоб клієнти могли отримати доступ до наших застосунків навіть на старих телефонах з поганою доступністю смуги пропускання. З Manheim ми змогли проімджити понад мільйон автомобілів, і ми не досягли б цього інакше.

Тим не менше, ми дуже раді тому, що бачимо зараз – це трійця зростання швидкості обробки, підключення 5G та нічого коротше революції у камерах смартфонів. Поставте все це разом, і ви отримаєте деякі нові розробки, яких, на жаль, я не можу поділитися з вами зараз.

Чи є щось інше, що ви хотіли б поділитися про Fyusion?

Це дуже цікавий час для роботи у сфері комп’ютерного бачення – як дисципліна, ми переходимо у масову культуру після багатьох років обговорень про майбутню технологію. Fyusion росте швидко, і ми приймаємо на роботу вчених-комп’ютерного бачення з усього світу. Наші команди можуть працювати з будь-якого місця, але вони завжди запрошені до наших офісів у Потреро-Хілл.

Дякуємо за велике інтерв’ю, читачам, які хочуть дізнатися більше, слід відвідати Fyusion.