Radu Rusu, CEO & spoluzakladatel Fyusion – Interview Series

Radu Rusu je CEO & spoluzakladatel Fyusion, společnosti, která má za cíl budovat nové, vizuálně úžasné 3D technologie, které by umožnily řešit komplexní vizuální problémy pomocí umělé inteligence. Společně vyvinuli a patentovali nový formát souboru, nazvaný .fyuse, který umožňuje lidem pořizovat úžasné 3D obrázky ze svých smartphonů, což způsobilo sociální médii senzaci a přilákalo více než 100 milionů uživatelů prostřednictvím spotřebitelských mobilních aplikací.

Vy jste pracoval na 3D od roku 2012, jste目前 prezident a CEO Open Perception, Inc. Můžete sdílet, co je mise této neziskové organizace?

Začal jsem svou kariéru v 3D datovém zpracování na počátku roku 2000 během svého postgraduálního studia, s touto myšlenkou v hlavě, že udělám roboty, aby lépe viděly a chápaly svět z vizuálního hlediska. To mě vedlo asi deset let robotiky související s 3D počítačovým viděním a výzkumem, a na počátku roku 2010 jsem si uvědomil, že to, co jsem dělal, mohlo být aplikováno na mnohem širší soubor problémů. Open Perception byla vytvořena jako spin-off z Willow Garage a převzala jeden z našich open source projektů – Point Cloud Library (PCL) – a pokračovala v jeho rozvoji. Open Perception, Inc. byla založena v Kalifornii v dubnu 2012 jako nezávislá organizace vytvořená za účelem podpory vývoje, distribuce a přijetí open source software pro 2D/3D zpracování senzorických dat, s aplikacemi ve výzkumu, vzdělávání a produktovém rozvoji.

V roce 2014 jste se stal spoluzakladatelem a CEO Fyusion, Inc. Můžete sdílet příběh o vzniku Fyusion, Inc?

Při práci na robotice jsme si uvědomili, že úzká místa již nejsou algoritmy, ale formáty dat. Umělá inteligence dosáhla vrcholu přesnosti v mnoha doménách, protože typ dat, který jsme používali, zejména ve vizuálních formátech, byl dvourozměrný (jako fotografie a videa), zatímco svět je trojrozměrný. Cítili jsme, že existuje potenciál transformovat způsob, jakým lidé chápou svět, pomocí 3D dat v platformách umělé inteligence.

V roce 2014 jsme se rozhodli vytvořit nový typ 3D dat, generovaných pomocí počítačového vidění a softwaru pro strojové učení, spojením více zdrojů dat a použitím velmi škálovatelného komoditního hardwaru dostupného v našich kapsách – tj. našich smartphonů.

Založili jsme Fyusion s cílem budovat nové, vizuálně úžasné 3D technologie, které by umožnily každému řešit komplexní vizuální problémy pomocí umělé inteligence.

Společně jsme vyvinuli a patentovali nový formát souboru, nazvaný .fyuse, který umožňuje lidem pořizovat úžasné 3D obrázky ze svých smartphonů. To okamžitě způsobilo sociální médii senzaci a přilákalo více než 100 milionů uživatelů prostřednictvím spotřebitelských mobilních aplikací.

Co vás původně přitáhlo k myšlence reinventovat význam 3D pro spotřebitelské aplikace?

Prostě jsme si uvědomili, že nikdo tento problém nevyřešil ve velkém měřítku. Byl to nevyřešený problém. Stejně jako v našich doktorských programech, věci, které nás intelektuálně vzrušují, jsou opravdu komplikované problémy, které někdo řekl, že nelze vyřešit.

V tomto případě, do jisté míry, měli pravdu. Typ algoritmů, který byl vyžadován pro řešení tohoto problému, byl pouze částečně promyšlen a hardwarový požadavek pro běh těchto algoritmů neexistoval, zejména na okrajových zařízeních, jako jsou smartphony. Museli jsme vlastně počkat, až iPhone 4S vyšel, abychom mohli spustit reálný 3D počítačový vidění kód na smartphone, protože předtím měly iPhony pouze jeden CPU core. Jakmile jsme začali vidět, co může hardwar smartphone udělat, stali jsme se velmi intéressovanými o to, abychom vzali naše počítačové vidění a robotické výzkumné odbornosti a viděli, co bychom mohli vtěsnat do těchto malých kamer a CPU/GPU. Trvalo to nějakou dobu, než jsme se vrátili k výkresu a přemyšleli, jak si představit a implementovat light field capture a zpracování úplně přes software. Jakmile jsme to viděli fungovat, Fyusion byl na cestě.

Měli jsme dříve 2D fotografie v analogové formě a pak se pouze digitalizovaly s vším ostatním. Jediná instance, kterou jsme měli ve 3D světě ve velkém měřítku, byla „trojúhelníková mřížka s texturou“ (tj. formáty souborů OBJ), které pocházely z počítačových her a počítačové grafiky a byly určeny pro reprezentaci umělých objektů ve hře. Tyto závisely silně na perfektní geometrii, která je nemožná získat – jak můžete zachytit a reprezentovat vodu jako trojúhelníkovou mřížku s texturou pomocí kamery? Co o transparentních objektech? Listí? Věcích, které jsou daleko? A tak dále…

Bylo jasné, že někdo musel řešit potřebu spotřebitelsky přátelských 3D formátů. Musel být založen na úplně jiném paradigmatu a řešen „3D obrazovým renderováním“ způsobem (tj. light fieldy) a zahrnoval informace, které jsou dostupné v době zachycení (jako orientace kamery pomocí gyroskopického senzoru), které se obvykle zahazují, když zachytíte 2D obraz. A pak samozřejmě se snažíme rekonstruovat tyto zahazené informace pomocí strojového učení.

Byla to naše příležitost a je to to, o čem by se měly startupy snažit: najít opravdu tvrdý problém, o kterém jsou vášnivé, počkat na správný čas a otevření, a šíleně se snažit ho vyřešit.

Jási můžete diskutovat o procesu pro někoho, kdo chce vytvořit fyuse pomocí mobilní aplikace?

Jsme stále v rané fázi této technologie, ale podstatou je: vezmete smartphone, který má aplikaci napsanou Fyusionem nebo partnerem, který využívá náš Fyusion ALIS SDK, a otevřete kameru. Získáte instrukce, co máte dělat, a pokud je budete následovat, získáte .fyuse na zařízení, který je počítačovým viděním a strojovým učením zpracovaným „objektem souboru“, který můžete vykreslit na zařízení, na webu nebo na libovolné AR/VR/MR hlavě.

Jaké jsou některé počítačové vidění a strojové učení technologie, které se používají k tomu, aby se tato realita stala skutečností?

Skutečně není zde žádný stříbrný projektil, ale obrovský koktejl 3D počítačového vidění a strojového učení nástrojů, které jsme vytvořili pro řešení tohoto problému. Jsou zde nápady z fotogrammetrie (protože efektivně vytváříme virtuální kamerový array pohybem jediné kamery v prostoru), robotiky (obrovský senzorový fúzní problém, protože nemáme již jednu kameru, ale spoustu senzorů, ze kterých můžeme čerpat data, aby nám pomohly vyřešit tento problém), počítačové grafiky (můžete se podívat na naši práci Siggraph 2019, abyste pochopili, jak reprezentujeme některé z podkladových struktur) a mnoho dalších. Všechno tohle muselo být provedeno na zařízení a spuštěno v reálném čase, což znamená, že využíváme compute shader a píšeme kód v assembly. Jak je zmíněno, je to jen začátek a čím více senzorů a výpočetního výkonu, který se stane dostupným, tím více budeme využívat naší ALIS brzdy, abychom vylepšili několik aspektů technologie. Je to dlouhodobá vize a máme před sebou ještě desetiletí práce, abychom byli plně spokojeni s tím, jak vypadají digitalizované komplexní reálné scény.

Je snadné si představit, jak .fyuse budou rušivé pro VR aplikace. Můžete diskutovat o typech současných VR aplikací, ve kterých lze .fyuse použít?

Myslíme si, že KAŽDÁ VR aplikace, ve které je digitalizace reálného objektu a jeho zobrazení důležitá, by měla mít prospěch z využití našeho ALIS motoru a .fyuse. Skutečně není žádného nedostatku vertikál a aplikací v e-commerce, zdravotnictví, automobilovém průmyslu, vzdělávání a za hranicemi, a jsme velmi nadšení z této budoucnosti.

Co jste předvídali jako budoucnost VR aplikací pro Fyuse?

Nevidíme žádná omezení současné technologie, i když se naše současná pozornost zaměřuje více na malé až střední scény a objekty a ne na velké městské scény.

Můžu snadno představit Fyuse, které se používají v budoucích AR a MR aplikacích. Co je vaše vize pro budoucnost Fyuse v AR a MR prostředí?

Zacházíme se všemi AR/VR/MR aplikacemi přesně stejně: jakmile je 3D objekt digitalizován pomocí naší technologie, může být extrahován ze scény a umístěn kamkoli.

Byla vaše týmem diskutována myšlenka tvorby Fyuse s virtuálním asistentem nebo AI?

Nediskutovali jsme možnost vytvoření interaktivních virtuálních avatarů pro lidi. To je zajímavá možnost, ale snažíme se zůstat soustředěni na řešení současné sady problémů, na které pracujeme.

Je zde něco jiného, co byste rádi sdíleli o Fyuse nebo Fyusion, Inc?

To může znít jako pitch, ale… jsme banda šílených robotiků a 3D počítačových vidění vědců, smíchaných s CERN fyziky, úžasnými hackery a inženýry, a to popisuje pouze členy našeho jádra technického týmu. Líbí se nám rozmanitost všech druhů, protože to nás dělá chytřejšími a silnějšími jako tým. Pokud je něco, na čem pracujeme, zajímavé pro někoho, kdo čte toto, pak nás, prosím, neváhejte kontaktovat. Snažíme se odpovědět každému a můžete se najít v situaci, kdy přijdete na kávu a zůstanete na deset let.

Děkuji za skvělé rozhovory, čtenáři, kteří chtějí dozvědět se více, by měli navštívit Fyusion.