Radu Rusu, CEO & Co-Founder of Fyusion – Interview Series

Radu Rusu, je CEO & Co-Founder of Fyusion, společnosti, která má za cíl budovat nové, vizuálně úžasné 3D technologie, které by umožnily řešit složité vizuální problémy s umělou inteligencí. Společně vyvinuli a patentovali nový formát souboru, nazvaný .fyuse, který umožňuje lidem pořizovat úžasné 3D obrázky ze svých smartphonů, což způsobilo senzaci na sociálních médiích a přilákalo více než 100 milionů uživatelů prostřednictvím spotřebitelských mobilních aplikací.

Vy jste pracoval na 3D od roku 2012, v současné době jste prezidentem a CEO Open Perception, Inc. Můžete sdělit, co je mise této neziskové organizace?

Začal jsem svou kariéru v zpracování 3D dat na počátku roku 2000 během svého postgraduálního studia, s myšlenkou, že udělám roboty, aby lépe viděly a chápaly svět z vizuálního hlediska. To mě vedlo přes asi deset let výzkumu robotiky a 3D počítačového vidění a na počátku roku 2010 jsem si uvědomil, že to, na čem jsem pracoval, mohlo být aplikováno na mnohem širší soubor problémů. Open Perception byla vytvořena jako odštěpná organizace od Willow Garage a převzala jeden z našich projektů s otevřeným zdrojovým kódem – Point Cloud Library (PCL) – a pokračovala v jeho rozvoji. Open Perception, Inc. byla založena v Kalifornii v dubnu 2012 jako nezávislá organizace vytvořená za účelem podpory vývoje, distribuce a přijetí otevřeného softwaru pro 2D/3D zpracování senzorických dat, s aplikacemi ve výzkumu, vzdělávání a produktovém rozvoji.

V roce 2014 jste se stal spoluzakladatelem a CEO Fyusion, Inc. Můžete sdělit příběh vzniku Fyusion, Inc?

Zatímco jsem se věnoval výzkumu robotiky, spoluzakladatelé Fyusion a já si uvědomili, že úzkými místy již nebyly algoritmy, ale formáty dat. Učení strojů dosáhlo vrcholu přesnosti kolem toho času v mnoha oblastech, protože typ dat, který jsme používali, zejména ve vizuálních formátech, byl dvourozměrný (jako fotografie a videa), zatímco svět je trojrozměrný. Cítili jsme, že existuje potenciál transformovat způsob, jakým lidé chápou svět, využívající 3D data v platformách strojového učení.

V roce 2014 jsme se rozhodli vytvořit nový typ 3D dat, generovaných prostřednictvím softwaru počítačového vidění a strojového učení, slučováním více zdrojů dat a využíváním extrémně škálovatelného komoditního hardwaru dostupného v našich kapsách – tj. našich smartphonů.

Založili jsme Fyusion s cílem budovat nové, vizuálně úžasné 3D technologie, které by umožnily každému řešit složité vizuální problémy s umělou inteligencí.

Společně jsme vyvinuli a patentovali nový formát souboru, nazvaný .fyuse, který umožňuje lidem pořizovat úžasné 3D obrázky ze svých smartphonů. To okamžitě způsobilo senzaci na sociálních médiích a přilákalo více než 100 milionů uživatelů prostřednictvím spotřebitelských mobilních aplikací.

Co vás zpočátku přitáhlo k myšlence předefinování významu 3D pro spotřebitelské aplikace?

Prostě jsme si uvědomili, že nikdo tento problém dosud nevyřešil ve velkém měřítku. Byla to nevyřešená otázka. Stejně jako v našich doktorských programech, věci, které nás intelektuálně vzrušují, jsou opravdu složité problémy, které někdo řekl, že nelze vyřešit.

V tomto případě, do jisté míry, měli pravdu. Typ algoritmů vyžadovaných pro řešení tohoto problému byl pouze částečně promyšlen a hardwarový požadavek pro jejich spuštění neexistoval, zejména na okrajových zařízeních, jako jsou smartphony. Ve skutečnosti jsme museli počkat, až vyšel iPhone 4S, abychom mohli spustit reálný 3D počítačový vidění kód na smartphone, protože předtím měly iPhony pouze jeden CPU core. Jakmile jsme začali vidět, co může hardwar smartphoneů udělat, stali jsme se velmi intéressovanými o to, abychom vzali naše znalosti počítačového vidění a robotiky a viděli, co bychom mohli vtěsnat do těchto malých kamer a CPU/GPU. Trvalo to nějakou dobu, než jsme se vrátili k výkresu a předefinovali, jak si představit a implementovat zachycení a zpracování světelného pole pouze prostřednictvím softwaru. Jakmile jsme to viděli fungovat, Fyusion byl na cestě.

Měli jsme 2D fotografie v analogové formě a poté se pouze digitalizovaly s vším ostatním. Jedinou instancí, kterou jsme měli ve 3D světě ve velkém měřítku, byla “trojúhelníková mřížka s texturou” (například formáty souborů OBJ), které pocházely z počítačových her a počítačové grafiky a byly určeny k reprezentaci umělých objektů ve hře. Tyto formáty silně závisí na perfektní geometrii, což je nemožné získat – jak zachytit a reprezentovat vodu jako trojúhelníkovou mřížku s kamerou? Co o transparentních objektech? Listí? Věcech, které jsou daleko? A tak dále…

Bylo jasné, že někdo musel řešit potřebu spotřebitelsky přívětivých 3D formátů. Musel být založen na zcela jiném paradigmatu a vyřešen “3D způsobem renderování obrazu” (tj. světelná pole), a zahrnoval informace, které jsou k dispozici v době zachycení (jako orientace kamery prostřednictvím gyroskopického senzoru), které se obvykle zahazují, když se zachytí 2D obraz. A poté, samozřejmě, se snažíme znovu odvodit tyto zahazované informace prostřednictvím strojového učení.

Tato byla naše příležitost a je to to, o čem by se měly startupy snažit: najít opravdu tvrdý problém, o který jsou vášniví, počkat na správný čas a otevření, a snažit se jej řešit.

Jádro technologie umožňuje komukoli vytvořit imerzivní, interaktivní 3D obrázky nazvané .fyuses pohybem kamery kolem osoby, objektu nebo scény. Můžete diskutovat o procesu pro někoho, kdo chce vytvořit .fyuse pomocí mobilní aplikace?

Jsme stále v raném stádiu této technologie, ale podstata věci je: vezmete si smartphone, který má aplikaci napsanou Fyusion nebo partnera, která využívá náš Fyusion ALIS SDK, a otevřete kameru. Získáte instrukce, co máte dělat, a pokud je budete následovat, získáte .fyuse na zařízení, který je počítačovým viděním a strojovým učením zpracovaným “objektem souboru”, který můžete vykreslit na zařízení, na webu nebo na libovolné AR/VR/MR brýli.

Jaké jsou některé z počítačového vidění a strojového učení technologií, které se používají k tomu, aby se tato realita stala skutečností?

Ve skutečnosti zde není žádná stříbrná kulka, ale obrovský koktejl 3D počítačového vidění a strojového učení nástrojů, které jsme vytvořili pro řešení tohoto problému. Jsou zde nápady z fotogrammetrie (protože vlastně vytváříme virtuální kamerový array pohybem jediné kamery v prostoru), robotiky (velký problém fúze senzorů, protože již nemáme jednu kameru, ale spoustu senzorů, ze kterých můžeme čerpat data, aby nám pomohly vyřešit tento problém), počítačové grafiky (můžete se podívat na naši práci Siggraph 2019, abyste pochopili, jak reprezentujeme některé z podkladních struktur) a mnoho dalších. To vše muselo být provedeno na zařízení a spustitelné v reálném čase, což znamená, že využíváme compute shaders a píšeme kód v assembly. Jak je uvedeno, je to pouze začátek a čím více senzorů a výpočetního výkonu, který bude k dispozici, tím více budeme využívat náš ALIS akcelerátor, abychom zlepšili několik aspektů technologie. Je to dlouhodobá vize a máme před sebou další dekádou plus práce, abychom byli plně spokojeni s tím, jak vypadají digitalizované komplexní scény reálného světa.

Je snadné si představit, jak .fyuses budou rušivé pro VR aplikace. Můžete diskutovat o typech současných VR aplikací, ve kterých lze .fyuses použít?

Myslíme si, že KAŽDÁ VR aplikace, ve které je digitalizace reálného objektu a jeho zobrazení důležitá, by měla těžit z využití našeho ALIS motoru a .fyuses. Existuje opravdu nedostatek vertikálů a aplikací v e-commerce, zdravotnictví, automobilovém průmyslu, vzdělávání a dalších, a jsme velmi nadšeni touto budoucností.

Co vidíte jako budoucnost VR aplikací pro Fyuses?

Nevidíme žádná omezení současné technologie, i když se naše současné zaměření více soustředí na malé až střední scény a objekty, a ne na velké městské scény.

Mohu snadno představit Fyuses, které se používají v budoucích augmented reality (AR) a Mixed reality (MR) aplikacích. Co je vaše vize pro budoucnost Fyuses v AR a MR prostředí?

Zacházíme se všemi AR/VR/MR aplikacemi přesně stejně: jakmile je 3D objekt digitalizován pomocí naší technologie, může být extrahován ze scény a umístěn kamkoli.

Byla vaše tým diskutoval o myšlence, že Fyuses budou vytvořeny s virtuálním asistentem nebo AI?

Neprozkoumali jsme možnost vytvořit interaktivní virtuální avatary pro lidi. Toto je zajímavá možnost, ale snažíme se zůstat soustředěni na řešení současného souboru problémů, na kterých pracujeme.

Je něco jiného, co byste rádi sdělili o Fyuses nebo Fyusion, Inc?

Tohle může znít jako pitch, ale… jsme banda šílených roboticistů a 3D počítačových vidění vědců, smíchaných s CERN fyziky, úžasnými hackery a inženýry, a to je jen popis členů našeho jádra technického týmu. Máme rádi rozmanitost všech druhů, protože to nás činí chytřejšími a silnějšími jako tým. Pokud je něco, na čem pracujeme, zajímavé pro někoho, kdo čte toto, pak nás, prosím, neváhejte kontaktovat. Snažíme se odpovědět každému a můžete se sami přesvědčit, že můžete přijít na kávu a zůstat na deset let.

Děkuji za skvělé rozhovory, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Fyusion.