Stephen Miller, spoluzakladatel a SVP inženýrství ve Fyusion – rozhovor

Stephen Miller je spoluzakladatel a SVP inženýrství ve Fyusion, společnosti pro 3D zobrazování a počítačové vidění, která je součástí skupiny Cox Automotive. Před založením Fyusion byl doktorandem na Stanford University, kde studoval počítačové vědy, a během svého bakalářského studia na UC Berkeley pracoval na osobních robotech, jako je skládání prádla a chirurgické uzly. Je fellow Google (GOOGL ) Hertz, SAP Stanford Graduate Fellow a NSF Fellow alumnus.

Můžete vysvětlit, co je Fyusion a jak umožňuje snadné zachycení a vizualizaci 3D dat?

Fyusion je společnost pro počítačové vidění, která poskytuje AI poháněné 3D zákaznické zkušenosti. Umožňujeme lidem zachytit 3D obrázky pomocí jednoduché aplikace pro smartphone, která běží na většině zařízení s Androidem a iOS. Aplikace má krok za krokem návod a je navržena tak, aby ji mohl použít kdokoli, bez ohledu na technické znalosti. Zachycení obrázku trvá asi minutu nebo dvě. Naše AI engine, ALIS, poté analyzuje 3D obrázky a přemění vizuální data na akční informace. V současné době se zaměřujeme na použití 3D obrázků pro diagnostiku vnějšího poškození vozidel.

Můžete vysvětlit, jak algoritmy používají formát souboru .fyuse k umožnění vytvoření 3D obrázků pomocí jediné kamery smartphone?

Najdu to užitečné, když zvažuji formát .fyuse vedle fotografií a videí. Fotografie zachycuje okamžik v čase z pevného úhlu, a video zachycuje řadu těchto okamžiků v lineárním časovém rámci. Na rozdíl od toho .fyuse obrázek zachycuje to, co nazýváme “okamžik v prostoru.” Divák není omezen na jeden úhel nebo lineární časový rámec: Může vidět nejen jednu stranu něčeho, ale také kolem něj.

Chcete-li vytvořit .fyuse obrázek, fotograf obkrouží své téma v jednom směru pomocí kamery telefonu. Alternativně je technologie Fyusion také kompatibilní s pevnými řešeními zobrazování a netradičními řešeními zobrazování, jako jsou drony.

Náš formát souboru .fyuse je to, co tyto obrázky oživuje. Je lehký a umožňuje komplexní, multifaceted interaktivitu. Je také zcela kompatibilní s notebooky, tablety a smartphony, které běžný uživatel již má k dispozici.

Můžete diskutovat některé z dat, která jsou zachycena a analyzována pomocí Fyusion?

S vozidly ALIS rozpozná každou část vozidla a poté může určit, kde je poškození, velikost a závažnost poškození a eliminovat potenciální falešné pozitivy, jako je špína odhozená z cesty. Technologie, kterou jsme vyvinuli a patentovali, může řešit i další problémy, ale v současné době se zaměřujeme na tento.

Můžete diskutovat, co je AI-založený Lightfield Information Suite (ALIS)?

ALIS je engine za každým produktem Fyusion. Umožňuje lehké 3D zobrazování a hluboké vizuální porozumění. Skládá se ze tří částí: Zachycení, Engine a Viewer. V modulu Zachycení obsahuje mobilní aplikace vestavěné tutoriály a přizpůsobitelné pracovní postupy, které umožňují uživatelům zachytit vysoce kvalitní 3D obrázky pomocí většiny smartphonů na trhu. Zobrazování obrázků Fyusion také podporuje DSLR, drony a řadu dalších zařízení.

V druhém kroku, Engine, ALIS analyzuje tyto 3D obrázky a přemění je na akční informace, jako jsou typy poškození požadované našimi zákazníky. Může také poskytnout podporu pro svá zjištění vytvořením vysoce rozlišených 2D obrázků poškození, které najde.

Nakonec Viewer zobrazuje formát souboru .fyuse. .fyuse je patentovaný a lehký, a poskytuje imerzivní 3D zkušenost s rychlým načítáním. Můžeme připojit všechny druhy zkušeností s .fyuse, včetně audio, video a samozřejmě 2D obrázků.

Fyusion je jak pro AR, tak pro VR připraven, jak velký dopad budete mít na tyto aplikace v budoucnu?

Augmented reality je miliardový průmysl, který se stává stále více mainstreamovým, a je ještě snadnější zachytit okolí ve 3D díky výkonným novým mobilním zařízením a nízko-zpožděným sítím. Jak tyto technologie pronikají do mainstreamu, očekávání zákazníků od online zkušeností se budou zvyšovat stejně rychle, jako tvůrci obsahu budou moci držet krok.

Zvláště v automobilovém průmyslu, kde nákup vozidel přechází stále více online, očekáváme v příštích letech prudký nárůst zájmu o AR, VR a 3D seznamy. Cílem je transformovat jednoduchou stránku detailů vozidla (VDP) na stránku zkušeností s vozidlem (VEP), a pomoci tak velkým i malým automobilovým dealerům pokračovat v prosperitě. To může zahrnovat cokoli od přidání 3D log a bohatých médií na seznamy, nebo umožnění zákazníkům virtuálně umístit sadu golfových klubů do kufru vozidla, aby viděli, jak se tam vejdou.

Bude zajímavé sledovat, jak tyto druhy aplikací začnou pronikat do mainstreamového použití. Nemyslím si, že to bude dlouhé čekání.

Můžete diskutovat o zlepšení kliknutí a výnosu, které je vidět v e-commerce při použití 3D oproti 2D obrázkům?

Jsem nejvíce seznámen s velkoobchodním a maloobchodním prodejem vozidel. 3D obrázky vytvořily novou úroveň důvěry pro online nakupující, což je zvláště kritické u velkých položek, jako jsou vozidla.

Naše interní data ukazují, že 3D obrázky zvyšují uživatelskou angažovanost a čas strávený na stránkách detailů vozidel, což se následně ukázalo jako zvýšení prodeje vozidel. Poskytnutí životně podobné 3D zkušenosti s vozidlem také buduje pozitivní sentiment vůči prodejci zvýšením důvěry.

Jedna z možností u Fyusion je zpracovat data místně nebo v cloudu, můžete diskutovat o výhodách každé?

Místně, edge AI nutí vývojáře pracovat v rámci značných omezení, zejména pro použití mobilních telefonů. Kromě standardních obav pro každého vývojáře AI – Jak je optimalizovaná síť? Jak jsou spolehlivé výsledky? – existují určitá praktická omezení, která stanoví jasnou hranici. Tlak na paměť, vybíjení baterie, možnost, že váš proces bude pozadí uživatelem nebo operačním systémem, atd. A to předpokládá, že srovnatelné CPU a GPU jsou k dispozici na okraji. I pro vlajkové lodě je to zřídka případ.

Potřebujete plánovat každý možný krajní případ; zatímco v cloudu lze každé řešení monitorovat a jemně doladit.

Ale kolektivně řečeno, edge AI by mohl být považován za dokonalé “autoscaling” řešení: pro každého nového uživatele máte zcela nové zařízení k dispozici. Pokud jste optimalizovali svou síť tak, aby běžela zcela na okraji, můžete stejně snadno obsluhovat dva, nebo dva miliony klientů.

Zatímco nejvýkonnější hardware bude vždy existovat v cloudu, je obecně přijímané, že data jsou králem. Čím více dat a čím blíže jsou k surovým, tím lépe. AI na okraji má přístup k nezpracovaným, surovým vstupním datům, bez omezení. Zatímco pro cloudové AI řešení musí vstupní data být buď zpracována (komprimována, částečná), nebo enormní, v tomto případě se stává šířka pásma vážnou otázkou.

Protože je nejbližší uživateli, Edge AI otevírá řadu možností, které Cloud AI nemá. Pokud je optimalizován pro běh v reálném čase, může poskytnout zpětnou vazbu v reálném čase. To znamená, že můžete stavět řešení, která nejen přijímají data, ale také povzbuzují uživatele, aby poskytli lepší data.

Jak 5G umožní rychlý růst aplikací počítačového vidění?

Při rychlejších rychlostech připojení můžete přesunout více zpracování do cloudu, což otevírá možnosti pro všechny druhy nových aplikací počítačového vidění. Nicméně, skutečně záleží na aplikaci a na tom, jak široce bude přijata.

5G by mohlo mít fragmentovaný dopad a dále prohloubit digitální propast, protože některé části světa budou mít rychlejší a rychlejší připojení, zatímco jiné oblasti budou mít stále pomalé připojení. Aplikace zaměřené na lidi s přístupem k 5G budou samozřejmě profitovat. Ale obecněji přijímané aplikace mohou muset zvolit mezi tím, že stráví čas a peníze na to, co bude v podstatě dvě verze stejné aplikace, nebo zůstat u jedné verze, která je méně robustní, ale může běžet na téměř jakémkoli připojení.

Jaké kroky podniká Fyusion, aby využil budoucí nasazení 5G?

Chci předem uvést, že Fyusion strávil značné množství času zajišťujícím, aby zákazníci mohli přístup k našim aplikacím i na starých telefonech se špatnou dostupností šířky pásma. S Manheimem samotným naše technologie zobrazila přes milion vozidel, a jinak bychom toho nedosáhli.

Říkám, že jsme velmi nadšení tím, co vidíme právě teď – je to trojice zvyšujících se rychlostí zpracování, 5G připojení a ničím jiným než revolucí v kamerových telefonech. Všechno tohle dohromady dává některé nové vývojové trendy, o kterých bohužel nemohu mluvit.

Je něco jiného, co byste chtěli sdílet o Fyusion?

Je to velmi vzrušující doba pro práci v počítačovém vidění – jako disciplína se pohybujeme do mainstreamu po mnoha letech, kdy jsme byli mluveni o jako o budoucí technologii. Fyusion roste rychle a náborujeme počítačové vidění vědce z celého světa. Naši členové týmu mohou pracovat z jakéhokoli místa, ale jsou vždy vítáni v našich kancelářích v Potrero Hill.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se více dozvědět, by měli navštívit Fyusion.