Gil Elbaz, spoluzakladatel a CTO společnosti Datagen – Interview Series

Gil Elbaz je CTO a spoluzakladatel společnosti Datagen se sídlem v Tel Avivu. Vystudoval bakalářský a magisterský titul na Technionu. Gilova diplomová práce se zaměřila na 3D počítačové vidění a byla publikována na konferenci CVPR, která je nejvýznamnější konferencí o počítačovém vidění na světě. Datagen je průkopníkem v novém oboru Simulovaných dat, který je podmnožinou syntetických dat a zaměřuje se na fotorealistické znázorňování světa kolem nás. Společnost vyšla z utajení s více než 18 miliony dolarů ve financování v březnu 2021 a nyní spolupracuje s mnoha společnostmi z žebříčku Fortune 100 v oblasti augmentované a virtuální reality, robotiky a automobilového průmyslu, včetně většiny největších amerických technologických gigantů.

Co vás původně přitáhlo k robotice a strojnímu učení?

Knihy science fiction, jako je série Nadace od Isaaca Asimova a iRobot, mě vždycky fascinovaly myšlenkou budoucnosti, ve které roboti budou nedílnou součástí našeho každodenního života. Existuje tolik nudných, opakujících se úkolů, které lidé vykonávají; věděl jsem, že je nechci dělat, a nemohl jsem si představit, že by je chtěl dělat někdo jiný. Pokud vezmeme v úvahu, že robotika je technologickou nevyhnutelností, myslel jsem si, že směřování do tohoto oboru bude chytré, „budoucnost odolné“ kariérní rozhodnutí.

Takže jsem se původně přiblížil k tomuto oboru se zaměřením na fyzické aspekty předmětu a získal jsem titul v oboru strojního inženýrství na Technionu v Haifě, Izraeli. Ke konci svého studia jsem začal hluboce pronikat do světa nástrojů CAD a jejich možností. Tyto nástroje umožňují strojním inženýrům navrhovat struktury a mechanická zařízení (cokoli od mostu po auto). Viděl jsem enormous příležitost udělat velký dopad bez nutnosti řešit pomalé iterace fyzického světa. V praxi tyto programy měly velmi málo, pokud vůbec nějaké, schopnosti strojního učení / počítačového vidění, které by pomohly inženýrům vytvářet jednodušší, levnější a stabilnější mechanická systémy (to bylo v roce 2015). Vypravil jsem se směrem k počítačovému vidění na 3D datech s hlubokým učením (velmi novým v té době) s cílem vytvořit chytrější programy CAD. Práce v raných dnech moderního hlubokého učení se cítit jako být součástí něčeho, co by mohlo být opravdu velké – podobně jako internet.

V praxi byla moje výzkumná práce první, která přinesla revoluci hlubokého učení na naší fakultě na Technionu. To se později změnilo v článek, který byl přijat na nejvýznamnější konferenci o počítačovém vidění na světě, CVPR, a letěl jsem na Havaj, na CVPR 2017. Prezentace mé práce a setkání s lidmi mi otevřely oči škálu počítačového vidění a potenciál, který čeká na odemknutí.

Můžete sdílet příběh o vzniku Datagen?

Datagen byl založen v roce 2018 s misí transformovat, jak týmy získávají data pro počítačové vidění. Rok předtím jsme viděli demo Oculus Rift, který se skládal z VR headsetu a ručního ovladače. Po demo jsme se sami sebe ptali: „s pokročilými kamerami vestavěnými do headsetu, proč je potřeba ruční zařízení pro připojení virtuálního prostoru k fyzickému prostoru (tj. sledovat pohyb ruky)?“ Neuronové sítě byly již dostatečně pokročilé, aby to zvládly, takže co byl problém?“ A tehdy nám to došlo — Data! Okamžitě jsme viděli obrovskou příležitost řešit 3D prostorové přítomnosti pomocí pokročilého počítačového vidění a 3D metadata. Místo toho, aby se zaměřili pouze na VR/AR, jsme přijali holistický přístup, soustředěný na zdánlivě neřešitelný problém generování dostatečných (a přesných) trénovacích dat pro umožnění reálných 3D AI aplikací.

S zaměřením na lidi a interakci člověka a prostředí je Datagen průkopníkem v novém oboru Simulovaných dat, který je podmnožinou syntetických dat a zaměřuje se na fotorealistické znázorňování světa kolem nás. Dnes spolupracujeme s nejvíce inovativními společnostmi na světě, aby urychlit a pohánět jejich vývoj počítačového vidění, a máme podporu některých z nejuznávanějších investorů v tomto prostoru.

Pro čtenáře, kteří nejsou seznámeni, můžete vysvětlit, co přesně je syntetická data?

Syntetická data jsou jakákoli trénovací data, která nejsou shromažďována prostřednictvím přímého měření nebo pozorování reálného světa, ale jsou generována buď algoritmicky nebo prostřednictvím simulace. V kontextu počítačového vidění jsou syntetická data počítačově generovanými obrázky s přidruženým metadaty potřebným pro trénování umělých inteligencí. S problémy souvisejícími s ochranou soukromí a skutečnými fyzickými a ekonomickými omezeními reálných dat je obtížné přehánět význam syntetických dat pro strojové učení a AI. V nedávné zprávě Gartner předpovídá, že do roku 2024 bude většina dat používaných v oblasti AI umělými.

Jaké jsou některé výhody syntetických dat ve srovnání s manuální akvizicí dat?

Krátce řečeno, přemýšlejte o každém aspektu manuální akvizice dat, který je nežádoucí, a odstraňte je z procesu — ty jsou výhody syntetických dat.

Generování rozmanitých datových sad ve velkém měřítku pro trénování počítačového vidění je nákladný a časově náročný proces, a variabilita je velmi omezena pouhým faktem, že umístění lidí do specifických lokalit a fotografování je komplikovaný proces — mnohem komplikovanější a nákladnější než dělat to ve simulačním prostředí. Další velkou výhodou je efektivní eliminace potřeby manuální anotace, která je nudná, časově náročná a náchylná k lidským chybám.

Datagen označuje simulovaná data jako podmnožinu syntetických dat. Můžete vysvětlit, co je simulovaná data?

Simulovaná data jsou syntetická data, která jsou generována prostřednictvím simulace. Používáme GAN (a některé další pokročilé metody strojového učení) k generování 3D objektů a umisťování jich do vysoce realistických 3D simulací reálného světa. To vypadá jako první osobní „virtuální proces fotografování“, ale funguje v rámci foto-realistické, fyzicky založené soustavy. Tyto simulace produkují vizuální data (jako by byla shromážděna v reálném světě), spolu s plným rozsahem anotací (fyzika, osvětlení atd.). Simulovaná data jsou tedy syntetická data, která jsou foto-realistické, kontextově generovaná, 3D obrazová data shromážděná ve simulačním prostředí.

Jak Datagen generuje přizpůsobená simulovaná data?

Technologie Datagen generuje simulovaná data, která jsou nejenom snadno škálovatelná, ale také přizpůsobená pro řešení specifických potřeb každého zákazníka. Činíme tak, že vezmeme v úvahu každý aspekt každého projektu — od počítačového vidění systému, který je používán, po demografické složení regionu, ve kterém bude fungovat. Bez ohledu na to, zda pracujeme přímo se zákazníky nebo pouze umožňujeme jejich vlastním inženýrům, proces Datagen začíná stanovením klíčových parametrů pro každý konkrétní případ použití, jako jsou specifikace objektivu, osvětlení, prostředí, demografické rozložení atd. Datagen používá GAN a další pokročilé nástroje a techniky k generování obrovského množství aktiv, včetně všeho od lidských hlav s dynamickými mimickými výrazy pro trénování AI v emoční analýze až po interiéry vozidel pro monitorování pasažérů v kabině a domácí prostředí pro video konferenční aplikace, abychom jmenovali alespoň einige. Pro každý typ aktiva Datagen zavádí variabilitu přes nesčetné diskrétní osy (od tónu pleti a výšky obočí až po velikost, barvu a tvar domácích zařízení), pomocí parametrů, které jsou jemně naladěny na konkrétní aplikaci.

Díky těmto schopnostem jsou datové sady Datagen nejenom velké a vysoce variabilní, ale také optimalizované pro účely trénování unikátního systému pro výkon unikátní úkoly (nebo sady úkolů) v unikátním prostředí nebo nastavení, ve kterém bude nasazen — vše bez kompromisů ve škálovatelnosti. Také bereme v úvahu specifické požadavky na anotaci / metadata pro každou aplikaci.

Jaké jsou některé příklady řešení v robotice, kde se používají syntetická a / nebo simulovaná data?

Jednou z největších výhod používání simulovaných dat v robotice je schopnost generovat obrázky hardwaru, který je stále ve vývoji. Tímto způsobem může „mozek“ robota (AI) a „tělo“ (hardware) být vyvíjeno současně. Nyní může trénink postupovat, jak se specifikace postupují, místo aby čekal, až je konečný produkt plně prototypován, než můžete pořídit fotografie a začít vyvíjet AI.

Kromě toho, protože simulovaná data jsou generována v kontextu, můžete snadno zohlednit interakci mezi robotem a jeho prostředím. Takže, pokud si představíte robota, který odstraňuje vadné produkty z výrobní linky, simulovaná data by vám umožnila generovat data pro každý fyzický defekt, který je možné si představit v produktu, a také z perspektivy robota zachytit plný rozsah pohybu jeho ramene, jeho interakci s objektem, který drží. Co víc, 3D metadata znamená, že není třeba pečlivě anotovat obrázek za obrázkem, aby robot mohl správně identifikovat produkt, defekty, své rameno nebo cokoli jiného ve svém zorném poli.

Jaké jsou některé případy použití simulovaných dat ve smart autech?

Simulovaná data ve vývoji smart aut umožňují mnohem snadněji vyvíjet datové sady pro specifické modely aut, jak jsou navrhovány, a to v souladu s vývojem auta samotného, když prochází různými fázemi návrhu a výroby. S simulovanými obrazovými daty mohou inženýři také efektivněji využívat vidění v kabině k identifikaci unavených nebo rozptýlených řidičů, zda řidič sundal ruku z volantu, nebo jakékoli jiné hraniční případy, aby se zajistila bezpečnost řidiče. To také umožňuje inženýrům zohlednit větší rozmanitost řidičů a pasažérů a zavést variabilitu ve formě úhlu pohledu a osvětlení — vše bez porušení soukromí skutečných lidí.

Nedávno Datagen oznámil velký počet zajímavých nových náborů, co to znamená pro budoucnost společnosti?

Nedávné bổněny do našeho poradního sboru a výkonného vedení zahrnují některé z nejvýznamnějších a nejúspěšnějších profesionálů v oblasti AI a počítačového vidění. Jejich znalosti, vhled a zkušenosti nám pomohou orientovat a urychlit růst Datagen, když procházíme odvětvím, které je stále mladé a plné příležitostí. V odvětví s tolik neznámými není nic cennější než znalosti.

Je něco jiného, co byste rádi sdíleli o Datagen?

Se sídlem v Tel Avivu je Datagen součástí větší ekonomické a kulturní změny, ke které došlo v Izraeli, a jsme hrdí být její součástí. Za krátkou dobu se Izrael (zejména Tel Aviv) stal významným globálním technologickým centrem s rozvíjejícím se startup ekosystémem a energickým investičním společenstvím. Ačkoli je Izrael často považován za centrum kybernetické bezpečnosti, AI a datové technologie vyrostly exponenciálně v posledních letech. Dnes je v Izraeli více než 680 společností zabývajících se umělou inteligencí, které společně získaly 4,5 miliardy dolarů. Tento růstový výbuch za poslední roky je způsoben zejména vysokou koncentrací inženýrů a světově proslulými univerzitami v Izraeli. Tyto akademické instituce poskytují přístup k talentům a nejnovějším technologiím ve vývoji v tomto prostoru. V posledních dvou měsících Datagen najal více než 20 zaměstnanců a plánuje přijmout další členy týmu v prodejních a marketingových, softwarových a DevOps a produktových odděleních.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Datagen.