Gil Elbaz, medgründer og CTO for Datagen – Intervjuserie

Gil Elbaz er Datagens CTO og medgründer, basert i Tel Aviv. Han fikk sin B.Sc og M.Sc fra Technion. Gils avhandlingsforskning var fokusert på 3D Computer Vision og har blitt publisert på CVPR, den beste datasynsforskningskonferansen i verden. Datagen er en pioner innen det nye feltet Simulated Data, en undergruppe av syntetiske data, som konsentrerer seg om å fotorealistisk gjenskape verden rundt oss. Selskapet lanserte fra stealth med over 18 millioner dollar i finansiering i mars 2021 og jobber nå med en rekke Fortune 100-selskaper innen utvidet/virtuell virkelighet, robotikk og bilindustri, inkludert flertallet av de beste amerikanske teknologigigantene.

Hva tiltrakk deg i utgangspunktet til robotikk og maskinlæring?

Sci-Fi-bøker, som Isaac Asimovs Foundation Series og iRobot fikk meg alltid til å tenke på en fremtid der roboter var en integrert del av vårt daglige liv. Det er så mange kjedelige, repeterende oppgaver som folk gjør; Jeg visste at jeg ikke ville gjøre dem, og jeg kunne ikke forestille meg at noen andre ville det. Med tanke på at robotikk er en teknologisk uunngåelig, trodde jeg at å gå i den retningen ville være en smart, "fremtidssikker" karrierebeslutning.

Så jeg henvendte meg først til feltet med fokus på de fysiske aspektene ved faget, og tok min grad i maskinteknikk fra Technion i Haifa, Israel. Mot slutten av graden min begynte jeg å dykke dypt inn i verden av CAD-verktøy og -kapasiteter. Dette er verktøyene som lar mekaniske ingeniører designe strukturer og mekaniske enheter (alt fra en bro til en bil). Jeg så en enorm mulighet til å gjøre en stor innvirkning uten å håndtere de langsomme iterasjonene i den fysiske verden. I praksis hadde disse programmene svært lite, om noen, integrerte maskinlærings-/datasynsfunksjoner, som hjalp ingeniører med å lage enklere, billigere og mer stabile mekaniske systemer (dette er tilbake i 2015). Jeg la i vei i retning Computer Vision på 3D-data med dyp læring (veldig nytt den gang) med mål om å lage smartere CAD-programmer. Å jobbe i de tidlige dagene av moderne dyp læring, føltes som å være i en del av noe som kan være veldig stort - ligner på internett.

I praksis var forskningen min den første som brakte Deep Learning-revolusjonen til fakultetet vårt ved Technion. Dette ble senere til et papir som ble akseptert på verdens beste Computer Vision-konferanse, CVPR, og jeg fløy til Hawaii på CVPR 2017. Å presentere papiret mitt og møte folket åpnet virkelig øynene mine for omfanget av datasynssamfunnet (som i dag er minst 10 ganger større), tusenvis av deltakere som alle lidenskapelig jobber med forskning på feltet. Den hendelsen sementerte retningen min, og viste meg kraften til datasyn og potensialet som venter på å bli låst opp.

Kan du dele opprinnelseshistorien bak Datagen?

Datagen ble grunnlagt i 2018 med et oppdrag å transformere hvordan team får dataene sine for datasynsnettverkstrening. Året før så vi en demo av Oculus Rift, som besto av et VR-headset og en håndholdt fjernkontroll. Etter demoen lurte vi på, "med sofistikerte kameraer innebygd i hodesettet, hvorfor var det nødvendig med en håndholdt enhet for å koble det virtuelle rommet til det fysiske rommet (dvs. spore håndbevegelser)?" De nevrale nettverkene var allerede sofistikerte nok til å håndtere det, så hva var problemet?» Og det var da lyspæren gikk av — Data! Vi så umiddelbart den enorme muligheten til å løse 3D romlige tilstedeværelsesutfordringer ved hjelp av avansert datasyn og 3D-metadata. I stedet for å fokusere utelukkende på VR/AR, tok vi en mer helhetlig tilnærming, og konsentrerte oss om det tilsynelatende vanskelige problemet med å generere tilstrekkelig (og nøyaktig) treningsdata for å muliggjøre 3D AI-applikasjoner i den virkelige verden.

Med fokus på mennesker og menneske-miljø-interaksjon, er Datagen en pioner innen det nye feltet Simulated Data, en undergruppe av syntetiske data, som konsentrerer seg om å fotorealistisk gjenskape verden rundt oss. I dag jobber vi med de mest innovative selskapene i verden for å gi drivstoff og akselerere utviklingen av datasyn og støttes av noen av de mest respekterte investorene i området.

For lesere som ikke er kjent, kan du forklare hva syntetisk data spesifikt er?

Syntetiske data er alle treningsdata som – i stedet for å bli samlet inn via direkte måling eller observasjon av den virkelige verden – genereres enten algoritmisk eller via simulering. I sammenheng med datasyn er syntetiske data datagenererte bilder med tilhørende metadata som trengs for å trene kunstig intelligens. Med personvernproblemer og svært reelle fysiske og økonomiske begrensninger for bildedata fra den virkelige verden, er det vanskelig å overdrive betydningen av syntetiske data for maskinlæring og AI. I en fersk rapport, Gartner spådde at innen 2024 vil mesteparten av dataene som brukes innen AI være kunstig generert av disse grunnene.

Hva er noen fordeler med syntetiske data sammenlignet med manuell datainnsamling?

Det korte svaret er, tenk på alle aspekter ved manuell datainnsamling som er uønsket, og fjern dem fra prosessen - det er fordelene med syntetiske data.

Å generere ulike datasett i stor skala for datasynstrening er en kostbar, tidkrevende prosess, og variansen er svært begrenset av det faktum at det å plassere mennesker på bestemte steder og fotografere dem er en komplisert prosess – langt mer komplisert og kostbart enn å gjøre det i et simulert miljø. En annen stor fordel er effektivt å eliminere behovet for manuell merknad, som er kjedelig, tidkrevende og utsatt for menneskelige feil.

Datagen refererer til simulerte data som en undergruppe av syntetiske data. Kan du utdype hva simulerte data er?

Simulerte data er syntetiske data som genereres gjennom simulering. Vi bruker GAN-er (samt noen andre banebrytende maskinlæringsmetoder) for å generere 3D-objekter og plassere dem i svært realistiske 3D-simuleringer av den virkelige verden. Det som ser ut er en førstepersons "virtuell fotograferingsprosess", men som opererer innenfor et fotorealistisk, fysikkbasert system. Disse simuleringene produserer visuelle data (som om de ble samlet inn i den virkelige verden), sammen med et komplett spekter av merknader (fysikk, lys, etc.). Så, Simulerte data er syntetiske data som er fotorealistiske, kontekstuelt genererte, 3D-bilder, samlet i et simulert miljø.

Hvordan genererer Datagen skreddersydde simulerte data?

Datagens teknologi genererer simulerte data som både er lett skalerbare og skreddersydde for å møte de unike behovene til hver kundes særskilte applikasjon. Vi gjør det ved å ta hensyn til alle aspekter ved hvert prosjekt – fra datasynssystemet som brukes til den demografiske sammensetningen av regionen der det skal operere. Enten du jobber direkte med kundene våre, eller bare aktiverer deres egne ingeniører, begynner Datagen-prosessen med å etablere nøkkelparametere for hver spesifikke brukstilfelle, som objektivspesifikasjoner, belysning, miljø, demografisk distribusjon og så videre. Datagen bruker GAN-er og andre banebrytende verktøy og teknikker for å generere et enormt utvalg av eiendeler, inkludert alt fra menneskelige hoder med dynamiske ansiktsuttrykk til å trene AI i emosjonell analyse, til kjøretøyinteriør for passasjerovervåking i kabinen og hjemmemiljøer for video konferanseapplikasjoner, bare for å nevne noen. For hver aktivatype introduserer Datagen variasjon på tvers av utallige diskrete akser (fra hudtone og brynhøyde, til størrelsen, fargen og formen på husholdningsmøbler), ved å bruke parametere som er finjustert for å gjenspeile den spesifikke applikasjonen.

Takket være disse egenskapene er Datagens datasett ikke bare store og svært varierte, men optimert med det formål å trene et unikt system til å utføre en unik oppgave (eller sett med oppgaver) i det unike miljøet eller miljøet det skal brukes i — alt uten at det går ut over kapasiteten til å skalere. Vi tar også hensyn til de spesifikke merknads-/metadatakravene for hver applikasjon.

Hva er noen eksempler på løsninger innen robotikk der syntetiske og/eller simulerte data brukes?

En av de største fordelene med å bruke simulerte data i robotikk er muligheten til å generere bilder av maskinvare som fortsatt er under utvikling. På denne måten kan robotens hjerne (AI) og kropp (maskinvare) utvikles side om side. Nå kan opplæringen utvikles etter hvert som spesifikasjonene utvikler seg, i stedet for å vente til det endelige produktet ditt er fullstendig prototype før du kan ta bilder av det og begynne å utvikle AI.

Dessuten, fordi simulerte data genereres i kontekst, kan du gjøre rede for interaksjonen mellom roboten og dens miljø mye lettere. Så hvis du forestiller deg en robot som griper og fjerner defekte produkter fra et samlebånd, vil simulerte data tillate deg å ikke bare generere data for hver fysisk defekt som kan tenkes i produktet, men også fra robotens perspektiv for å fange robotarmens fulle rekkevidde av bevegelse, dens interaksjon med objektet den griper. Dessuten betyr 3d-metadata at det ikke er behov for møysommelig å kommentere bilde etter bilde for å sikre at roboten kan identifisere produktet, defektene, armen eller noe annet i synsfeltet på riktig måte.

Hva er noen bruksområder for bruk av simulerte data i smarte biler?

Simulerte data i smartbilutvikling gjør det uendelig mye enklere å utvikle datasett for spesifikke bilmodeller etter hvert som de blir utformet, og gjenta i samspill med selve bilen etter hvert som den går gjennom de ulike fasene av design og produksjon. Med simulerte bildedata kan ingeniører også bruke syn i kabinen mer effektivt for å identifisere døsige eller distraherte sjåfører, hvis en sjåfør har tatt hånden fra rattet, eller et hvilket som helst antall kanthus for å ta hensyn til førersikkerheten. Det gjør det også mulig for ingeniører å ta hensyn til større mangfold hos sjåfører og passasjerer, og introdusere variasjoner i form av bildevinkel og lyssetting – alt uten å krenke personvernet til ekte mennesker.

Nylig annonserte Datagen et stort antall spennende nyansettelser, hva betyr dette for fremtiden til selskapet?

De nylige tilleggene til vårt rådgivende styre og utøvende ledelse inkluderer noen av de mest strålende, dyktige fagfolkene innen AI og Computer Vision. Deres kunnskap, innsikt og erfaring vil bidra til å orientere og akselerere Datagens vekst når vi navigerer i en bransje som fortsatt er ung og full av muligheter. I et felt med så mange ukjente er ingenting mer verdifullt enn kunnskap.

Er det noe annet du vil dele om Datagen?

Datagen er basert på Tel Aviv og er en del av et mye større økonomisk og kulturelt skifte som har funnet sted i Israel, og vi er stolte over å være en del av det. På kort tid har Israel (spesielt Tel Aviv) vokst til et stort globalt teknologisenter, med et blomstrende oppstartsøkosystem og et energisk investeringsfellesskap. Selv om Israel ofte regnes som et cybersikkerhetssentrert teknologisenter, har AI og datasentrisk teknologi vokst eksponentielt de siste årene her. I dag er det mer enn 680 kunstig intelligens-selskaper i Israel, som samlet har samlet inn 4.5 milliarder dollar. Denne veksteksplosjonen de siste årene skyldes i stor grad den høye konsentrasjonen av ingeniører og Israels verdenskjente universiteter. Disse akademiske institusjonene gir tilgang til talent og banebrytende ny teknologiutvikling i rommet. I løpet av de siste to månedene har Datagen ansatt mer enn 20 ansatte og planlegger å få flere teammedlemmer på tvers av salg og markedsføring, programvare og DevOps og produktavdelinger.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Datagen.