Gil Elbaz, medgrunnlegger og teknisk direktør i Datagen – Intervju-serie

Gil Elbaz er Datagens tekniske direktør og medgrunnlegger, med base i Tel Aviv. Han har en bachelor- og mastergrad fra Technion. Gil’s masteroppgave var fokusert på 3D datamaskinsyn og har blitt publisert på CVPR, den ledende konferansen for datamaskinsyn i verden. Datagen er en pioner innen det nye feltet Simulert Data, en undergruppe av syntetisk data, som konsentrerer seg om å foto-realistisk gjenskape verden rundt oss. Selskapet lanserte fra stealth med over 18 millioner dollar i finansiering i mars 2021 og arbeider nå med en rekke Fortune 100-selskaper innen augmented/virtual reality, robotikk og bilindustri, inkludert de fleste av de største teknologiselskapene i USA.

Hva var det som først tiltalte deg til robotikk og maskinlæring?

Sci-Fi-bøker, som Isaac Asimovs Foundation-serie og iRobot, fikk meg alltid til å tenke på en fremtid hvor roboter var en integrert del av vår daglige liv. Det er så mange kjedelige, repetitive oppgaver som mennesker gjør; jeg visste at jeg ikke ville gjøre dem, og jeg kunne ikke forestille meg at noen andre ville ønske å gjøre det heller. Da robotikk er en teknologisk uunngåelighet, tenkte jeg at å gå i den retningen ville være en smart, “framtidssikker” karrierebeslutning.

Så, jeg nærmet meg feltet med fokus på de fysiske aspektene, og fikk min grad i maskinteknikk fra Technion i Haifa, Israel. Mot slutten av min grad, begynte jeg å dykke dypt inn i verden av CAD-verktøy og -muligheter. Disse er verktøyene som tillater maskiningeniører å designe strukturer og mekaniske enheter (alt fra en bro til en bil). Jeg så en enorm mulighet til å ha en stor innvirkning uten å måtte håndtere de langsomme iterasjonene i den fysiske verden. I praksis, hadde disse programmene svært lite, eller ingen, maskinlæring-/datamaskinsyn-kapasiteter integrert, som hjalp ingeniører å skape enklere, billigere og mer stabile mekaniske systemer (dette var tilbake i 2015). Jeg satte av i retningen av datamaskinsyn på 3D-data med dypt læring (svært nytt da) med målet om å gjøre smartere CAD-programmer. Å arbeide i de tidlige dagene av moderne dypt læring, føltes som å være en del av noe som kunne være virkelig stort — lignende internettet.

I praksis, var min forskning den første til å bringe den dypte læring-revolusjonen til vår fakultet på Technion. Dette ble senere til en artikkel som ble akseptert på den ledende datamaskinsyn-konferansen i verden, CVPR, og jeg fløy til Hawaii på CVPR 2017. Å presentere min artikkel og møte menneskene åpnet mine øyne for skalaen på datamaskinsyn-samfunnet (som i dag er minst 10 ganger større), tusenvis av deltakere som alle lidenskapelig arbeidet med forskning i feltet. Denne hendelsen cementerte i stor grad min retning, og viste meg kraften i datamaskinsyn og den potensialen som ventet på å bli låst opp.

Kunne du dele historien bak Datagen?

Datagen ble grunnlagt i 2018 med en misjon om å transformere hvordan team får data for datamaskinsyn-nettverks-trening. Året før, så vi en demo av Oculus Rift, som bestod av en VR-hodeenhet og en håndholdt fjernkontroll-enhet. Etter demonstrasjonen, spurte vi oss selv, “med sofistikerte kameraer innbygget i hodetelefonen, hvorfor var en håndholdt enhet nødvendig for å koble den virtuelle rommet til det fysiske rommet (dvs. spore håndbevegelse)?” De nevrale nettverkene var allerede sofistikerte nok til å håndtere det, så hva var problemet?” Og det var da lyspæren gikk av — Data! Vi så umiddelbart en enorm mulighet til å løse 3D-romlige nærvær-utfordringer ved hjelp av avansert datamaskinsyn og 3D-metadata. I stedet for å fokusere bare på VR/AR, tok vi en mer helhetlig tilnærming, og konsentrerte oss om det åpenbart uløselige problemet med å generere tilstrekkelig (og nøyaktig) treningdata for å muliggjøre virkelige 3D-AI-applikasjoner.

Med fokus på mennesker og menneskelig miljø-interaksjon, er Datagen en pioner innen det nye feltet Simulert Data, en undergruppe av syntetisk data, som konsentrerer seg om å foto-realistisk gjenskape verden rundt oss. I dag arbeider vi med de mest innovative selskapene i verden for å drive og akselerere deres datamaskinsyn-utvikling, og er bakket av noen av de mest respekterte investorene i bransjen.

For lesere som er ukjent med dette, kunne du forklare hva syntetisk data spesifikt er?

Syntetisk data er alle treningdata som – i stedet for å bli samlet inn via direkte måling eller observasjon av den virkelige verden – blir generert enten algoritmisk eller via simulering. I sammenheng med datamaskinsyn, er syntetisk data datamaskin-genererte bilder med tilhørende metadata nødvendig for å trene kunstig intelligens. Med tanke på personvern-problemer og meget reelle fysiske og økonomiske begrensninger i forhold til virkelige verdensdata, er det vanskelig å overdrive betydningen av syntetisk data til maskinlæring og AI. I en nylig rapport, Gartner forutså at, innen 2024, vil de fleste dataene som brukes i AI-bransjen bli kunstig generert av disse grunnene.

Hva er noen fordeler med syntetisk data sammenlignet med manuell datainnsamling?

Det korte svaret er, tenk på hver enkelt aspekt av manuell datainnsamling som er uønsket og fjern dem fra prosessen — disse er fordelene med syntetisk data.

Å generere diverse datasett i stor skala for datamaskinsyn-trening er en kostbar og tidskrevende prosess, og variasjonen er svært begrenset av den enkle faktum at å plassere mennesker i bestemte lokasjoner og fotografere dem er en komplisert prosess — langt mer komplisert og kostbar enn å gjøre det i en simulert miljø. En annen stor fordel er å effektivt eliminere behovet for manuell annotering, som er kjedelig, tidskrevende og utsatt for menneskelig feil.

Datagen henviser til simulert data som en undergruppe av syntetisk data. Kunne du forklare hva simulert data er?

Simulert data er syntetisk data som genereres gjennom simulering. Vi bruker GANs (samt noen andre avanserte maskinlæring-metoder) til å generere 3D-objekter og plassere dem innen svært realistiske 3D-simuleringer av den virkelige verden. Dette ser ut som en førstepersons “virtuell bilde-takings”-prosess, men opererer innen en foto-realistisk, fysikk-basert system. Disse simuleringene produserer visuelle data (som om det var samlet inn i den virkelige verden), sammen med en full rekke annotasjoner (fysikk, lys, osv.). Så, Simulert Data er syntetisk data som er foto-realistisk, kontekstuelt generert, 3D-bilder, samlet inn i en simulert miljø.

Hvordan genererer Datagen tilpasset simulert data?

Datagens teknologi genererer simulert data som er både lett skalerbart og tilpasset å møte de unike behovene til hver enkelt kundes distinkte applikasjon. Vi gjør dette ved å ta hensyn til hver enkelt aspekt av hver prosjekt — fra datamaskinsyn-systemet som brukes til den demografiske sammensetningen av regionen hvor det vil bli brukt. Enten vi arbeider direkte med våre kunder eller bare muliggjør deres egne ingeniører, begynner Datagen-prosessen med å etablere nøkkelparametere for hver spesifikke brukstilfelle, som for eksempel objektivspesifikasjoner, lys, miljø, demografisk distribusjon, osv. Datagen bruker GANs og andre avanserte verktøy og tekniker til å generere en enorm variasjon av aktiva, inkludert alt fra menneskehoder med dynamiske ansiktsuttrykk til å trene AI i emosjonell analyse, til bilinteriører for overvåking av passasjerer i bilen, og hjemmemiljøer for videokonferanse-applikasjoner, bare for å nevne noen få. For hver type aktivum, introduserer Datagen variasjon over talløse diskrete akser (fra hudfarge og brynshøyde til størrelse, farge og form på husmøbler), ved hjelp av parametre som er finjustert for å reflektere den spesifikke applikasjonen som er i gang.

Takket være disse kapasitetene, er Datagens datasett ikke bare store og svært varierte, men også optimalisert for formålet med å trene et unikt system til å utføre en unik oppgave (eller en rekke oppgaver) i den unike miljø eller settingen det vil bli brukt i — all uten å妨碍 evnen til å skalerer. Vi tar også hensyn til de spesifikke annotasjons/metadata-kravene til hver applikasjon.

Hva er noen eksempler på løsninger i robotikk hvor syntetisk og/eller simulert data brukes?

En av de største fordelene med å bruke simulert data i robotikk er evnen til å generere bilder av maskinvare som fortsatt er under utvikling. Dette gjør at robotens “hjerne” (AI) og “kropp” (maskinvare) kan utvikles side om side. Nå kan treningen utvikle seg etter hvert som spesifikasjonene utvikles, i stedet for å måtte vente til det endelige produktet er fullstendig prototypet før man kan ta bilder av det og begynne å utvikle AI-en.

Også, fordi simulert data genereres i kontekst, kan man lettere ta hensyn til interaksjonen mellom roboten og dens miljø. Så, hvis man forestiller seg en robot som griper og fjerner defekte produkter fra en samlebånd, ville simulert data tillate en å generere data for hver fysisk defekt som er tenkelig i produktet, samt fra robotens perspektiv for å fange robotarmens fullstendige bevegelsesområde, dens interaksjon med objektet det griper. Hva mer, 3D-metadata betyr at det ikke er nødvendig å annotere bilde etter bilde for å sikre at roboten kan korrekt identifisere produktet, defektene, dens arm eller noe annet i dens synsfelt.

Hva er noen brukstilfeller for å bruke simulert data i smarte biler?

Simulert data i smart bil-utvikling gjør det infinitivt lettere å utvikle datasett for spesifikke bilmodeller mens de utvikles, og itererer i konsern med bilen selv etter hvert som den går gjennom de ulike fasene av design og produksjon. Med simulert bilde-data kan ingeniører også bruke innkabin-vision mer effektivt til å identifisere søvnige eller distraherende sjåfører, hvis en sjåfør har tatt hånden av rattet, eller noen andre eksempler på å ta hensyn til sjåfør-sikkerhet. Dette muliggjør også ingeniører å ta hensyn til større variasjon i sjåfører og passasjerer, og introdusere variasjon i form av bilde-vinkel og lys — all uten å krenke privatlivet til virkelige mennesker.

Nylig kunngjorde Datagen en rekke spennende nye ansettelser, hva betyr dette for selskapets fremtid?

De nylige tilføyelsene til vårt styre og ledelse inkluderer noen av de mest briljante og erfarna profesjonelle innen AI og datamaskinsyn. Deres kunnskap, innsikt og erfaring vil hjelpe å orientere og akselerere Datagens vekst mens vi navigerer i en bransje som fortsatt er ung og full av muligheter. I et felt med så mange ukjente faktorer, er det ingen ting mer verdifullt enn kunnskap.

Er det noe annet du ville like å dele om Datagen?

Basert i Tel Aviv, er Datagen en del av en mye større økonomisk og kulturell forandring som har funnet sted i Israel, og vi er stolte av å være en del av det. På en kort periode, har Israel (Tel Aviv spesielt) vokst til å bli en stor global teknologihub, med en blomstrende startup-økosystem og en energisk investerings-samfunn. Selv om Israel ofte regnes som et cyber-sikkerhet-sentert teknologihub, har AI og data-sentrert teknologi vokst eksponentielt de siste årene her. I dag er det over 680 kunstig intelligens-selskaper i Israel, som har samlet inn over 4,5 milliarder dollar. Denne vekst-eksplosjonen over de siste årene skyldes i stor grad den høye konsentrasjonen av ingeniører og Israels verdensberømte universiteter. Disse akademiske institusjonene gir tilgang til talent og ny, avansert teknologi-utvikling i feltet. De siste to månedene har Datagen ansatt over 20 nye ansatte og planlegger å bringe på flere team-medlemmer over salgs- og markedsførings-, programvare- og DevOps-, og produktavdelinger.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Datagen.