Gil Elbaz, medgrunnlegger & CTO av Datagen – Intervju-serie

Gil Elbaz er Datagens CTO og medgrunnlegger, basert i Tel Aviv. Han tok sin B.Sc og M.Sc fra Technion. Gil’s avhandlingsforskning var fokusert på 3D datamaskinsyn og har blitt publisert på CVPR, den beste datamaskinsynsforskningskonferansen i verden. Datagen er en pioner i det nye feltet Simulert Data, en undergruppe av syntetisk data, som konsentrerer seg om å fotorealistisk gjenskape verden rundt oss. Selskapet lanserte fra stealth med over 18 millioner dollar i finansiering i mars 2021 og arbeider nå med en rekke Fortune 100-selskaper i augmented/virtuell virkelighet, robotikk og bil, inkludert de fleste av de største amerikanske teknologiselskapene.

Hva var det som først tiltalte deg til robotikk og maskinlæring?

Sci-Fi-bøker, som Isaac Asimovs Foundation-serie og iRobot, fikk meg alltid til å tenke på en fremtid der roboter var en integrert del av vårt daglige liv. Det finnes så mange kjedelige, repetitive oppgaver som mennesker gjør; jeg visste at jeg ikke ville gjøre dem, og jeg kunne ikke forestille meg at noen andre ville ønske det heller. Da jeg vurderte at robotikk er en teknologisk uunngåelighet, tenkte jeg at å gå i den retningen ville være et smart, “framtidssikret” karrierevalg.

Så, jeg tilnærmet meg feltet med fokus på de fysiske aspektene ved emnet, og tok min grad i maskinteknikk fra Technion i Haifa, Israel. Mot slutten av min grad, begynte jeg å dykke dypt inn i verden av CAD-verktøy og muligheter. Disse er verktøyene som tillater maskiningeniører å designe strukturer og mekaniske enheter (alt fra en bro til en bil). Jeg så en enorm mulighet til å gjøre en stor innvirkning uten å måtte håndtere de langsomme iterasjonene av den fysiske verden. I praksis hadde disse programmene svært lite, eller ingen, maskinlæring / datamaskinsynskapaciteter integrert, som hjalp ingeniører å skape enklere, billigere og mer stabile mekaniske systemer (dette var tilbake i 2015). Jeg satte av i retningen av datamaskinsyn på 3D-data med dypt læring (svært nytt da) med målet om å lage smartere CAD-programmer. Å arbeide i de tidlige dagene av moderne dypt læring, føltes som å være en del av noe som kunne være virkelig stort — lignende internettet.

I praksis var min forskning den første til å bringe den dypte lærevolusjonen til vår fakultet på Technion. Dette ble senere til en artikkel som ble akseptert på den beste datamaskinsynskonferansen i verden, CVPR, og jeg fløy til Hawaii på CVPR 2017. Å presentere min artikkel og møte menneskene åpnet mine øyne for omfanget av datamaskinsynssamfunnet (som i dag er minst 10 ganger større), tusenvis av deltakere som alle arbeidet lidenskapelig med forskning i feltet. Denne hendelsen forseglet nesten min retning, og viste meg kraften av datamaskinsyn og potensialet som ventet på å bli låst opp.

Kunne du dele opphavet til Datagen?

Datagen ble grunnlagt i 2018 med en misjon om å transformere hvordan team får data for datamaskinsynsnettverksopplæring. Året før, så vi en demo av Oculus Rift, som bestod av en VR-hodeenhet og en håndholdt fjernkontrollenhet. Etter demonstrasjonen, spurte vi oss selv, “med avanserte kameraer innbygget i hodetelefonen, hvorfor var en håndholdt enhet nødvendig for å koble den virtuelle rommet til det fysiske rommet (dvs. spore håndbevegelse)?” Nevralt nettverk var allerede tilstrekkelig sofistikerte til å håndtere det, så hva var problemet?” Og da gikk lyset på — Data! Vi så umiddelbart den enorme muligheten til å løse 3D-romlige tilstedeværelsesutfordringer ved hjelp av avansert datamaskinsyn og 3D-metadata. I stedet for å fokusere bare på VR/AR, tok vi en mer helhetlig tilnærming, konsentrert om det åpenbart uløselige problemet med å generere tilstrekkelig (og nøyaktig) treningdata for å muliggjøre virkelige 3D-AI-applikasjoner.

Med fokus på mennesker og menneskelige miljøinteraksjoner, er Datagen en pioner i det nye feltet Simulert Data, en undergruppe av syntetisk data, som konsentrerer seg om å fotorealistisk gjenskape verden rundt oss. I dag arbeider vi med de mest innovative selskapene i verden for å drive og akselerere deres datamaskinsynsutvikling og er støttet av noen av de mest respekterte investorene i bransjen.

For lesere som er ukyndige, kunne du forklare hva syntetisk data spesifikt er?

Syntetisk data er alle treningdata som — i stedet for å bli samlet inn via direkte måling eller observasjon av den virkelige verden — blir generert enten algoritmisk eller via simulering. I sammenheng med datamaskinsyn er syntetisk data datamaskin-genererte bilder med tilhørende metadata som trengs for å trene kunstig intelligens. Med tanke på personvernproblemer og meget reelle fysiske og økonomiske begrensninger for sanntids bilde-data, er det vanskelig å overdrive betydningen av syntetisk data for maskinlæring og AI. I en nylig rapport, Gartner forutså at, innen 2024, vil de fleste av datatypene som brukes i AI-bransjen være kunstig generert av disse grunnene.

Hva er noen fordeler med syntetisk data sammenlignet med manuell datainnsamling?

Det korte svaret er, tenk på hver enkelt aspekt av manuell datainnsamling som er uønsket og fjern dem fra prosessen — disse er fordelen med syntetisk data.

Å generere diverse datasamlinger i stor skala for datamaskinsynstrening er en kostbar, tidskrevende prosess, og variasjonen er svært begrenset av den enkle faktum at å plassere mennesker i bestemte lokasjoner og fotografere dem er en komplisert prosess — langt mer komplisert og kostbar enn å gjøre det i en simulert miljø. En annen stor fordel er å effektivt eliminere behovet for manuell annotering, som er kjedelig, tidskrevende og utsatt for menneskelig feil.

Datagen henviser til simulert data som en undergruppe av syntetisk data. Kunne du forklare hva simulert data er?

Simulert data er syntetisk data som genereres gjennom simulering. Vi bruker GANs (sammen med noen andre avanserte maskinlæringsmetoder) for å generere 3-D-objekter og plassere dem innen svært realistiske 3-D-simuleringer av den virkelige verden. Hva det ser ut som er en førstepersons “virtuell bilde-takings”-prosess, men opererer innen en fotorealistisk, fysikk-basert system. Disse simuleringsdataene produserer visuell data (som om det var samlet inn i den virkelige verden), sammen med en full rekke annotasjoner (fysikk, lys, osv.). Så, Simulert Data er syntetisk data som er fotorealistisk, kontekstuell generert, 3-D-bilder, samlet inn i en simulert miljø.

Hvordan genererer Datagen tilpasset simulert data?

Datagens teknologi genererer simulert data som er både lett skalerbart og tilpasset å møte de unike behovene til hver enkelt kundes distinkte applikasjon. Vi gjør dette ved å ta hensyn til hver enkelt aspekt av hver enkelt prosjekt — fra datamaskinsynssystemet som brukes til den demografiske sammensetningen av regionen hvor det vil bli brukt. Enten vi arbeider direkte med våre kunder eller bare muliggjør deres egne ingeniører, Datagens prosess begynner med å etablere nøkkelparametere for hver spesifikke brukssak, som for eksempel objektivspesifikasjoner, lys, miljø, demografisk distribusjon, osv. Datagen bruker GANs og andre avanserte verktøy og tekniker for å generere en enorm mengde aktiva, inkludert alt fra menneskehoder med dynamiske ansiktsuttrykk for å trene AI i emosjonell analyse, til bilinteriører for innkabinpassasjerovervåking, og hjemmemiljøer for videokonferanseapplikasjoner, bare for å nevne noen få. For hver aktivatype, introduserer Datagen variasjon over talløse diskrete akser (fra hudtone og brynshøyde til størrelsen, fargen og formen på husholdningsmøbler), ved hjelp av parametre som er finjustert for å reflektere den spesifikke applikasjonen som er i gang.

Takket være disse evnene er Datagens datasamlinger ikke bare store og svært varierte, men også optimalisert for formålet med å trene et unikt system for å utføre en unik oppgave (eller sett av oppgaver) i den unike miljøet eller settingen hvor det vil bli brukt — all uten å kompromittere evnen til å skalerer. Vi tar også hensyn til de spesifikke annotasjons/metadatakravene til hver enkelt applikasjon.

Hva er noen eksempler på løsninger i robotikk hvor syntetisk og/eller simulert data brukes?

En av de største fordelene med å bruke simulert data i robotikk er evnen til å generere bilder av maskinvare som fortsatt er under utvikling. På denne måten kan robotens hjernese (AI) og kropp (maskinvare) utvikles side om side. Nå kan treningen utvikles samtidig som spesifikasjonene utvikles, i stedet for å vente til sluttførte produkter er fullstendig prototyper før du kan ta bilder av dem og begynne å utvikle AI-en.

Også, fordi simulert data genereres i kontekst, kan du enklere ta hensyn til interaksjonen mellom roboten og dens miljø. Så, hvis du forestiller deg en robot som griper og fjerner defekte produkter fra en samlebånd, ville simulert data tillate deg å ikke bare generere data for hver fysisk defekt som er tenkelig i produktet, men også fra robotens perspektiv for å fange robotarmens fullstendige bevegelsesområde, dens interaksjon med objektet det griper. Hva mer, 3D-metadata betyr at det ikke er nødvendig å annotere bildene en for en for å sikre at roboten kan korrekt identifisere produktet, defektene, armene eller noe annet i dens synsfelt.

Hva er noen brukstilfeller for å bruke simulert data i smarte biler?

Simulert data i smart bilutvikling gjør det langt enklere å utvikle datasamlinger for bestemte bilmodeller mens de er under utvikling, itererende i samspill med bilen selv mens den går gjennom de ulike fasene av design og produksjon. Med simulert bilde-data kan ingeniører også bruke innkabin-vision mer effektivt for å identifisere søvne eller distraherende sjåfører, hvis en sjåfør har tatt hånden av rattet, eller noen andre randtilfeller for å sikre sjåførssikkerhet. Det muliggjør også ingeniører å ta hensyn til større mangfold i sjåfører og passasjerer, og introdusere variasjon i form av bildevinkel og lys — all uten å krenke privatlivet til virkelige mennesker.

Nylig kunngjorde Datagen en stor mengde spennende nye ansatte, hva betyr dette for fremtiden til selskapet?

De nylige tilføyelsene til vår styre og ledelse inkluderer noen av de mest briljante og erfarna profesjonelle i AI- og datamaskinsynsfeltet. Deres kunnskap, innsikt og erfaring vil hjelpe med å orientere og akselerere Datagens vekst mens vi navigerer i en bransje som fortsatt er ung og full av muligheter. I et felt med så mange ukjente, er ingenting mer verdifullt enn kunnskap.

Er det noe annet du ville like å dele om Datagen?

Basert i Tel Aviv, er Datagen en del av en mye større økonomisk og kulturell forandring som har funnet sted i Israel, og vi er stolte av å være en del av det. På en kort periode har Israel (Tel Aviv spesielt) vokst til å bli en major global teknologihub, med en blomstrende startup-økosystem og en energisk investeringsmiljø. Selv om Israel ofte regnes som et cyber-sikkerhets-sentert teknologihub, har AI- og data-sentrert teknologi vokst eksponentielt her i de siste årene. I dag er det over 680 kunstig intelligens-selskaper i Israel, som har samlet inn over 4,5 milliarder dollar. Denne veksteksplosjonen over de siste årene skyldes i stor grad den høye konsentrasjonen av ingeniører og Israels verdensberømte universiteter. Disse akademiske institusjonene gir tilgang til talent og nyeste teknologisk utvikling i feltet. De siste to månedene har Datagen ansatt over 20 ansatte og planlegger å ta inn flere teammedlemmer over salg og markedsføring, programvare og DevOps, og produktavdelinger.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Datagen.