Omri Geller, administrerende direktør og medgründer av Run:AI – Intervjuserien

Omri Geller er administrerende direktør og medgründer i Løp: AI

Run:AI virtualiserer og akselererer AI ved å samle GPU-beregningsressurser for å sikre synlighet og til slutt kontroll over ressursprioritering og allokering. Dette sikrer at AI-prosjekter er kartlagt til forretningsmål og gir betydelig forbedring i produktiviteten til datavitenskapsteam, slik at de kan bygge og trene samtidige modeller uten ressursbegrensninger.

Hva var det som i utgangspunktet tiltrakk deg til kunstig intelligens?

Da jeg begynte på bachelorgraden min i elektro- og elektronikkteknikk ved Tel Aviv University, oppdaget jeg fascinerende ting ved AI som jeg visste ville hjelpe oss med å ta oss til neste skritt i databehandlingsmuligheter. Derfra visste jeg at jeg ville investere meg selv i AI-området. Enten det var innen AI-forskning, eller å åpne et selskap som ville bidra til å introdusere nye måter å bruke AI på i verden.

Har du alltid vært interessert i maskinvare?

Da jeg fikk min første datamaskin med en Intel 486-prosessor da jeg var seks eller syv år gammel, ble jeg umiddelbart interessert i å finne ut hvordan alt fungerte, selv om jeg sannsynligvis var for ung til å virkelig forstå det. Bortsett fra sport, ble datamaskiner en av mine største hobbyer i oppveksten. Siden den gang har jeg bygget datamaskiner, jobbet med dem og studert i feltet på grunn av lidenskapen jeg hadde som barn.

Hva var inspirasjonen din bak lanseringen av Run:AI?

Jeg visste fra veldig tidlig at jeg ønsket å investere meg i AI-området. I løpet av de siste par årene har industrien sett en enorm vekst i AI, og mye av den veksten kom fra både informatikere, som meg selv, og maskinvare som kunne støtte flere applikasjoner. Det ble tydeligere for meg at jeg uunngåelig ville starte et selskap – og sammen med min medgründer Ronen Dar – for å fortsette å innovere og bidra til å bringe AI til flere bedriftsbedrifter.

Run:AI gjør det mulig for maskinlæringsspesialister å få en ny type kontroll over allokeringen av dyre GPU-ressurser. Kan du forklare hvordan dette fungerer?

Det vi trenger å forstå er at maskinlæringsingeniører, som forskere og dataforskere, trenger å konsumere datakraft på en fleksibel måte. Ikke bare er dagens nyeste beregninger svært dataintensive, men det er også nye arbeidsflyter som blir brukt i datavitenskap. Disse arbeidsflytene er basert på det faktum at datavitenskap er basert på eksperimentering og kjøring av eksperimenter.

For å utvikle nye løsninger for å kjøre mer effektive eksperimenter, må vi studere disse arbeidsflyttendensene over tid. For eksempel: En dataforsker bruker åtte GPUer på én dag, men neste dag kan de bruke null, eller de kan bruke én GPU over lang tid, men må deretter bruke 100 GPUer fordi de vil kjøre 100 eksperimenter parallelt. Når vi forstår denne arbeidsflyten for å optimalisere prosessorkraften til én bruker, kan vi begynne å skalere den til flere brukere.

Med tradisjonell databehandling tildeles et spesifikt antall GPUer til hver bruker, uten å ta hensyn til om de er i bruk eller ikke. Med denne metoden sitter ofte dyre GPUer inaktive uten at noen andre har tilgang til dem, noe som resulterer i lav ROI for GPUen. Vi forstår et selskaps økonomiske prioriteringer, og tilbyr løsninger som tillater dynamisk allokering av disse ressursene i henhold til brukernes behov. Ved å tilby et fleksibelt system kan vi allokere ekstra kraft til en spesifikk bruker når det er nødvendig, ved å bruke GPUer som ikke er i bruk av andre brukere, skape maksimal ROI for et selskaps dataressurser og akselerere innovasjon og time to market for AI-løsninger.

En av Run:AI-funksjonene er at den muliggjør reduksjon av blindsoner skapt av statisk tildeling av GPU. Hvordan oppnås dette?

Vi har et verktøy som gir oss full innsyn i ressursklyngen. Ved å bruke dette verktøyet kan vi observere og forstå om det er blindsoner, og deretter bruke de inaktive GPUene for brukere som trenger tildelingen. Det samme verktøyet som gir innsyn i klyngen og kontroll over klyngen sørger også for at disse blindsonene reduseres.

I en nylig tale fremhevet du noen forskjeller mellom bygge- og opplæringsarbeidsflyter, kan du forklare hvordan Run:AI bruker en GPU-køstyringsmekanisme for å allokere ressursadministrasjon for begge?

En AI-modell er bygget i to trinn. Først er det byggefasen, der en dataforsker skriver koden for å bygge selve modellen, på samme måte som en ingeniør ville bygge en bil. Det andre er treningsstadiet, hvor den fullførte modellen begynner å lære og bli "trent" på hvordan man kan optimalisere en spesifikk oppgave. Ligner på at noen lærer å kjøre bilen etter at den er satt sammen.

For å bygge selve modellen trengs ikke mye datakraft. Imidlertid kan det til slutt trenge sterkere prosessorkraft for å starte mindre, interne tester. For eksempel måten en ingeniør til slutt ønsker å teste motoren før de installerer den. På grunn av disse distinkte behovene under hvert trinn, tillater Run.AI GPU-allokering uavhengig av om de bygger eller trener modellen, men som nevnt tidligere kreves det vanligvis høyere GPU-bruk for å trene modellen mens det kreves mindre for å bygge den. .

Hvor mye rå datatid/ressurser kan AI-utviklere spare som ønsker å integrere Run.AI i systemene sine?

Løsningene våre på Run.ai kan forbedre digitaliseringen av ressurser med omtrent to til tre ganger, noe som betyr 2-3 ganger bedre total produktivitet.

Takk for intervjuet, lesere som ønsker å lære mer kan besøke Løp: AI.