Omri Geller, CEO & Co-Founder of Run:AI – Intervju-serie

Omri Geller er CEO og med-gründer i Run:AI

Run:AI virtuelliserer og akselerer AI ved å samle GPU-beregningresurser for å sikre synlighet og, til slutt, kontroll over ressursprioritering og -allokering. Dette sikrer at AI-prosjekter er koblet til forretningsmål og gir betydelig forbedring i produktiviteten til datavitenskapelige team, slik at de kan bygge og trene konkurransemodeller uten ressursbegrensninger.

Hva var det som opprinnelig trakk deg til kunstig intelligens?

Da jeg begynte min bachelorgrad i elektro- og elektronisk ingeniørkunst ved Tel Aviv Universitet, oppdaget jeg fascinerende ting om AI som jeg visste ville hjelpe oss å gå videre i mulighetene for databehandling. Derfra visste jeg at jeg ville investere meg selv i AI-rommet. Uansett om det var i AI-forskning eller åpne et selskap som ville hjelpe med å introdusere nye måter å bruke AI på.

Har du alltid hatt interesse for datamaskinhardware?

Da jeg fikk min første datamaskin med en Intel 486-prosessor da jeg var seks eller syv år gammel, var jeg umiddelbart interessert i å finne ut hvordan alt fungerte, selv om jeg sannsynligvis var for ung til å virkelig forstå det. Bortsett fra idrett, ble datamaskiner en av mine største hobbyer når jeg vokste opp. Siden da har jeg bygget datamaskiner, arbeidet med dem og studerte i feltet på grunn av lidenskapen jeg hadde som barn.

Hva var din inspirasjon bak lanseringen av Run:AI?

Jeg visste fra svært tidlig at jeg ville investere meg selv i AI-rommet. I de siste årene har industrien sett en enorm vekst i AI, og mye av denne veksten kom fra både datavitenskapsmenn, som meg selv, og hardware som kunne støtte flere applikasjoner. Det ble tydeligere for meg at jeg ville uunngåelig starte et selskap – og sammen med min med-gründer Ronen Dar – for å fortsette å innovere og hjelpe med å bringe AI til flere bedrifter.

Run:AI muliggjør at maskinlærings-spesialister kan få en ny type kontroll over allokeringen av dyre GPU-resurser. Kan du forklare hvordan dette fungerer?

Hva vi må forstå er at maskinlæringsingeniører, som forskere og datavitenskapsmenn, må forbruke beregningskraft på en fleksibel måte. Ikke bare er dagens nyeste beregninger svært beregningsintensive, men det finnes også nye arbeidsflyter som brukes i datavitenskap. Disse arbeidsflytene er basert på at datavitenskap er basert på eksperimentering og kjøring av eksperimenter.

For å utvikle nye løsninger for å kjøre mer effektive eksperimenter, må vi studere disse arbeidsflyt-tendensene over tid. For eksempel: En datavitenskapsmann bruker åtte GPUer en dag, men dagen etter kan de bruke null, eller de kan bruke en GPU i en lang periode, men så trenger de å bruke 100 GPUer fordi de vil kjøre 100 eksperimenter parallelt. Når vi forstår denne arbeidsflyten for å optimalisere prosessorkraften til en enkelt bruker, kan vi begynne å skalerer det til flere brukere.

Med tradisjonell databehandling tildeles en bestemt antall GPUer til hver bruker, uten å ta hensyn til om de er i bruk eller ikke. Med denne metoden sitter ofte dyre GPUer idle uten at noen andre kan få tilgang til dem, noe som resulterer i lav avkastning for GPUen. Vi forstår et selskaps finansielle prioriteringer og tilbyr løsninger som muliggjør dynamisk allokering av disse ressursene i henhold til brukernes behov. Ved å tilby et fleksibelt system kan vi tildele ekstra kraft til en bestemt bruker når det er nødvendig, ved å bruke GPUer som ikke er i bruk av andre brukere, og skape maksimal avkastning for et selskaps databehandlingsressurser og akselerere innovasjon og tid til markedet for AI-løsninger.

En av Run:AI-funksjonene er at det muliggjør reduksjon av blinde flekker skapt av statisk allokering av GPU. Hvordan oppnås dette?

Vi har et verktøy som gir oss full synlighet inn i ressursklusteret. Ved å bruke dette verktøyet kan vi observere og forstå om det finnes blinde flekker, og deretter bruke de inaktive GPUene for brukere som trenger allokeringen. Det samme verktøyet som gir synlighet inn i klusteret og kontroll over klusteret sørger også for at disse blinde flekkene blir minimert.

I en nylig tale, fremhevet du noen distinksjoner mellom bygge- og trening-arbeidsflyter, kan du forklare hvordan Run:AI bruker en GPU-køsystem-mekanisme for å allokere ressursforvaltning for begge?

En AI-modell bygges i to stadier. Først er det byggestadiet, der en datavitenskapsmann skriver koden for å bygge den faktiske modellen, på samme måte som en ingeniør ville bygge en bil. Det andre er treningsstadiet, der den ferdige modellen begynner å lære og bli “trent” på å optimalisere en bestemt oppgave. Lignende til hvordan noen lærer å kjøre bilen etter at den er samlet.

For å bygge modellen selv, trengs ikke mye beregningskraft. Men til slutt kan den likevel trenge sterkere prosessorkraft for å begynne med mindre, interne tester. For eksempel, på samme måte som en ingeniør ville ønske å teste motoren før de installerer den. På grunn av disse distinkte behovene i hvert stadium, tillater Run.AI GPU-allokering uavhengig av om de bygger eller trener modellen, men som nevnt tidligere, er høyere GPU-bruk vanligvis nødvendig for å trene modellen, mens mindre er nødvendig for å bygge den.

Hvor mye rå beregnings tid/ressurser kan bli spart av AI-utviklere som ønsker å integrere Run.AI i sine systemer?

Våre løsninger i Run.ai kan forbedre digitaliseringen av ressurser med omtrent to til tre ganger, noe som betyr 2-3 ganger bedre produktivitet totalt.

Takk for intervjuet, lesere som ønsker å lære mer kan besøke Run:AI.