Omri Geller, CEO og medgrunnlegger av Run:AI – Intervju-serie

Omri Geller er CEO og medgrunnlegger i Run:AI

Run:AI virtualiserer og akselerer AI ved å samle GPU-beregningresurser for å sikre synlighet og kontroll over ressursprioritering og -allokering. Dette sikrer at AI-prosjekter er kartlagt mot bedriftsmål og gir en betydelig forbedring av produktiviteten til datavitenskapelige team, slik at de kan bygge og trene konkurransemodeller uten resursbegrensninger.

Hva var det som opprinnelig tiltalte deg til kunstig intelligens?

Da jeg begynte min bachelorgrad i elektro- og elektronikk ved Tel Aviv Universitet, oppdaget jeg fascinerende ting om AI som jeg visste ville hjelpe oss å ta det neste skrittet i datamulighetene. Derfra visste jeg at jeg ville investere meg selv i AI-rommet. Enten det var i AI-forskning eller åpne en bedrift som ville hjelpe med å introdusere nye måter å bruke AI på.

Har du alltid hatt en interesse for datamaskinhardware?

Da jeg fikk min første datamaskin med en Intel (INTC ) 486-prosessor da jeg var seks eller syv år gammel, var jeg umiddelbart interessert i å finne ut hvordan alt fungerte, selv om jeg sannsynligvis var for ung til å virkelig forstå det. Bortsett fra idrett, ble datamaskiner en av mine største hobbyer da jeg vokste opp. Siden da har jeg bygget datamaskiner, arbeidet med dem og studerte i feltet på grunn av den lidenskapen jeg hadde som barn.

Hva var din inspirasjon bak lanseringen av Run:AI?

Jeg visste fra svært tidlig at jeg ville investere meg selv i AI-rommet. De siste årene har industrien sett en enorm vekst i AI, og mye av denne veksten kom fra både datavitenskapsmenn, som meg selv, og hardware som kunne støtte flere applikasjoner. Det ble klarere for meg at jeg ville starte en bedrift – og sammen med min medgrunnlegger Ronen Dar – for å fortsette å innovere og hjelpe med å bringe AI til flere bedrifter.

Run:AI muliggjør at maskinlærings-spesialister kan få en ny type kontroll over allokeringen av dyre GPU-resurser. Kan du forklare hvordan dette fungerer?

Hva vi må forstå er at maskinlæringsingeniører, som forskere og datavitenskapsmenn, må forbruke beregningskraft på en fleksibel måte. Ikke bare er dagens nyeste beregninger svært beregningsintensive, men det er også nye arbeidsflyter som brukes i datavitenskap. Disse arbeidsflytene er basert på at datavitenskap er basert på eksperimentering og kjøring av eksperimenter.

I orden til å utvikle nye løsninger for å kjøre mer effektive eksperimenter, må vi studere disse arbeidsflyt-tendensene over tid. For eksempel: En datavitenskapsmann bruker åtte GPU-er en dag, men dagen etter kan han bruke ingen, eller han kan bruke en GPU i en lang periode, men så må han bruke 100 GPU-er fordi han ønsker å kjøre 100 eksperimenter parallelt. Når vi forstår denne arbeidsflyten for å optimalisere beregningskraften til en enkelt bruker, kan vi begynne å skalerer det til flere brukere.

Med tradisjonell beregning tildeles en bestemt antall GPU-er til hver bruker, uten å ta hensyn til om de er i bruk eller ikke. Med denne metoden sitter ofte dyre GPU-er idle uten at noen andre kan få tilgang til dem, noe som resulterer i lav avkastning for GPU-en. Vi forstår et selskaps finansielle prioriteringer og tilbyr løsninger som muliggjør dynamisk allokering av disse resursene i henhold til brukernes behov. Ved å tilby et fleksibelt system kan vi allokere ekstra kraft til en bestemt bruker når det er nødvendig, ved å bruke GPU-er som ikke er i bruk av andre brukere, og dermed maksimere avkastningen for et selskaps beregningsresurser og akselerere innovasjon og tid til markedet for AI-løsninger.

En av Run:AI-funksjonene er at det muliggjør reduksjon av blinde flekker skapt av statisk allokering av GPU. Hvordan oppnås dette?

Vi har et verktøy som gir oss full synlighet inn i ressursklusteret. Ved å bruke dette verktøyet kan vi observere og forstå om det finnes blinde flekker, og deretter bruke de inaktive GPU-ene for brukere som trenger allokering. Det samme verktøyet som gir synlighet inn i klusteret og kontroll over klusteret sikrer også at blinde flekker blir minimert.

I en nylig tale, fremhevet du noen distinksjoner mellom bygging og trening av arbeidsflyter. Kan du forklare hvordan Run:AI bruker en GPU-kømanagement-mekanisme for å allokere ressursforvaltning for begge?

En AI-modell bygges i to stadier. Først er det byggestadiet, der en datavitenskapsmann skriver koden for å bygge den faktiske modellen, på samme måte som en ingeniør bygger en bil. Det andre er treningstadiet, der den ferdige modellen begynner å lære og bli “trent” på å optimalisere en bestemt oppgave. Lignende en person som lærer å kjøre bilen etter at den er bygget.

I orden til å bygge modellen selv, trengs ikke mye beregningskraft. Imidlertid kan den til slutt trenge sterkere prosessorkraft for å begynne med mindre, interne tester. For eksempel, på samme måte som en ingeniør til slutt ønsker å teste motoren før han installerer den. På grunn av disse distinkte behovene under hvert stadium, tillater Run.AI allokering av GPU-uavhengig av om de bygger eller trener modellen, men som nevnt tidligere, er høyere GPU-bruk vanligvis nødvendig for å trene modellen, mens mindre er nødvendig for å bygge den.

Hvor mye rå beregnings tid/resurser kan bli spart av AI-utviklere som ønsker å integrere Run.AI i sine systemer?

Våre løsninger i Run.ai kan forbedre digitaliseringen av resurser med omtrent to til tre ganger, noe som betyr 2-3 ganger bedre produktivitet totalt sett.

Takk for intervjuet, lesere som ønsker å lære mer kan besøke Run:AI.