Omri Geller, VD & Medgrundare av Run:AI – Intervjuerien

Omri Geller är VD och medgrundare på Run:AI

Run:AI virtualiserar och accelererar AI genom att poola GPU-beräkningsresurser för att säkerställa synlighet och, i slutändan, kontroll över resursprioritering och allokering. Detta säkerställer att AI-projekt är kopplade till affärsmål och ger en betydande förbättring av produktiviteten hos datavetenskapliga team, vilket gör att de kan bygga och träna samtidiga modeller utan resursbegränsningar.

Vad var det som initialt drog dig till artificiell intelligens?

När jag började min kandidatexamen i elektro- och elektronikteknik vid Tel Aviv University upptäckte jag fascinerande saker om AI som jag visste skulle hjälpa oss att ta nästa steg i datorns möjligheter. Därifrån visste jag att jag ville investera mig i AI-området. Antingen var det i AI-forskning eller att öppna ett företag som skulle hjälpa till att introducera nya sätt att tillämpa AI på världen.

Har du alltid haft ett intresse för datorhårdvara?

När jag fick min första dator med en Intel 486-processor när jag var sex eller sju år gammal, var jag omedelbart intresserad av att ta reda på hur allt fungerade, även om jag förmodligen var för ung för att verkligen förstå det. Bortsett från sport, blev datorer en av mina största hobbyer när jag växte upp. Sedan dess har jag byggt datorer, arbetat med dem och studerat inom området på grund av den passion jag hade som barn.

Vad var din inspiration bakom lanseringen av Run:AI?

Jag visste från mycket tidigt att jag ville investera mig i AI-området. Under de senaste åren har branschen sett en enorm tillväxt inom AI, och mycket av den tillväxten kom från både datorvetare, som jag själv, och hårdvara som kunde stödja fler applikationer. Det blev tydligare för mig att jag skulle starta ett företag – och tillsammans med min medgrundare Ronen Dar – för att fortsätta att innovativa och hjälpa till att ta AI till fler företag.

Run:AI möjliggör för maskinlärningsspecialister att få en ny typ av kontroll över allokeringen av dyra GPU-resurser. Kan du förklara hur detta fungerar?

Vad vi behöver förstå är att maskinläringsingenjörer, som forskare och datavetare, behöver konsumera beräkningskraft på ett flexibelt sätt. Inte bara är dagens nyaste beräkningar mycket beräkningsintensiva, men det finns också nya arbetsflöden som används inom datavetenskap. Dessa arbetsflöden baseras på faktum att datavetenskap bygger på experiment och körning av experiment.

För att utveckla nya lösningar för att köra mer effektiva experiment, behöver vi studera dessa arbetsflödes tendenser över tid. Till exempel: En datavetare använder åtta GPU:er en dag, men sedan nästa dag kanske de använder noll, eller de kan använda en GPU under en lång period, men sedan behöva använda 100 GPU:er eftersom de vill köra 100 experiment parallellt. När vi förstår detta arbetsflöde för att optimera bearbetningskraften för en användare, kan vi börja skala det till flera användare.

Med traditionell datoranvändning tilldelas ett visst antal GPU:er till varje användare, utan att ta hänsyn till om de används eller inte. Med denna metod sitter ofta dyra GPU:er idle utan att någon annan kan komma åt dem, vilket resulterar i låg avkastning på GPU:erna. Vi förstår ett företags finansiella prioriteringar och erbjuder lösningar som möjliggör dynamisk allokering av dessa resurser enligt användarnas behov. Genom att erbjuda ett flexibelt system kan vi tilldela extra kraft till en specifik användare när det behövs, genom att utnyttja GPU:er som inte används av andra användare, vilket skapar maximal avkastning på företagets datorresurser och accelererar innovation och tid till marknaden för AI-lösningar.

En av Run:AI:s funktioner är att den möjliggör minskning av blinda fläckar som skapas av statisk allokering av GPU. Hur uppnås detta?

Vi har ett verktyg som ger oss full synlighet i resursklustret. Genom att använda detta verktyg kan vi observera och förstå om det finns blinda fläckar, och sedan utnyttja de inaktiva GPU:erna för användare som behöver allokeringen. Samma verktyg som ger synlighet i klustret och kontroll över klustret säkerställer också att dessa blinda fläckar minskas.

I ett nyligt tal betonade du några distinktioner mellan byggnads- och träningsarbetsflöden, kan du förklara hur Run:AI använder en GPU-köhanteringsmekanism för att allokera resurshantering för båda?

En AI-modell byggs i två faser. Först finns det byggnadsfasen, där en datavetare skriver koden för att bygga den faktiska modellen, på samma sätt som en ingenjör bygger en bil. Den andra fasen är träningsfasen, där den färdiga modellen börjar lära sig och “tränas” för att optimera en specifik uppgift. Liknande någon som lär sig att köra bilen efter att den har monterats.

För att bygga modellen själv behövs inte mycket beräkningskraft. Emellertid kan den så småningom behöva starkare bearbetningskraft för att påbörja mindre, interna tester. Till exempel, på samma sätt som en ingenjör så småningom vill testa motorn innan de installerar den. På grund av dessa olika behov under varje fas, tillåter Run.AI GPU-allokering oavsett om de bygger eller tränar modellen, men som nämnts tidigare, krävs vanligtvis mer GPU-användning för att träna modellen medan mindre krävs för att bygga den.

Hur mycket rå beräknings tid/resurser kan sparas av AI-utvecklare som vill integrera Run.AI i sina system?

Våra lösningar på Run.ai kan förbättra digitaliseringen av resurser med cirka två till tre gånger, vilket innebär 2-3 gånger bättre övergripande produktivitet.

Tack för intervjun, läsare som vill lära sig mer kan besöka Run:AI.