Omri Geller, CEO en mede-oprichter van Run:AI – Interviewreeks

Omri Geller is de CEO en mede-oprichter van Run:AI

Run:AI virtualiseert en versnelt AI door GPU-rekenbronnen te bundelen om zichtbaarheid en uiteindelijk controle over resourceprioriteit en -allocatie te waarborgen. Dit zorgt ervoor dat AI-projecten worden gekoppeld aan bedrijfsdoelen en een aanzienlijke verbetering oplevert in de productiviteit van datawetenschapsteams, waardoor ze gelijktijdig modellen kunnen bouwen en trainen zonder beperkingen door middel van resources.

Wat was het dat je aanvankelijk aantrok tot kunstmatige intelligentie?

Toen ik mijn bacheloropleiding in Elektrotechniek en Elektronica aan de Universiteit van Tel Aviv begon, ontdekte ik fascinerende dingen over AI die ik wist dat ze ons naar het volgende niveau in rekenmogelijkheden zouden brengen. Vanaf dat moment wist ik dat ik mezelf in de AI-ruimte wilde investeren. Of het nu ging om AI-onderzoek of het oprichten van een bedrijf dat zou helpen bij het introduceren van nieuwe manieren om AI in de wereld toe te passen.

Heb je altijd al interesse gehad in computerhardware?

Toen ik op zes of zeven jaar oud mijn eerste computer met een Intel (INTC ) 486-processor kreeg, was ik meteen geïnteresseerd om te begrijpen hoe alles werkte, ook al was ik waarschijnlijk te jong om het echt te begrijpen. Naast sport werden computers een van mijn grootste hobby’s toen ik opgroeide. Sindsdien heb ik computers gebouwd, ermee gewerkt en ben ik in het veld gaan studeren vanwege de passie die ik als kind had.

Wat was je inspiratie achter het oprichten van Run:AI?

Ik wist vanaf het begin dat ik mezelf in de AI-ruimte wilde investeren. In de afgelopen paar jaar heeft de industrie een enorme groei doorgemaakt in AI, en veel van die groei kwam van zowel computerwetenschappers als ikzelf als van hardware die meer toepassingen kon ondersteunen. Het werd me duidelijk dat ik uiteindelijk een bedrijf zou starten – en samen met mijn mede-oprichter Ronen Dar – om verder te innoveren en te helpen bij het brengen van AI naar meer ondernemingen.

Run:AI stelt machine learning-specialisten in staat om een nieuwe vorm van controle te krijgen over de allocatie van dure GPU-bronnen. Kun je uitleggen hoe dit werkt?

We moeten begrijpen dat machine learning-engineers, zoals onderzoekers en datawetenschappers, rekenkracht op een flexibele manier moeten consumeren. Niet alleen zijn de nieuwste berekeningen zeer rekenintensief, maar er zijn ook nieuwe workflows die in datawetenschap worden gebruikt. Deze workflows zijn gebaseerd op het feit dat datawetenschap gebaseerd is op experimenten en het uitvoeren van experimenten.

Om nieuwe oplossingen te ontwikkelen om efficiëntere experimenten uit te voeren, moeten we deze workflow-tendensen in de loop van de tijd bestuderen. Bijvoorbeeld: een datawetenschapper gebruikt acht GPU’s op een dag, maar de volgende dag gebruikt hij misschien geen enkele, of hij kan één GPU voor een lange periode gebruiken, maar dan heeft hij 100 GPU’s nodig omdat hij 100 experimenten in parallel wil uitvoeren. Zodra we deze workflow begrijpen voor het optimaliseren van de verwerking van één gebruiker, kunnen we deze schalen naar meerdere gebruikers.

Met traditionele computing worden een specifiek aantal GPU’s toegewezen aan elke gebruiker, zonder rekening te houden met het feit of ze in gebruik zijn of niet. Met deze methode zitten dure GPU’s vaak stil zonder dat iemand anders toegang tot ze heeft, waardoor het rendement op de GPU laag is. We begrijpen de financiële prioriteiten van een bedrijf en bieden oplossingen die dynamische allocatie van die bronnen mogelijk maken op basis van de behoeften van de gebruikers. Door een flexibel systeem aan te bieden, kunnen we extra vermogen toewijzen aan een specifieke gebruiker wanneer dat nodig is, door gebruik te maken van GPU’s die niet in gebruik zijn door andere gebruikers, waardoor het maximale rendement op de rekenbronnen van een bedrijf wordt gegenereerd en de innovatie en de tijd tot markt van AI-oplossingen wordt versneld.

Een van de functionaliteiten van Run:AI is dat het de reductie van blind spots mogelijk maakt die worden gecreëerd door statische allocatie van GPU. Hoe wordt dit bereikt?

We hebben een tool die ons volledige zicht geeft op de cluster van bronnen. Door gebruik te maken van deze tool, kunnen we observeren en begrijpen of er blind spots zijn en vervolgens die idle GPU’s gebruiken voor gebruikers die de allocatie nodig hebben. Hetzelfde instrument dat zichtbaarheid biedt in de cluster en controle over de cluster ook waarborgt dat die blind spots worden geminimaliseerd.

In een recente toespraak benadrukte je enkele onderscheiden tussen build- en trainingsworkflows, kun je uitleggen hoe Run:AI een GPU-wachtrijbeheermechanisme gebruikt om resourcebeheer toe te wijzen voor beide?

Een AI-model wordt in twee fasen gebouwd. Eerst is er de build-fase, waarin een datawetenschapper de code schrijft om het daadwerkelijke model te bouwen, op dezelfde manier waarop een ingenieur een auto zou bouwen. De tweede is de trainingsfase, waarin het voltooide model begint te leren en wordt ‘getraind’ om een specifieke taak te optimaliseren. Vergelijkbaar met iemand die leert autorijden nadat de auto is gebouwd.

Om het model zelf te bouwen, is niet veel rekenkracht nodig. Uiteindelijk kan het echter sterker verwerkingsvermogen nodig hebben om kleinere, interne tests te starten. Bijvoorbeeld, de manier waarop een ingenieur uiteindelijk de motor wil testen voordat hij deze installeert. Vanwege deze verschillende behoeften tijdens elke fase, stelt Run.AI GPU-toewijzing ongeacht of ze het model bouwen of trainen, maar zoals eerder vermeld, is over het algemeen meer GPU-gebruik nodig voor het trainen van het model dan voor het bouwen ervan.

Hoeveel brute rekenkracht/bronnen kunnen AI-ontwikkelaars besparen die Run.AI in hun systemen willen integreren?

Onze oplossingen bij Run.ai kunnen de digitalisering van bronnen verbeteren, met ongeveer twee tot drie keer, wat betekent 2-3 keer beter overall productiviteit.

Dank je voor het interview, lezers die meer willen leren, kunnen een bezoek brengen aan Run:AI.