Ludovic Larzul, Oprichter en CEO van Mipsology – Interviewreeks

Ludovic Larzul is de oprichter en CEO van Mipsology, een baanbrekend startupbedrijf dat zich richt op state-of-the-art versnelling voor deep learning-inferentie. Zij hebben technologie ontwikkeld om de berekeningen van inferentie-neuronale netwerken te versnellen en de hardware-versneller voor AI-gebruikers te verbergen. Mipsology’s Zebra is de eerste commerciële versneller die dergelijke technologie omhult om hoge prestaties en gebruiksgemak te bieden.

Wat heeft je eerst geïnteresseerd in AI en microchips?

Ik werkte ongeveer 20 jaar aan de ontwikkeling van een speciaal type supercomputer met mijn vorige bedrijf EVE, voordat het in 2012 werd overgenomen door Synopsys. Deze computers, ook wel ASIC-emulators genoemd, worden door veel bedrijven gebruikt die ASIC’s ontwerpen over de hele wereld. Ik vond het leuk om te werken met de complexiteit en diversiteit van dat werk. Om succesvol te zijn, moet je (a) elektronica, software, complexe algoritmen, hoe mensen chips ontwerpen en hoe je ervoor zorgt dat ze goed werken, chiparchitectuur, energie en meer diepe technologie begrijpen, (b) de behoeften van klanten een paar jaar van tevoren correct voorspellen, (c) continu innoveren en (d) als startup de concurrentie verslaan met veel minder middelen. Na 20 jaar succes zocht ik een nieuwe uitdaging. Dit was de tijd toen AI weer in de schijnwerpers kwam. AlexNet had een sprong voorwaarts gemaakt in het begrijpen van afbeeldingen (en als je terugkijkt, was het nog in zijn kinderschoenen). Deep learning was helemaal nieuw, maar veelbelovend (Wie herinnert zich nog wanneer het dagen duurde om een resultaat te krijgen op een eenvoudig netwerk?). Ik vond dat best “leuk”, maar ik zag ook veel uitdagingen.

Wat was de inspiratie achter het oprichten van Mipsology?

Ik weet niet of ik het woord “inspiratie” zou gebruiken. Het was eerder: “Kunnen we iets doen dat anders en beter is?” Het begon met aannames over wat AI-mensen zouden willen en doen, en de volgende paar jaar werden besteed aan het vinden van steeds betere oplossingen op basis daarvan. Ik denk dat meer dan inspiratie, ik zou zeggen dat de mensen met wie ik werk graag het beste zijn in wat ze creëren, in een positieve houding van concurrentie. Dat maakt een sterk team dat problemen kan oplossen die anderen niet adequaat kunnen oplossen.

Mipsology gebruikt FPGA-boards in plaats van GPUs. Kun je uitleggen wat FPGA’s zijn?

FPGA’s zijn elektronische componenten die op hardware-niveau kunnen worden geprogrammeerd. Je kunt het je voorstellen als een set Lego-blokjes – een paar miljoen ervan. Elk klein blokje voert een eenvoudige bewerking uit, zoals een waarde opslaan of een iets complexere bewerking zoals optellen. Door al deze blokjes te groeperen, is het mogelijk om een specifiek gedrag te creëren nadat de chip is gefabriceerd. Dit is het tegenovergestelde van GPUs en bijna alle andere chips, die zijn ontworpen voor een specifieke functie en niet kunnen worden veranderd daarna.

Sommige, zoals CPUs en GPUs, kunnen worden geprogrammeerd, maar ze zijn niet zo parallel als FPGA’s. Op een gegeven moment voert een FPGA een paar miljoen eenvoudige bewerkingen uit. En dit kan zes tot zevenhonderd miljoen keer per seconde gebeuren. Omdat ze programmeerbaar zijn, kan wat ze doen op elk moment worden veranderd om zich aan te passen aan verschillende problemen, zodat de buitengewone rekenkracht effectief kan zijn. FPGA’s zijn bijna overal, inclusief basisstations van mobiele telefoons, netwerken, satellieten, auto’s, enz. Mensen kennen ze niet zo goed, omdat ze niet zo zichtbaar zijn als een CPU zoals die in je laptop.

Wat maakt deze FPGA-boards de superieure oplossing voor de meer populaire GPUs?

FPGA’s zijn superieur in veel aspecten. Laten we ons concentreren op een paar belangrijke.

GPUs zijn ontworpen voor het renderen van afbeeldingen, voornamelijk voor games. Ze zijn gevonden om goed overeen te komen met sommige berekeningen in AI vanwege de overeenkomst in bewerkingen. Maar ze blijven voornamelijk gewijd aan games, wat betekent dat ze beperkingen hebben die niet goed overeenkomen met neuronale netwerken.

Hun programmering is ook beperkt tot de instructies die twee of drie jaar voordat ze beschikbaar zijn, zijn besloten. Het probleem is dat neuronale netwerken sneller vooruitgaan dan het ontwerp van ASIC’s, en GPUs zijn ASIC’s. Dus het is alsof je de toekomst probeert te voorspellen: het is niet eenvoudig om gelijk te hebben. Je kunt trends zien, maar de details zijn wat echt impact heeft op de resultaten, zoals prestaties. In tegenstelling tot FPGA’s, die op hardware-niveau programmeerbaar zijn, kunnen we gemakkelijker bijhouden met de vooruitgang van AI. Dit stelt ons in staat om een beter product te leveren met hogere prestaties en om aan de behoeften van de klant te voldoen zonder te hoeven wachten op de volgende silicongeneratie.

Verder zijn GPUs ontworpen als consumentenproducten. Hun levensduur is opzettelijk kort, omdat de bedrijven die GPUs ontwerpen nieuwe willen verkopen een paar jaar later aan gamers. Dit werkt niet goed in elektronische systemen die betrouwbaar moeten zijn voor veel jaar. FPGA’s zijn ontworpen om robuust te zijn en 24/7 voor veel jaar te worden gebruikt.

Andere bekende voordelen van FPGA’s zijn:

• Er zijn veel opties die in specifieke gebieden zoals netwerken of videobewerking kunnen worden gebruikt
• Zij werken even goed in datacenters als aan de rand of in ingebed
• Zij vereisen geen speciale koeling (veel minder waterkoeling zoals grote GPUs)

Een groot nadeel is dat FPGA’s moeilijk te programmeren zijn. Het vereist specifieke kennis. Zelfs als bedrijven die FPGA’s verkopen veel moeite hebben gedaan om de complexiteitskloof te overbruggen, is het nog steeds niet zo eenvoudig als een CPU. In werkelijkheid zijn GPUs ook niet eenvoudig. Maar de software die hun programmering voor AI verbergt, maakt die kennis overbodig. Dat is het probleem dat Mipsology als eerste oplost: het verwijderen van de noodzaak om AI-computing te programmeren of enige kennis van FPGA te hebben.

Zijn er momenteel beperkingen aan FPGA-boards?

Sommige FPGA-boards zijn zoals sommige GPU-boards. Ze kunnen in de PCIe-sleuven van een computer worden gestoken. Een goed bekend voordeel, naast de levensduur die ik eerder noemde, is dat het energieverbruik typisch lager is dan dat van GPUs. Een ander, minder bekend voordeel is dat er een grotere selectie van FPGA-boards is dan van GPU-boards. Er zijn meer FPGA’s voor meer markten, wat leidt tot meer boards die in verschillende gebieden van de markten passen. Dit betekent simpelweg dat er meer mogelijkheden zijn voor het berekenen van neurale netwerken overal tegen lagere kosten. GPUs zijn meer beperkt; ze passen in datacenters, maar niet veel anders.

Mipsology’s Zebra is de eerste commerciële versneller die FPGA-boards omhult om hoge prestaties en gebruiksgemak te bieden. Kun je uitleggen wat Zebra is?

Voor diegenen die vertrouwd zijn met AI en GPUs, is de eenvoudigste beschrijving dat Zebra voor FPGA is wat Cuda/CuDNN is voor GPU. Het is een software-stack die de FPGA volledig verbergt achter gebruikelijke frameworks zoals PyTorch of TensorFlow. We richten ons voornamelijk op inferentie voor afbeeldingen en video’s. Zebra begint met een neuronaal netwerk dat typisch in floating point is getraind en, zonder enige handmatige inspanning van de gebruiker of propriëtaire tool, laat het op elke FPGA-gebaseerde kaart draaien. Het is zo eenvoudig als: steek de FPGA-kaart in, laad de driver, bron de Zebra-omgeving en start dezelfde inferentie-toepassing als die op CPUs of GPUs draait. We hebben onze eigen kwantificatie die de nauwkeurigheid behoudt en de prestaties zijn uit de doos. Er is geen propriëtaire tool die de gebruiker moet leren en het kost niet uren aan engineerstijd om hoge doorvoer of lage latentie te krijgen. Dit betekent simpelweg snelle overgangen, wat ook de kosten en de tijd tot markt vermindert.

Wat zijn de verschillende soorten toepassingen waarvoor Zebra het beste is ontworpen?

Zebra is een zeer generieke acceleratie-engine, dus het kan de berekening voor elke toepassing versnellen die neurale netwerken moet berekenen, met een primaire focus op afbeeldingen en video’s omdat de berekeningsbehoeften groter zijn voor dit type gegevens. We hebben verzoeken van zeer verschillende markten, maar ze zijn allemaal vergelijkbaar wanneer het gaat om het berekenen van neurale netwerken. Ze vereisen allemaal typisch classificatie, segmentatie, superresolutie, lichaamshouding, enz.

Aangezien Zebra op FPGA’s draait, kunnen alle soorten boards worden gebruikt. Sommige hebben hoge doorvoer en worden typisch gebruikt in datacenters. Andere zijn meer geschikt voor gebruik aan de rand of in ingebed. Onze visie is dat, als een FPGA past, gebruikers Zebra kunnen gebruiken om hun neurale netwerkberekeningen te versnellen, recht weg. En als GPUs of CPUs worden gebruikt, kan Zebra ze vervangen en de kosten van de AI-infrastructuur verlagen. De meeste bedrijven die we spreken, hebben soortgelijke problemen: ze konden meer AI-gebaseerde toepassingen implementeren, maar de kosten beperken hen.

Wat is het proces voor een bedrijf dat Zebra wil gebruiken?

Laat ons gewoon weten op support@mipsology.com en we zullen je op weg helpen.

Is er nog iets anders dat je zou willen delen over Mipsology?

We zijn erg bemoedigd door de feedback die we krijgen van de AI-gemeenschap voor onze Zebra-oplossing. Specifiek worden we verteld dat dit waarschijnlijk de beste versneller op de markt is. Na slechts een paar maanden voegen we toe aan een groeiend ecosysteem van geïnteresseerde partners, waaronder Xilinx, Dell, Western Digital (WDC ), Avnet, TUL en Advantech, om er een paar te noemen.

Ik heb echt genoten van het leren over deze baanbrekende technologie. Lezers die meer willen leren, kunnen Mipsology bezoeken.

https://www.youtube.com/watch?v=sIBEg_eGU8g