Ludovic Larzul, grundlægger og administrerende direktør for Mipsology – Intervieuserie

Ludovic Larzul er grundlægger og administrerende direktør for Mipsology, en banebrydende startup, der fokuserer på stat-of-the-art acceleration for deep learning inference. De har udviklet teknologi til at accelerere beregningerne af inference neurale netværk og skjule hardware-acceleratorerne for AI-brugere. Mipsologys Zebra er den første kommercielle accelerator, der indeholder sådan en teknologi for at levere høj ydelse og let brug.

Hvad fik dig først interesseret i AI og mikrochip?

Jeg arbejdede med design af en speciel type supercomputer i omkring 20 år med mit tidligere firma EVE, før det blev opkøbt af Synopsys i 2012. Disse computere, der også kaldes ASIC-emulatorer, bruges af mange firmaer, der designer ASIC’er verden over. Jeg nød rigtigt det komplekse og diverse arbejde. For at lykkes skal man (a) forstå elektronik, software, komplekse algoritmer, hvordan mennesker designer chip og hvordan man sikrer, at de fungerer korrekt, chip-arkitektur, effekt og mere dyb teknologi, (b) korrekt forudsige kundernes behov et par år frem, (c) innovere kontinuerligt og (d) som en startup, besejre konkurrencen med langt færre ressourcer. Efter 20 års succes søgte jeg efter en ny udfordring. Det var på det tidspunkt, hvor AI var begyndt at komme tilbage i rampelyset. AlexNet havde gjort et spring fremad i forståelsen af billeder (og når man ser tilbage, var det stadig i sin barndom). Deep learning var helt ny, men lovende (Hvem husker, når det tog dage at få et resultat på et simpelt netværk?). Jeg fandt det ret “sjovt”, men erkendte, at der var mange udfordringer.

Hvad var inspirationen bag lanceringen af Mipsology?

Jeg ved ikke, om jeg ville bruge ordet “inspiration”. Det var mere som: “Kan vi gøre noget, der vil være anderledes og bedre?” Det startede med antagelser om, hvad AI-mennesker ville kunne lide og gøre, og de næste par år blev brugt på at finde bedre løsninger baseret på det. Jeg tror, at mere end inspiration, jeg ville sige, at de mennesker, jeg arbejder med, kan lide at være de bedste til det, de skaber, i en positiv konkurrencestemning. Det skaber et stærkt hold, der kan løse problemer, som andre ikke kan løse tilstrækkeligt.

Mipsology bruger FPGA-kort i stedet for GPU’er. Kan du beskrive, hvad FPGA’er er?

FPGA’er er elektroniske komponenter, der kan programmeres på hardwareniveau. Du kan forestille dig det som en samling Lego-klodser – et par millioner af dem. Hver lille blok udfører en enkel operation som at gemme en værdi eller lidt mere komplekse operationer som addition. Ved at gruppere alle disse blokke kan det være muligt at skabe en specifik adfærd efter, at chippen er fremstillet. Dette er modsat GPU’er og næsten alle andre chip, der er designede til en specifik funktion og ikke kan ændres herefter.

Nogle, som CPU’er og GPU’er, kan programmeres, men de er ikke så parallelle som FPGA’er. På et given tidspunkt udfører en FPGA et par millioner simple operationer. Og dette kan ske seks til syv hundrede millioner gange i sekundet. Fordi de er programmerbare, kan det, de gør, ændres når som helst for at tilpasse sig forskellige problemer, så den ekstraordinære beregningskraft kan være effektiv. FPGA’er er allerede næsten overalt, herunder basestationer for mobiltelefoner, netværk, satellitter, biler osv. Folk kender dem ikke så godt, fordi de ikke er så synlige som en CPU som den i din laptop.

Hvad gør disse FPGA-kort til den bedre løsning end de mere populære GPU’er?

FPGA’er er bedre på mange punkter. Lad os fokusere på et par vigtige.

GPU’er er designede til at rendre billeder, primært til spil. De er blevet fundet til at matche godt med nogle beregninger i AI på grund af ligheden i operationerne. Men de forbliver primært dedikeret til spil, hvilket betyder, at de kommer med begrænsninger, der ikke passer godt med neurale netværk.

Deres programmering er også begrænset til de instruktioner, der blev besluttet to eller tre år før, de er tilgængelige. Problemet er, at neurale netværk udvikler sig hurtigere end designet af ASIC’er, og GPU’er er ASIC’er. Så det er som at forudsige fremtiden: det er ikke simpelt at være rigtigt. Du kan se trends, men detaljerne er, hvad der virkelig har indvirkning på resultaterne, som ydelse. I modsætning hertil kan FPGA’er, da de er programmerbare på hardwareniveau, lettere følge med AI’s fremgang. Dette giver os mulighed for at levere et bedre produkt med højere ydelse og møde kundernes behov uden at skulle vente på den næste siliciumgeneration.

Derudover er GPU’er designede til at være forbrugerprodukter. Deres levetid er intentionelt kort, fordi de firmaer, der designer GPU’er, ønsker at sælge nye om et par år til gamere. Dette fungerer ikke godt i elektroniske systemer, der skal være pålidelige i mange år. FPGA’er er designede til at være robuste og brugt 24/7 i mange år.

Andre velkendte fordele ved FPGA’er omfatter:

• Der er mange muligheder, der kan passe ind i specifikke områder som netværk eller videoafspilning
• De fungerer lige så godt i datacentre som ved kanten eller i indlejrede
• De kræver ikke speciel køling (meget mindre vandkøling som store GPU’er)

En stor ulempe er, at FPGA’er er svære at programmere. Det kræver specifik viden. Selv om firmaer, der sælger FPGA’er, har lagt stor indsats i at brobygge kompleksitetsgapet, er det stadig ikke så enkelt som en CPU. I virkeligheden er GPU’er heller ikke enkle. Men softwaren, der skjuler deres programmering for AI, gør, at denne viden ikke er nødvendig. Det er det problem, Mipsology er den første til at løse: at fjerne behovet for AI-beregning at programmere eller have nogen som helst viden om FPGA.

Er der nogen nuværende begrænsninger for FPGA-kort?

Nogle FPGA-kort er som nogle GPU-kort. De kan sættes i en computers PCIe-slots. En velkendt fordel, ud over levetiden jeg nævnte før, er, at strømforbruget typisk er lavere end GPU’er. En anden, mindre kendt, er, at der er en større udvalg af FPGA-kort end GPU-kort. Der er flere FPGA’er til flere markeder, hvilket fører til flere kort, der passer ind i forskellige områder af markedet. Dette betyder simpelthen, at der er flere muligheder for at beregne neurale netværk overalt til lavere omkostninger. GPU’er er mere begrænsede; de passer ind i datacentre, men ikke meget andet.

Mipsologys Zebra er den første kommercielle accelerator, der indeholder FPGA-kort for at levere høj ydelse og let brug. Kan du beskrive, hvad Zebra er?

For dem, der er bekendt med AI og GPU’er, er den nemmeste beskrivelse, at Zebra er til FPGA, hvad Cuda/CuDNN er til GPU. Det er en software-stack, der fuldstændigt skjuler FPGA’en bag normale frameworks som PyTorch eller TensorFlow. Vi fokuserer primært på inference for billeder og videoer. Zebra starter med et neuralt netværk, der typisk er trænet i flydende punkt, og uden nogen manuel brugerindsats eller proprietær værktøj, får det til at køre på enhver FPGA-baseret kort. Det er så enkelt som: sæt FPGA-kortet i, indlæs driveren, kilde Zebra-miljøet og start samme inference-applikation som den, der kører på CPU’er eller GPU’er. Vi har vores egen kvantificering, der bevarer nøjagtigheden, og ydelsen er uden for kassen. Der er intet proprietært værktøj, som brugeren må lære, og det tager ikke timer af ingeniørarbejde at få høj gennemstrømning eller lav latency. Dette betyder simpelthen hurtige overgange, hvilket også reducerer omkostninger og tid til markedet.

Hvad er de forskellige typer af applikationer, som Zebra er bedst designet til?

Zebra er en meget generisk acceleration-motor, så den kan accelerere beregningen for enhver applikation, der har brug for at beregne neurale netværk, med primært fokus på billeder og video, fordi beregningsbehovene er større for denne type data. Vi har anmodninger fra meget forskellige markeder, men de er alle sammenlignelige, når det kommer til at beregne neurale netværk. De kræver alle typisk klassificering, segmentering, superopløsning, kropspositionering osv.

Som Zebra kører på toppen af FPGA’er, kan enhver type kort bruges. Nogle har høj gennemstrømning og bruges typisk i datacentre. Andre er mere egnede til brug ved kanten eller i indlejrede. Vores vision er, at hvis en FPGA kan passe ind, kan brugerne bruge Zebra til at accelerere deres neurale netværksberegninger med det samme. Og hvis GPU’er eller CPU’er bruges, kan Zebra erstatte dem og reducere omkostningerne for AI-infrastrukturen. De fleste firmaer, vi taler med, har lignende problemer: de kunne implementere flere AI-baserede applikationer, men omkostningerne begrænser dem.

Hvad er processen for et firma, der ønsker at bruge Zebra?

Det er blot at lade os vide på support@mipsology.com, og vi får dig i gang.

Er der noget andet, du gerne vil dele om Mipsology?

Vi er meget opmuntret af den feedback, vi får fra AI-samfundet for vores Zebra-løsning. Specifikt bliver vi fortalt, at dette sandsynligvis er den bedste accelerator på markedet. Efter kun få måneder fortsætter vi med at tilføje til en voksende økosystem af interesserede partnere, herunder Xilinx, Dell, Western Digital (WDC ), Avnet, TUL og Advantech, for at nævne nogle.

Jeg nød rigtigt at lære om denne banebrydende teknologi. Læsere, der ønsker at lære mere, kan besøge Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g