Finansiering
Ludovic Larzul, grundare och VD för Mipsology – Intervjuserie
Ludovic Larzul är grundare och VD för Mipsology, ett banbrytande startup-företag som fokuserar på state-of-the-art-acceleration för deep learning-inferens. De har utvecklat teknologi för att accelerera beräkningarna av inferensneurala nätverk och dölja hårdvaruacceleratorn för AI-användare. Mipsologys Zebra är den första kommersiella acceleratorn som inkapslar sådan teknik för att tillhandahålla hög prestanda och användarvänlighet.
Vad var det som först fick dig intresserad av AI och mikrochip?
Jag arbetade med designen av en specifik typ av superdator i ungefär 20 år med mitt företag EVE, innan det förvärvades av Synopsys 2012. Dessa datorer, som också kallas ASIC-emulatorer, används av många företag som designar ASICs runt om i världen. Jag tyckte om komplexiteten och mångfalden i det arbetet. För att lyckas måste man (a) förstå elektronik, programvara, komplexa algoritmer, hur människor designar chip och hur man ser till att de fungerar bra, chiparkitektur, effekt och mer djup teknik, (b) korrekt förutsäga kundernas behov några år i förväg, (c) innovera kontinuerligt och (d) som ett startup, besegra konkurrensen med betydligt färre resurser. Efter 20 år av framgång sökte jag efter en ny utmaning. Det var då AI började komma tillbaka in i rampljuset. AlexNet hade gjort ett stort språng framåt i förståelsen av bilder (och om man ser tillbaka, var det fortfarande i sin linda). Deep learning var helt nytt men lovande (Vem minns när det tog dagar att få ett resultat på ett enkelt nätverk?). Jag tyckte att det var ganska “roligt”, men insåg att det fanns många utmaningar.
Vad var inspirationen bakom lanseringen av Mipsology?
Jag vet inte om jag skulle använda ordet “inspiration”. Det var initialt mer som: “Kan vi göra något som skulle vara annorlunda och bättre?” Det började med antaganden om vad AI-personer skulle vilja ha och göra, och de närmaste åren tillbringades med att hitta allt bättre lösningar baserat på det. Jag tror att mer än inspiration, jag skulle säga att de människor jag arbetar med gillar att vara de bästa på det de skapar, i en positiv attityd av konkurrens. Det skapar ett starkt team som kan lösa problem som andra misslyckas med att lösa tillräckligt bra.
Mipsology använder FPGA-kort istället för GPU:er. Kan du beskriva vad FPGA är?
FPGA är elektroniska komponenter som kan programmeras på hårdvarunivå. Du kan föreställa dig det som en uppsättning Legobitar — ett par miljoner av dem. Varje liten block utför en enkel operation som att hålla ett värde eller något mer komplext som addition. Genom att gruppera alla dessa block är det möjligt att skapa ett specifikt beteende efter att chipet har tillverkats. Detta är motsatsen till GPU:er och nästan alla andra chip, som är designade för en specifik funktion och inte kan ändras efteråt.
Några, som CPU:er och GPU:er, kan programmeras, men de är inte lika parallella som FPGA:er. Vid varje given tidpunkt utför en FPGA ett par miljoner enkla operationer. Och detta kan hända sex till sju hundra miljoner gånger per sekund. Eftersom de är programmerbara kan det de gör ändras när som helst för att anpassa sig till olika problem, så den extraordinära beräkningskraften kan vara effektiv. FPGA:er finns redan nästan överallt, inklusive basstationer för mobiltelefoner, nätverk, satelliter, bilar etc. Människor känner inte till dem så väl, eftersom de inte är lika synliga som en CPU som den i din laptop.
Vad gör dessa FPGA-kort till den överlägsna lösningen jämfört med de mer populära GPU:erna?
FPGA:er är överlägsna på många sätt. Låt oss fokusera på ett par viktiga.
GPU:er är designade för att rendera bilder, främst för spel. De har visat sig matcha väl med vissa beräkningar i AI på grund av likheten i operationerna. Men de förblir primärt tillägnade spel, vilket innebär att de kommer med begränsningar som inte passar väl med neurala nätverk.
Deras programmering är också begränsad till de instruktioner som bestämdes två eller tre år innan de blev tillgängliga. Problemet är att neurala nätverk utvecklas snabbare än designen av ASIC:er, och GPU:er är ASIC:er. Så det är som att försöka förutsäga framtiden: det är inte enkelt att ha rätt. Du kan se trender, men detaljerna är vad som verkligen påverkar resultaten, som prestanda. I kontrast, eftersom FPGA:er är programmerbara på hårdvarunivå, kan vi enklare hålla jämna steg med AI:s framsteg. Detta gör att vi kan leverera en bättre produkt med högre prestanda och tillgodose kundernas behov utan att behöva vänta på nästa kiselgeneration.
Dessutom är GPU:er designade för att vara konsumentprodukter. Deras livslängd är avsiktligt kort, eftersom företagen som designar GPU:er vill sälja nya till spelare några år senare. Detta fungerar inte bra i elektroniska system som behöver vara tillförlitliga i många år. FPGA:er är designade för att vara robusta och användas 24/7 i många år.
Andra välkända fördelar med FPGA:er inkluderar:
- Det finns många alternativ som kan passa in i specifika områden som nätverks- eller videobearbetning
- De fungerar lika bra i datacenter som vid kanten eller i inbäddade system
- De kräver inte specifik kylning (mycket mindre vattenkylning som stora GPU:er)
En stor nackdel är att FPGA:er är svåra att programmera. Det kräver specifik kunskap. Även om företag som säljer FPGA:er har lagt ner stor ansträngning på att överbrygga komplexitetsgapet, är det fortfarande inte så enkelt som en CPU. I själva verket är GPU:er inte heller enkla. Men programvaran som döljer deras programmering för AI gör att den kunskapen inte är nödvändig. Det är det problem som Mipsology är den första att lösa: att ta bort behovet av AI-beräkning för att programmera eller ha någon kunskap om FPGA.
Finns det några nuvarande begränsningar för FPGA-kort?
Vissa FPGA-kort är som vissa GPU-kort. De kan anslutas till en dators PCIe-uttag. En välkänd fördel, utöver livslängden jag nämnde tidigare, är att effektförbrukningen vanligtvis är lägre än för GPU:er. En annan, mindre känd, är att det finns ett större urval av FPGA-kort än GPU-kort. Det finns fler FPGA:er för fler marknader, vilket leder till fler kort som passar in i olika områden av marknaderna. Detta betyder enklare beräkning av neurala nätverk överallt till lägre kostnad. GPU:er är mer begränsade; de passar i datacenter, men inte mycket annat.
Mipsologys Zebra är den första kommersiella acceleratorn som inkapslar FPGA-kort för att tillhandahålla hög prestanda och användarvänlighet. Kan du beskriva vad Zebra är?
För de som är bekanta med AI och GPU:er är den enklaste beskrivningen att Zebra är till FPGA vad Cuda/CuDNN är till GPU. Det är en programvarustack som helt döljer FPGA:n bakom vanliga ramverk som PyTorch eller TensorFlow. Vi fokuserar primärt på inferens för bilder och videor. Zebra startar med ett neurala nätverk som tränats typiskt i flytande punkt, och utan någon manuell ansträngning eller proprietär verktyg, gör det att det kan köras på valfritt FPGA-baserat kort. Det är så enkelt som: anslut FPGA-kortet, ladda drivrutinen, ange Zebra-miljön och starta samma inferensapplikation som den som körs på CPU:er eller GPU:er. Vi har vår egen kvantisering som behåller precisionen, och prestandan är färdig från början. Det finns inget proprietärt verktyg som användaren måste lära sig, och det tar inte timmar av ingenjörstid att få hög genomströmning eller låg latens. Detta betyder enkel övergång, vilket också minskar kostnad och tid till marknad.
Vilka är de olika typerna av applikationer som Zebra är bäst utformad för?
Zebra är en mycket generisk accelerationsmotor, så den kan accelerera beräkningen för vilken applikation som helst som behöver beräkna neurala nätverk, med primärt fokus på bilder och video eftersom beräkningsbehoven är större för den här typen av data. Vi har förfrågningar från mycket olika marknader, men de är alla liknande när det gäller att beräkna neurala nätverk. De kräver alla vanligtvis klassificering, segmentering, superupplösning, kroppsläge etc.
Eftersom Zebra körs ovanpå FPGA:er kan vilket kort som helst användas. Vissa har hög genomströmning och används vanligtvis i datacenter. Andra är mer lämpliga för användning vid kanten eller i inbäddade system. Vår vision är att, om en FPGA kan passa, användare kan använda Zebra för att accelerera sina neurala nätverksberäkningar direkt. Och om GPU:er eller CPU:er används, kan Zebra ersätta dem och minska kostnaderna för AI-infrastrukturen. De flesta företag vi pratar med har liknande problem: de kunde distribuera fler AI-baserade applikationer, men kostnaden begränsar dem.
För ett företag som vill använda Zebra, vad är processen?
Bara låt oss veta på [email protected] och vi kommer att hjälpa er att komma igång.
Finns det något annat du vill dela om Mipsology?
Vi är mycket uppmuntrade av den feedback vi får från AI-samhället för vår Zebra-lösning. Specifikt berättas det för oss att detta är förmodligen den bästa acceleratorn på marknaden. Efter bara några månader fortsätter vi att lägga till en växande ekosystem av intresserade partners, inklusive Xilinx, Dell, Western Digital, Avnet, TUL och Advantech, för att nämna några.
Jag njöt verkligen av att lära mig om denna banbrytande teknologi. Läsare som vill lära sig mer bör besöka Mipsology.
