Intervjuer
Ludovic Larzul, grunnlegger og CEO av Mipsology – Intervju-serie
Legg til Unite.AI blant dine foretrukne kilder på Google
Ludovic Larzul er grunnlegger og CEO av Mipsology, et banebrytende startup som fokuserer på stat-of-the-art akselerasjon for deep learning inferens. De har utviklet teknologi for å akselerere beregningene av inferens neurale nettverk og skjule maskinvareakseleratoren for AI-brukere. Mipsologys Zebra er den første kommersielle akseleratoren som inkapslerer slike teknologier for å tilby høy ytelse og enkelhet i bruk.
Hva var det som først fikk deg interessert i AI og mikrochip?
Jeg arbeidet med design av en spesifikk type superdatamaskin i omtrent 20 år med mitt tidligere selskap EVE, før det ble kjøpt av Synopsys i 2012. Disse datamaskinene, også kalt ASIC-emulatore, brukes av mange selskaper som designer ASIC rundt om i verden. Jeg likte kompleksiteten og mangfoldet i dette arbeidet. For å lykkes, må man (a) forstå elektronik, programvare, komplekse algoritmer, hvordan mennesker designer chip og hvordan man sikrer at de fungerer godt, chip-arkitektur, kraft og mer dyp teknologi, (b) korrekt forutsi kundenes behov noen år i forveien, (c) innovere kontinuerlig og (d) som et startup, beseire konkurransen med langt færre ressurser. Etter 20 år med suksess, søkte jeg etter en ny utfordring. Dette var tiden da AI hadde begynt å komme tilbake i rampelyset. AlexNet hadde gjort et sprang fremover i forståelse av bilder (og når man ser tilbake, var det fortsatt i sin barndom). Deep learning var helt nytt, men lovet godt (Hvem husker når det tok dager å få et resultat på et enkelt nettverk?). Jeg fant det ganske “morsomt”, men erkjente at det var mange utfordringer.
Hva var inspirasjonen bak lanseringen av Mipsology?
Jeg vet ikke om jeg ville bruke ordet “inspirasjon”. Det var mer som: “Kan vi gjøre noe som ville være forskjellig og bedre?” Det startet med antakelser om hva AI-folk ville like og gjøre, og de neste få årene ble brukt til å finne enda bedre løsninger basert på det. Jeg tror mer enn inspirasjon, ville jeg si at folkene jeg arbeider med liker å være de beste på det de skaper, i en positiv holdning av konkurranse. Det gjør en sterk lag som kan løse problemer andre feiler å løse tilstrekkelig.
Mipsology bruker FPGA-brikker i stedet for GPU-er. Kan du beskrive hva FPGA-er er?
FPGA-er er elektroniske komponenter som kan programmeres på maskinvare-nivå. Du kan forestille deg det som en samling Lego-brikker – noen millioner av dem. Hver liten blokk utfører en enkel operasjon som å holde en verdi eller mer komplekse operasjoner som addisjon. Ved å gruppere alle disse blokkene, er det mulig å skape en bestemt atferd etter at chipen er produsert. Dette er motsatt av GPU-er og nesten alle andre chip, som er designet for en bestemt funksjon og ikke kan endres etterpå.
Noen, som CPU-er og GPU-er, kan programmeres, men de er ikke like parallell som FPGA-er. På et gitt tidspunkt, utfører en FPGA noen millioner enkle operasjoner. Og dette kan skje seks til syv hundre millioner ganger i sekundet. Fordi de er programmerbare, kan det de gjør endres når som helst for å tilpasse seg forskjellige problemer, så den ekstraordinære beregningskraften kan være effektiv. FPGA-er er allerede nesten overalt, inkludert basestasjoner for mobiltelefoner, nettverk, satellitter, biler osv. Folk kjenner dem ikke så godt, fordi de ikke er like synlige som en CPU som den i din laptop.
Hva gjør disse FPGA-brikken til en overlegen løsning sammenlignet med de mer populære GPU-ene?
FPGA-er er overlegne på mange måter. La oss fokusere på noen viktige aspekter.
GPU-er er designet for å rendre bilder, hovedsakelig for spill. De har blitt funnet å matche godt med noen beregninger i AI på grunn av likheten i operasjonene. Men de forblir primært dedikert til spill, noe som betyr at de kommer med begrensninger som ikke passer godt med neurale nettverk.
Deres programmering er også begrenset til instruksjonene som ble bestemt to eller tre år før de er tilgjengelige. Problemet er at neurale nettverk utvikler seg raskere enn designet av ASIC-er, og GPU-er er ASIC-er. Så, det er som å prøve å forutsi fremtiden: det er ikke enkelt å være rett. Du kan se trender, men detaljene er det som virkelig påvirker resultater, som ytelse. I motsetning til dette, kan FPGA-er, på grunn av at de er programmerbare på maskinvare-nivå, enklere holde tritt med fremgangen i AI. Dette gjør det mulig for oss å levere et bedre produkt med høyere ytelse og møte kundens behov uten å måtte vente på den neste silisongenerasjonen.
I tillegg er GPU-er designet for å være forbrukerprodukter. Deres levetid er intenst kort, fordi selskapene som designer GPU-er ønsker å selge nye noen år senere til spillere. Dette fungerer ikke godt i elektroniske systemer som trenger å være pålitelige i mange år. FPGA-er er designet for å være robuste og brukes 24/7 i mange år.
Andre velkjente fordeler med FPGA-er inkluderer:
- Det finnes mange alternativer som kan passe i spesifikke områder som nettverk eller video-prosessering
- De fungerer like godt i data-sentre som ved kanten eller i innebygde systemer
- De trenger ikke spesiell kjøling (mye mindre vann-kjøling som store GPU-er)
En stor ulempe er at FPGA-er er vanskelige å programmere. Det krever spesifikke kunnskaper. Selv om selskapene som selger FPGA-er har lagt ned stor innsats i å brokke kompleksitetsgapet, er det fortsatt ikke like enkelt som en CPU. I virkeligheten er GPU-er heller ikke enkle. Men programvaren som skjuler deres programmering for AI gjør at denne kunnskapen ikke er nødvendig. Det er problemet som Mipsology er den første til å løse: å fjerne behovet for AI-beregning å programmere eller ha noen kunnskap om FPGA.
Er det noen nåværende begrensninger for FPGA-brikker?
Noen FPGA-brikker er som noen GPU-brikker. De kan plugges inn i en datamaskins PCIe-slots. En godt kjent fordel, i tillegg til levetiden jeg nevnte tidligere, er at strømforbruket vanligvis er lavere enn GPU-er. En annen, mindre kjent fordel, er at det finnes en større utvalg av FPGA-brikker enn GPU-brikker. Det finnes flere FPGA-er for flere markeder, noe som fører til flere brikker som passer i forskjellige områder av markedene. Dette betyr simpelthen at det finnes flere muligheter for å beregne neurale nettverk overalt til lavere kostnad. GPU-er er mer begrensede; de passer i data-sentre, men ikke mye annet.
Mipsologys Zebra er den første kommersielle akseleratoren som inkapslerer FPGA-brikker for å tilby høy ytelse og enkelhet i bruk. Kan du beskrive hva Zebra er?
For de som er kjent med AI og GPU-er, er den enkleste beskrivelsen at Zebra er til FPGA hva Cuda/CuDNN er til GPU. Det er en programvare-stack som fullstendig skjuler FPGA-en bak vanlige rammer som PyTorch eller TensorFlow. Vi er primært rettet mot inferens for bilder og videoer. Zebra starter med et neuralt nettverk som vanligvis er trent i flytende punkt, og uten noen manuell bruker-innsats eller proprietær verktøy, lar det kjøre på noen FPGA-basert kort. Det er like enkelt som: plugge inn FPGA-brikken, laste driveren, sourcen Zebra-miljøet og starte den samme inferens-applikasjonen som den som kjører på CPU-er eller GPU-er. Vi har vår egen kvantisering som beholder nøyaktigheten, og ytelsen er ute av boksen. Det finnes ingen proprietær verktøy som brukeren må lære, og det tar ikke timer med ingeniør-tid å få høy gjennomstrømming eller lav forsinkelse. Dette betyr simpelthen rask overgang, som også reduserer kostnad og tid til markedet.
Hva er de forskjellige typene applikasjoner som Zebra er best designet for?
Zebra er en svært generisk akselerasjons-motor, så den kan akselerere beregningene for noen applikasjoner som trenger å beregne neurale nettverk, med en primær fokus på bilder og videoer fordi beregningsbehovene er større for denne type data. Vi har forespørsler fra svært forskjellige markeder, men de er alle like når det gjelder å beregne neurale nettverk. De trenger alle vanligvis klassifisering, segmentering, super-oppløsning, kropp-posisjonering osv.
Siden Zebra kjører på toppen av FPGA-er, kan noen brikker brukes. Noen har høy gjennomstrømming og brukes vanligvis i data-sentre. Andre er mer egnet for bruk ved kanten eller i innebygde systemer. Vår visjon er at, hvis en FPGA kan passe, kan brukerne bruke Zebra til å akselerere sine neurale nettverks-beregninger med en gang. Og hvis GPU-er eller CPU-er brukes, kan Zebra erstatte dem og redusere kostnadene til AI-infrastrukturen. De fleste selskapene vi snakker med, har lignende problemer: de kunne deployere flere AI-baserte applikasjoner, men kostnaden begrenser dem.
For et selskap som ønsker å bruke Zebra, hva er prosessen?
Bare la oss vite på support@mipsology.com og vi kommer til å hjelpe deg i gang.
Er det noe annet du ville like å dele om Mipsology?
Vi er svært oppmuntret av tilbakemeldingene vi får fra AI-samfunnet for vår Zebra-løsning. Spesielt er vi fortalt at dette er kanskje den beste akseleratoren på markedet. Etter bare noen måneder, fortsetter vi å legge til en voksende økosystem av interesserte partnere, inkludert Xilinx, Dell, Western Digital (WDC ), Avnet, TUL og Advantech, for å nevne noen.
Jeg likte virkelig å lære om denne banebrytende teknologien. Leserne som ønsker å lære mer, bør besøke Mipsology.
