Ludovic Larzul, Mipsologyn perustaja ja toimitusjohtaja – Haastattelusarja

Ludovic Larzul on Mipsologyn perustaja ja toimitusjohtaja, joka on uraauurtava startup, joka on keskittynyt viimeisimpiin deep learning -inference -kiihdytysteknologioihin. He ovat kehittäneet teknologian, joka kiihdyttää inference-neuraaliverkkojen laskentoja ja piilottaa laitteiston kiihdyttimen AI-käyttäjiltä. Mipsologyn Zebra on ensimmäinen kaupallinen kiihdyttäjä, joka sisältää tämän teknologian ja tarjoaa korkean suorituskyvyn ja helppokäyttöisyyden.

Mikä sai sinut kiinnostuneeksi AI:sta ja mikroprosesoreista?

Työskentelin noin 20 vuotta aiemman yritykseni EVE:n kanssa, ennen kuin se myytiin Synopsysille vuonna 2012. Nämä tietokoneet, joita kutsutaan myös ASIC-emulaattoreiksi, ovat laajalti käytössä useissa yrityksissä, jotka suunnittelevat ASIC:eja ympäri maailmaa. Nautin työstäni ja monimutkaisuudesta. Onnistuakseen, on ymmärrettävä elektroniikkaa, ohjelmistoja, monimutkaisia algoritmeja, kuinka ihmiset suunnittelevat piirejä ja kuinka varmistaa, että ne toimivat hyvin, piirien arkkitehtuuri, tehokkuus ja paljon muuta syvää teknologiaa. 20 vuoden menestyksen jälkeen etsin uutta haastetta. Tämä oli aikaa, jolloin AI alkoi palata julkisuuteen. AlexNet oli tehnyt loikan eteenpäin kuvien ymmärtämisessä (ja katsellen taaksepäin, se oli edelleen vasta alkuvaiheessa). Syvä oppiminen oli uutta, mutta lupaavaa (Kuka muistaa, kun yksinkertaisen verkon tulokset saatiin vasta useiden päivien kuluttua?). Pidin siitä “virkistävänä”, mutta tunnistin, että siinä oli monia haasteita.

Mikä oli inspiraation lähde Mipsologyn perustamiseen?

En tiedä, käyttäisinkö sanaa “inspiraatio”. Se oli aluksi enemmän kuin: “Voimmeko tehdä jotain, mikä on erilaista ja parempaa?” Se alkoi oletuksista siitä, mitä AI-ihmiset halusivat ja tekivät, ja seuraavat vuodet kuluivat etsimään parempia ratkaisuja sen perusteella. Luulen, että enemmän kuin inspiraatio, sanon, että ihmiset, joilla työskentelen, haluavat olla parhaita siinä, mitä he luovat, positiivisessa kilpailun asenteessa. Se luo vahvan tiimin, joka voi ratkaista ongelmia, joita muut eivät pysty ratkaisemaan riittävästi.

Mipsology käyttää FPGA-laitteita GPU:n sijaan. Voitko kuvata, mitä FPGA:t ovat?

FPGA:t ovat elektronisia komponentteja, jotka voidaan ohjelmoida laitteistotasolla. Voit kuvitella sen kuin joukon Lego-palikoita – muutamia miljoonia niitä. Jokainen pieni lohko suorittaa yksinkertaista toimintoa, kuten arvon säilyttämistä tai hieman monimutkaisempia toimintoja, kuten lisäämistä. Ryhmittämällä nämä lohkot, on mahdollista luoda tietty käyttäytyminen piirin valmistumisen jälkeen. Tämä on vastakkainen kuin GPU:ille ja lähes kaikille muille piireille, jotka on suunniteltu tiettyyn toimintoonsa eivätkä voida muuttaa sen jälkeen.

Jotkut, kuten CPU:t ja GPU:t, voidaan ohjelmoida, mutta ne eivät ole yhtä rinnakkaisia kuin FPGA:t. FPGA suorittaa useita miljoonia yksinkertaisia toimintoja kerran. Ja tämä voi tapahtua kuusi tai seitsemän kertaa sekunnissa. Koska ne voidaan ohjelmoida, niiden toimintoja voidaan muuttaa milloin tahansa sopeuttaa eri ongelmiin, joten poikkeuksellinen laskentateho voidaan tehdä tehokkaaksi. FPGA:t ovat jo melkein joka paikassa, mukaan lukien matkapuhelinten tukiasemat, verkkot, satelliitit, autot jne. Ihmiset eivät kuitenkaan tunne heitä hyvin, koska ne eivät ole yhtä näkyviä kuin kannettavan tietokoneen CPU.

Mikä tekee näistä FPGA-laitteista paremman ratkaisun kuin GPU:ille?

FPGA:t ovat parempia monilla tavoin. Tarkastellaan vain muutamia tärkeitä näkökohtia.

GPU:t on suunniteltu kuvien renderöintiin, pääasiassa peleihin. Ne ovat osoittautuneet sopiviksi joillekin laskutoimituksille AI:ssa, koska toimintojen samankaltaisuuden vuoksi. Ne ovat kuitenkin edelleen pääasiassa peleihin omistettuja, mikä tarkoittaa, että ne tulevat rajoituksilla, jotka eivät sovi hyvin neuroverkkoihin.

Niiden ohjelmointi on myös rajoitettu ohjeisiin, jotka päätettiin kaksi tai kolme vuotta ennen niiden saatavuutta. Ongelma on, että neuroverkot kehittyvät nopeammin kuin ASIC-suunnittelun kehitys, ja GPU:t ovat ASIC:eja. Se on kuin yrittäisi ennustaa tulevaisuutta: se ei ole helppoa olla oikeassa. Voit nähdä suuntaukset, mutta yksityiskohdat ovat ne, jotka vaikuttavat tuloksiin, kuten suorituskykyyn. Vastaavasti, koska FPGA:t voidaan ohjelmoida laitteistotasolla, voimme helpommin pysyä AI:n edistyksen mukana. Tämä mahdollistaa meille toimittaa paremman tuotteen korkeammalla suorituskyvylle ja täyttää asiakkaan tarpeet ilman odottamista seuraavan sukupolven piirien valmistumista.

Lisäksi GPU:t on suunniteltu kuluttajatuotteiksi. Niiden elinikä on tarkoituksella lyhyt, koska yritykset, jotka suunnittelevat GPU:ita, haluavat myydä uusia muutamassa vuodessa pelaajille. Tämä ei toimi hyvin sähköjärjestelmissä, jotka tarvitsevat olla luotettavia useita vuosia. FPGA:t on suunniteltu olemaan kestäviä ja käytettäviksi 24/7 useita vuosia.

Muita FPGA:n tunnettuja etuja ovat:

• On monia vaihtoehtoja, jotka voivat sopia tiettyihin alueisiin, kuten verkkototeutukseen tai videokäsittelyyn
• Ne toimivat yhtä hyvin datakeskuksissa kuin reunassa tai upotetuissa järjestelmissä
• Ne eivät vaadi erityistä jäähdytystä (paljon vähemmän vettä kuin suuret GPU:t)

Yksi suuri haitta on, että FPGA:t ovat vaikeita ohjelmoida. Se vaatii erityistä tietämystä. Vaikka FPGA:ita myyvät yritykset ovat panostaneet suuresti kompleksisuuden vähentämiseen, se ei ole yhtä yksinkertaista kuin CPU. Totuus on, että GPU:t eivät ole yksinkertaisiakkaan. Mutta ohjelmisto, joka piilottaa heidän ohjelmoinnin AI:lle, tekee tämän tiedon tarpeettomaksi. Se on ongelma, jonka Mipsology on ensimmäinen ratkaisemaan: poistamalla tarpeen ohjelmoida tai tietää FPGA:sta AI-laskennassa.

Onko FPGA-laitteilla nykyisin rajoituksia?

Joitakin FPGA-laitteita voidaan liittää tietokoneen PCIe-paikkoihin. Yksi tunnettu etu, jonka mainitsin aiemmin, on se, että virrankulutus on tyypillisesti alempi kuin GPU:illa. Toinen vähemmän tunnettu etu on, että on laajempi valikoima FPGA-laitteita kuin GPU-laitteita. On enemmän FPGA:ita eri markkinoille, mikä johtaa enemmän laitteita, jotka sopivat eri markkinoiden osiin. Tämä tarkoittaa yksinkertaisesti, että on enemmän mahdollisuuksia laskennallisten neuroverkkojen laskemiseen kaikkialla alemmalla kustannuksella. GPU:t ovat rajoitetumpia; ne sopivat datakeskuksiin, mutta ei paljon muuhun.

Mipsologyn Zebra on ensimmäinen kaupallinen kiihdyttäjä, joka sisältää FPGA-laitteita ja tarjoaa korkean suorituskyvyn ja helppokäyttöisyyden. Voitko kuvata, mitä Zebra on?

Niille, jotka ovat tuttuja AI:sta ja GPU:ista, helpoin kuvaus on, että Zebra on FPGA:lle se, mitä Cuda/CuDNN on GPU:lle. Se on ohjelmistopino, joka piilottaa FPGA:n taakse tavalliset kehykset, kuten PyTorch tai TensorFlow. Pyrimme pääasiassa inferenceen kuvien ja videoiden kanssa. Zebra aloittaa neuroverkon, joka on koulutettu tyypillisesti liukulukumuodossa, ja ilman manuaalista käyttäjän vaivaa tai omistettua työkalua, ajaa sen FPGA-pohjaisella kortilla. Se on yhtä helppoa kuin: liitä FPGA-kortti, lataa ajuri, lataa Zebra-ympäristö ja käynnistä sama inference-sovellus kuin se, joka ajaa CPU:lla tai GPU:lla. Meillä on oma kvantisaatio, joka säilyttää tarkin, ja suorituskyky on valmiina. Ei ole omistettua työkalua, jonka käyttäjän on opittava, eikä se vaadi tunteja insinöörien aikaa saavuttaakseen korkean läpäisynopeuden tai matalan viiveen. Tämä tarkoittaa yksinkertaisesti nopeita siirtymisiä, mikä myös vähentää kustannuksia ja markkinoille pääsyä.

Mitä erilaisia sovelluksia Zebra on parhaiten suunniteltu?

Zebra on erittäin geneerinen kiihdytysmoottori, joten se voi kiihdyttää laskentoja mille tahansa sovellukselle, joka tarvitsee laskennallisia neuroverkkoja, pääasiassa kuvien ja videoiden kanssa, koska laskennan tarpeet ovat suuremmat tällaisille tiedoille. Meillä on pyynnöt erilaisilta markkinoilta, mutta ne ovat kaikki samanlaisia, kun on kyse neuroverkkojen laskennasta. Ne vaativat tyypillisesti luokittelua, segmentointia, ylisääntöistä resoluutiota, kehon asentoa jne.

Zebra toimii FPGA:iden päällä, joten mitä tahansa laitteita voidaan käyttää. Joillakin on korkea läpäisynopeus ja ne ovat tyypillisesti käytössä datakeskuksissa. Toiset ovat sopivampia käytettäviksi reunassa tai upotetuissa järjestelmissä. Näkymämme on, että, jos FPGA voi sopia, käyttäjät voivat käyttää Zebraa kiihdyttämään neuroverkkojen laskentojaan heti. Ja jos GPU:t tai CPU:t ovat käytössä, Zebra voi korvata ne ja vähentää AI-infrastruktuurin kustannuksia. Useimmat yritykset, joilla puhumme, ovat samanlaisia ongelmia: he voivat käyttää enemmän AI-pohjaisia sovelluksia, mutta kustannukset rajoittavat heitä.

Miten yritys, joka haluaa käyttää Zebraa, voi aloittaa?

Yksinkertaisesti ilmoita meille osoitteessa support@mipsology.com ja autamme sinua aloittamaan.

Onko jotain muuta, mitä haluaisit jakaa Mipsologysta?

Olemme erittäin rohkaistuneita palautteesta, jonka saamme AI-yhteisöltä Zebra-ratkaisustamme. Erityisesti meille on sanottu, että tämä on luultavasti paras kiihdyttäjä markkinoilla. Vain muutaman kuukauden jälkeen jatkamme laajentamista kasvavaan ekosysteemiin kiinnostuneista kumppaneista, mukaan lukien Xilinx, Dell, Western Digital (WDC ), Avnet, TUL ja Advantech, mainiten vain muutamia.

Nautin todella siitä, että opin tästä uraauurtavasta teknologiasta. Lukijat, jotka haluavat oppia enemmän, voivat vierailla Mipsology-sivustolla.

https://www.youtube.com/watch?v=sIBEg_eGU8g