Ludovic Larzul, zakladatel a CEO společnosti Mipsology – rozhovor

Ludovic Larzul je zakladatel a CEO společnosti Mipsology, která je průkopnickou firmou zaměřenou na nejmodernější urychlení hlubokého učení. Vyvinuli technologii, která urychluje výpočty inferenčních neuronových sítí a skrývá hardwarový akcelerátor před uživateli AI. Zebra od Mipsology je první komerční akcelerátor, který zahrnuje tuto technologii a poskytuje vysoký výkon a snadné použití.

Co vás poprvé zaujalo o AI a mikročipech?

Pracoval jsem na návrhu speciálního typu superpočítače asi 20 let ve své předchozí firmě EVE, než byla v roce 2012 koupena firmou Synopsys. Tyto počítače, také nazývané emulátory ASIC, se používají mnoha společnostmi, které navrhují ASIC po celém světě. Velmi jsem si užíval složitosti a rozmanitosti této práce. Abych uspěl, musel jsem (a) rozumět elektronikám, softwaru, složitým algoritmům, jak lidé navrhují čipy a jak zajistit, aby fungovaly správně, architektuře čipů, napájení a další hluboké technologie, (b) správně předpovědět potřeby zákazníků několik let dopředu, (c) neustále inovovat a (d) jako startup porazit konkurenci s mnohem menšími zdroji. Po 20 letech úspěchu jsem hledal novou výzvu. To byla doba, kdy se AI opět dostala do popředí. AlexNet udělal skokový pokrok v porozumění obrazům (a když se ohlédneme zpět, byla to ještě dětinská hra). Hluboké učení bylo zcela nové, ale slibné (Kdo si vzpomíná, kdy to trvalo dny, než se dosáhlo výsledku na jednoduché síti?). Zjistil jsem, že to bylo khá “zábavné”, ale rozpoznal jsem, že existují многие výzvy.

Co vás inspirovalo k založení Mipsology?

Nevím, zda bych použil slovo “inspirace”. Bylo to spíše: “Můžeme udělat něco, co by bylo lepší a odlišné?” Začalo to s předpoklady o tom, co by AI lidé chtěli a dělali, a následující roky byly stráveny hledáním stále lepších řešení na základě toho. Myslím, že více než inspirace bych řekl, že lidé, se kterými pracuji, chtějí být nejlepší v tom, co vytvářejí, v pozitivním soutěživém duchu. To vytváří silný tým, který může řešit problémy, které ostatní nedokáží řešit dostatečně.

Mipsology používá FPGA desky místo GPU. Můžete vysvětlit, co jsou FPGA?

FPGA jsou elektronické součástky, které lze programovat na hardwarové úrovni. Můžete si to představit jako sadu Lego – několik milionů z nich. Každý malý blok provádí jednoduchou operaci, jako je uchování hodnoty, nebo slightly komplexnější operace, jako je přidání. Skupením všech těchto bloků je možné vytvořit specifické chování po výrobě čipu. To je opakem GPU a téměř všech ostatních čipů, které jsou navrženy pro specifickou funkci a nemohou být změněny později.

Některé, jako CPU a GPU, lze programovat, ale nejsou tak paralelní jako FPGA. V každém okamžiku FPGA provádí několik milionů jednoduchých operací. A to může nastat šest až sedm set milionůkrát za sekundu. Protože jsou programovatelné, mohou měnit, co dělají, v závislosti na problémech, a tak jejich mimořádná výpočetní síla může být efektivní. FPGA jsou již téměř všude, včetně základnových stanic mobilních telefonů, sítí, satelitů, aut, atd. Lidé je však neznají dobře, protože nejsou tak viditelné jako CPU, jako ten ve vašem laptopu.

Co dělá tyto FPGA desky lepší řešení než populárnější GPU?

FPGA jsou lepší ve mnoha ohledech. Zaměřme se na několik důležitých.

GPU jsou navrženy pro vykreslování obrazů, hlavně pro hry. Byly nalezeny jako vhodné pro některé výpočty v AI kvůli podobnosti operací. Ale zůstávají primárně věnovány hrám, což znamená, že přicházejí s omezeními, která se nehodí dobře s neuronovými sítěmi.

<p Jejich programování je také omezeno na instrukce, které byly rozhodnuty dva nebo tři roky předtím, než jsou k dispozici. Problém je, že neuronové sítě se vyvíjejí rychleji než návrh ASIC, a GPU jsou ASIC. Takže to je jako předpovídat budoucnost: není jednoduché být správný. Můžete vidět trendy, ale detaily jsou to, co realmente dopadají na výsledky, jako je výkon. Naopak, protože FPGA jsou programovatelné na hardwarové úrovni, můžeme snáze držet krok s pokrokem AI. To nám umožňuje dodat lepší produkt s vyšším výkonem a splnit potřeby zákazníků bez nutnosti čekat na další generaci křemíku.

Dále jsou GPU navrženy jako spotřební produkty. Jejich životnost je úmyslně krátká, protože společnosti, které navrhují GPU, chtějí prodat nové za několik let hráčům. To nefunguje dobře v elektronických systémech, které potřebují být spolehlivé po mnoho let. FPGA jsou navrženy tak, aby byly robustní a používané 24/7 po mnoho let.

Další dobře známé výhody FPGA zahrnují:

• Existuje mnoho možností, které se hodí do specifických oblastí, jako je síťování nebo zpracování videa
• Pracují stejně dobře v datových centrech jako na okraji nebo v vestavěných systémech
• Nevyžadují speciální chlazení (mnohem méně vodního chlazení, jako velké GPU)

Jednou z hlavních nevýhod je, že FPGA jsou obtížně programovatelné. To vyžaduje specifické znalosti. I když společnosti prodávající FPGA vynaložily velké úsilí na překlenutí mezery v komplexitě, stále není tak jednoduché jako CPU. Ve skutečnosti nejsou GPU jednoduchá ani. Ale software, který skrývá jejich programování pro AI, činí tyto znalosti zbytečnými. To je problém, který Mipsology jako první řeší: odstraňuje potřebu programovat nebo mít jakékoli znalosti o FPGA pro výpočetní AI.

Existují nějaké současné omezení FPGA desek?

Některé FPGA desky jsou jako některé GPU desky. Mohou být vloženy do slotů PCIe počítače. Jednou z dobře známých výhod, kromě životnosti, kterou jsem zmínil dříve, je, že spotřeba energie je typicky nižší než u GPU. Další méně známou výhodou je, že existuje větší výběr FPGA desek než GPU desek. Existuje více FPGA pro více trhů, což vede k více deskám, které se hodí do různých oblastí trhu. To prostě znamená, že existuje více možností pro výpočet neuronových sítí všude za nižší náklady. GPU jsou více omezené; hodí se do datových center, ale ne mnoho jiného.

Mipsology Zebra je prvním komerčním akcelerátorem, který zahrnuje FPGA desky a poskytuje vysoký výkon a snadné použití. Můžete popsat, co je Zebra?

Pro ty, kteří jsou seznámeni s AI a GPU, je nejjednodušší popis, že Zebra je pro FPGA to, co je Cuda/CuDNN pro GPU. Je to softwarový balíček, který完全 skrývá FPGA za běžnými rámci, jako je PyTorch nebo TensorFlow. Primárně se zaměřujeme na inferenci pro obrázky a videa. Zebra začíná s neuronovou sítí, která byla trénována typicky v plovoucí řádce, a bez jakéhokoli manuálního úsilí nebo proprietárního nástroje, běží na libovolné FPGA-based kartě. Je to tak jednoduché, jako: vložit FPGA desku, nahrát ovladač, nastavit Zebra prostředí a spustit stejnou inferenční aplikaci, jako ta, která běží na CPU nebo GPU. Máme svou vlastní kvantizaci, která uchovává přesnost, a výkon je okamžitě k dispozici. Není žádný proprietární nástroj, který by uživatel musel naučit, a netrvá to hodiny inženýrského času, aby se dosáhlo vysoké propustnosti nebo nízké latence. To znamená jednoduše rychlé přechody, které také snižují náklady a dobu na trh.

Jaké jsou různé typy aplikací, pro které je Zebra nejvhodnější?

Zebra je velmi obecný akcelerační engine, takže může urychlit výpočet pro jakoukoli aplikaci, která potřebuje počítat neuronové sítě, s primárním zaměřením na obrázky a videa, protože výpočetní potřeby jsou větší pro tento typ dat. Máme požadavky z velmi různých trhů, ale jsou všechny podobné, pokud jde o výpočet neuronových sítí. Všechny typicky vyžadují klasifikaci, segmentaci, super rozlišení, umístění těla, atd.

Zebra běží na FPGA deskách, takže lze použít jakékoli typy desek. Některé mají vysokou propustnost a typicky se používají v datových centrech. Jiné jsou více vhodné pro použití na okraji nebo v vestavěných systémech. Naše vize je, že pokud lze FPGA použít, uživatelé mohou použít Zebra k urychlení svých neuronových sítí okamžitě. A pokud se používají GPU nebo CPU, Zebra může nahradit je a snížit náklady na AI infrastrukturu. Většina společností, se kterými mluvíme, má podobné problémy: mohli by nasadit více AI-založených aplikací, ale náklady je omezují.

Pro společnost, která chce použít Zebra, jaký je proces?

Jednoduše nás kontaktujte na support@mipsology.com a my vás dostaneme started.

Je něco jiného, co byste chtěl sdílet o Mipsology?

Jsme velmi povzbuzeni zpětnou vazbou, kterou dostáváme od AI komunity pro naši Zebra řešení. Konkrétně nám říkají, že toto je pravděpodobně nejlepší akcelerátor na trhu. Po několika měsících stále přidáváme do rostoucího ekosystému interessovaných partnerů, včetně Xilinx, Dell, Western Digital (WDC ), Avnet, TUL a Advantech, abychom jmenovali několik.

Skutečně jsem si užíval učení o této průkopnické technologii. Čtenáři, kteří chtějí se dozvědět více, by měli navštívit Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g