Ludovic Larzul, Fondator și CEO al Mipsology – Seria de Interviuri

Ludovic Larzul este fondatorul și CEO-ul Mipsology, o companie de startup care a revoluționat accelerarea inferenței învățării profunde. Ei au conceput tehnologia pentru a accelera calculele rețelelor neuronale de inferență și pentru a ascunde acceleratorul de hardware utilizatorilor AI. Zebra de la Mipsology este primul accelerator comercial care încorporează astfel de tehnologie pentru a oferi performanță ridicată și ușurință în utilizare.

Ce v-a atras inițial spre AI și microprocesoare?

Am lucrat la proiectarea unui anumit tip de supercalculator timp de aproximativ 20 de ani, împreună cu compania mea anterioară EVE, înainte de a fi achiziționată de Synopsys în 2012. Acești computere, numiți și emulatoare ASIC, sunt utilizați de multe companii care proiectează ASIC-uri în întreaga lume. Am apreciat complexitatea și diversitatea acestei munci. Pentru a reuși, trebuie să (a) înțelegi electronica, software-ul, algoritmii complexi, modul în care oamenii proiectează cipuri și cum să se asigure că funcționează bine, arhitectura cipului, puterea și multe alte tehnologii avansate, (b) să previziunea corectă a nevoilor clienților cu câțiva ani înainte, (c) să inovezi continuu și (d) ca o companie de startup, să învingi concurența cu mult mai puține resurse. După 20 de ani de succes, căutam o nouă provocare. Acesta a fost momentul în care AI a început să revină în atenție. AlexNet a făcut un salt înainte în înțelegerea imaginilor (și, privind înapoi, era încă în stadiul de început). Învățarea profundă era nouă, dar promițătoare (Cine își amintește când dura zile pentru a obține un rezultat pe o rețea simplă?). Am găsit asta destul de “divertisment”, dar am recunoscut că existau multe provocări.

Care a fost inspirația din spatele lansării Mipsology?

Nu știu dacă aș folosi cuvântul “inspirație”. A fost mai degrabă “Putem face ceva care să fie diferit și mai bun?” A început cu presupuneri despre ceea ce ar dori oamenii AI și ce ar face, iar următorii câțiva ani au fost petrecuți găsind soluții tot mai bune pe baza acestor presupuneri. Cred că mai mult decât inspirație, aș spune că oamenii cu care lucrez își doresc să fie cei mai buni la ceea ce creează, într-un spirit de competiție pozitivă. Acest lucru creează o echipă puternică care poate rezolva probleme pe care alții nu le pot rezolva adecvat.

Mipsology utilizează plăci FPGA în loc de GPU. Puteți descrie ce sunt FPGA?

FPGA sunt componente electronice care pot fi programate la nivel de hardware. Puteți imagina asta ca un set de Lego – câteva milioane. Fiecare bloculeț efectuează o operație simplă, cum ar fi păstrarea unei valori, sau operații puțin mai complexe, cum ar fi adunarea. Prin gruparea tuturor acestor blocuri, este posibil să se creeze un comportament specific după ce cipul este fabricat. Acest lucru este opus GPU-urilor și aproape tuturor celorlalte cipuri, care sunt proiectate pentru o funcție specifică și nu pot fi modificate ulterior.

Unele, cum ar fi CPU-urile și GPU-urile, pot fi programate, dar nu sunt la fel de paralele ca FPGA-urile. La un moment dat, un FPGA efectuează câteva milioane de operații simple. Și acest lucru se poate întâmpla de șase până la șapte sute de milioane de ori pe secundă. Deoarece sunt programabile, ceea ce fac ele poate fi modificat oricând pentru a se adapta la diferite probleme, astfel încât puterea de calcul extraordinară poate fi eficientă. FPGA-urile sunt deja aproape peste tot, inclusiv în stațiile de bază ale telefoanelor mobile, rețele, sateliți, mașini etc. Oamenii nu le cunosc bine, deoarece nu sunt la fel de vizibile ca un CPU, cum ar fi cel din laptopul dvs.

Ce face plăcile FPGA soluția superioară față de GPU-urile mai populare?

FPGA-urile sunt superioare în multe aspecte. Să ne concentrăm doar pe câteva dintre ele.

GPU-urile sunt proiectate pentru renderizarea imaginilor, în principal pentru jocuri. Au fost găsite să se potrivească bine cu anumite calcule în AI, datorită similarității operațiunilor. Dar ele rămân în primul rând dedicate jocurilor, ceea ce înseamnă că vin cu constrângeri care nu se potrivesc bine cu rețelele neuronale.

Programarea lor este, de asemenea, limitată la instrucțiunile care au fost decise cu doi sau trei ani înainte de a fi disponibile. Problema este că rețelele neuronale evoluează mai rapid decât proiectarea ASIC-urilor, iar GPU-urile sunt ASIC-uri. Așadar, este ca și cum ai încerca să previziunezi viitorul: nu este simplu să fii corect. Poți vedea tendințe, dar detaliile sunt cele care afectează realmente rezultatele, cum ar fi performanța. În contrast, deoarece FPGA-urile sunt programabile la nivel de hardware, putem ține mai ușor pasul cu progresul AI. Acest lucru ne permite să oferim un produs mai bun, cu o performanță mai ridicată și să îndeplinim nevoile clienților fără a trebui să așteptăm următoarea generație de siliciu.

În plus, GPU-urile sunt proiectate să fie produse de consum. Durata lor de viață este intenționat scurtă, deoarece companiile care proiectează GPU-uri doresc să vândă altele noi după câțiva ani jucătorilor. Acest lucru nu funcționează bine în sistemele electronice care au nevoie de fiabilitate pe termen lung. FPGA-urile sunt proiectate să fie robuste și utilizate 24/7 timp de mulți ani.

Alte avantaje bine cunoscute ale FPGA-urilor includ:

• Există multe opțiuni care pot fi adaptate în zone specifice, cum ar fi prelucrarea rețelelor sau a videourilor
• Funcționează la fel de bine în centrele de date, la marginea rețelei sau în sisteme înglobate
• Nu necesită răcire specială (mult mai puțin răcire cu apă, cum ar fi în cazul GPU-urilor mari)

Un mare dezavantaj este că FPGA-urile sunt greu de programat. Acest lucru necesită cunoștințe specifice. Chiar dacă companiile care vând FPGA-uri au făcut eforturi mari pentru a reduce complexitatea, nu este încă la fel de simplu ca un CPU. În realitate, GPU-urile nu sunt nici ele simple. Dar software-ul care ascunde programarea lor pentru AI face ca această cunoaștere să nu fie necesară. Acesta este problema pe care Mipsology este prima care o rezolvă: eliminarea necesității de a programa sau de a avea cunoștințe despre FPGA pentru calculul AI.

Există limitări curente ale plăcilor FPGA?

Unele plăci FPGA sunt similare cu plăcile GPU. Pot fi conectate la sloturile PCIe ale unui computer. Un avantaj bine cunoscut, pe lângă durata de viață pe care am menționat-o anterior, este că consumul de putere este, de obicei, mai mic decât cel al GPU-urilor. Un altul, mai puțin cunoscut, este că există o selecție mai mare de plăci FPGA decât de plăci GPU. Există mai multe FPGA-uri pentru mai multe piețe, ceea ce duce la mai multe plăci care se potrivesc în diferite domenii ale pieței. Acest lucru înseamnă, pur și simplu, că există mai multe posibilități pentru calcularea rețelelor neuronale, oriunde, la un cost mai mic. GPU-urile sunt mai limitate; se potrivesc în centrele de date, dar nu și în altă parte.

Zebra de la Mipsology este primul accelerator comercial care încorporează plăci FPGA pentru a oferi performanță ridicată și ușurință în utilizare. Puteți descrie ce este Zebra?

Pentru cei care sunt familiarizați cu AI și GPU, descrierea cea mai simplă este că Zebra este pentru FPGA ceea ce este Cuda/CuDNN pentru GPU. Este un stivă de software care ascunde complet FPGA-ul în spatele cadrului obișnuit, cum ar fi PyTorch sau TensorFlow. Ne concentrăm în primul rând pe inferența pentru imagini și videouri. Zebra pornește de la o rețea neurală care a fost antrenată, de obicei, în puncte cu virgulă, și fără niciun efort sau instrument propriu, face ca aceasta să ruleze pe orice card bazat pe FPGA. Este la fel de simplu ca: conectați placa FPGA, încărcați driverul, sursa mediului Zebra și lansați aceeași aplicație de inferență ca și cea care rulează pe CPU sau GPU. Avem propria noastră cuantificare care păstrează acuratețea, iar performanța este disponibilă din cutie. Nu există niciun instrument propriu pe care utilizatorul trebuie să-l învețe, și nu durează ore de timp de inginerie pentru a obține un debit ridicat sau o latență scăzută. Acest lucru înseamnă, pur și simplu, tranziții rapide, ceea ce reduce, de asemenea, costurile și timpul de piață.

Care sunt tipurile diferite de aplicații pentru care Zebra este proiectată?

Zebra este un motor de accelerare generic, deci poate accelera calculul pentru orice aplicație care necesită calcularea rețelelor neuronale, cu un focus principal pe imagini și videouri, deoarece nevoile de calcul sunt mai mari pentru acest tip de date. Avem solicitări din piețe foarte diferite, dar toate sunt similare atunci când vine vorba de calcularea rețelelor neuronale. Toate necesită, de obicei, clasificare, segmentare, rezoluție superioară, poziționare a corpului etc.

Deoarece Zebra rulează pe FPGA, orice tip de placă poate fi utilizată. Unele au un debit ridicat și sunt, de obicei, utilizate în centrele de date. Altele sunt mai potrivite pentru utilizare la marginea rețelei sau în sisteme înglobate. Viziunea noastră este că, dacă o placă FPGA se poate potrivi, utilizatorii pot utiliza Zebra pentru a accelera calculele rețelelor neuronale imediat. Și dacă se utilizează GPU-uri sau CPU-uri, Zebra poate înlocui acestea și reduce costurile infrastructurii AI. Majoritatea companiilor cu care vorbim au probleme similare: ar putea dezvolta mai multe aplicații bazate pe AI, dar costul le limitează.

Pentru o companie care dorește să utilizeze Zebra, care este procesul?

Pur și simplu ne anunțați la support@mipsology.com și vă vom ajuta să începeți.

Există altceva pe care ați dori să-l împărtășiți despre Mipsology?

Suntem foarte încurajați de feedback-ul pe care îl primim din partea comunității AI pentru soluția noastră Zebra. În special, ne spun că acesta este probabil cel mai bun accelerator de pe piață. După doar câteva luni, continuăm să adăugăm la o ecologie în creștere de parteneri interesați, inclusiv Xilinx, Dell, Western Digital (WDC ), Avnet, TUL și Advantech, pentru a numi câțiva.

Mi-a plăcut foarte mult să aflu despre această tehnologie revoluționară. Citiitorii care doresc să afle mai multe despre Mipsology ar trebui să viziteze Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g