Ludovic Larzul, Gründer und CEO von Mipsology – Interview Series

Ludovic Larzul. ist Gründer und CEO von Mipsologie, ein bahnbrechendes Startup, das sich auf modernste Beschleunigung für Deep-Learning-Inferenz konzentriert. Sie haben eine Technologie entwickelt, um die Berechnungen neuronaler Inferenznetze zu beschleunigen und den Hardwarebeschleuniger für KI-Benutzer zu verbergen. Zebra von Mipsology ist der erste kommerzielle Beschleuniger, der diese Technologie vereint, um hohe Leistung und Benutzerfreundlichkeit zu bieten.

Was hat Ihr Interesse an KI und Mikrochips geweckt?

Ich habe etwa 20 Jahre lang bei meiner vorherigen Firma EVE an der Entwicklung eines bestimmten Typs von Supercomputern gearbeitet, bevor sie 2012 von Synopsys übernommen wurde. Diese Computer, auch ASIC-Emulatoren genannt, werden von vielen Unternehmen verwendet, die ASICs auf der ganzen Welt entwickeln . Die Komplexität und Vielfalt dieser Arbeit hat mir sehr gut gefallen. Um erfolgreich zu sein, müssen Sie (a) Elektronik, Software, komplexe Algorithmen verstehen, wie Menschen Chips entwerfen und sicherstellen, dass sie einwandfrei funktionieren, Chip-Architektur, Leistung und tiefergehende Technologie, (b) die Bedürfnisse der Kunden richtig vorhersagen einige Jahre im Voraus planen, (c) kontinuierlich Innovationen entwickeln und (d) als Startup die Konkurrenz mit weitaus weniger Ressourcen besiegen. Nach 20 erfolgreichen Jahren war ich auf der Suche nach einer neuen Herausforderung. Zu dieser Zeit rückte die KI wieder ins Rampenlicht. AlexNet hatte beim Verständnis von Bildern einen Sprung nach vorn gemacht (und rückblickend steckte es noch in den Kinderschuhen). Deep Learning war brandneu, aber vielversprechend (Wer erinnert sich, als es Tage dauerte, bis man in einem einfachen Netzwerk ein Ergebnis erhielt?). Ich fand das ziemlich „spaßig“, wusste aber, dass es viele Herausforderungen gab.

Was war die Inspiration für die Gründung von Mipsology?

Ich weiß nicht, ob ich das Wort „Inspiration“ verwenden würde. Anfangs war es eher so: „Können wir etwas machen, das anders und besser wäre?“ Es begann mit Annahmen darüber, was KI-Menschen gerne und tun würden, und die nächsten Jahre wurden damit verbracht, auf dieser Grundlage immer bessere Lösungen zu finden. Ich denke, mehr als Inspiration würde ich sagen, dass die Menschen, mit denen ich zusammenarbeite, gerne die Besten in dem sind, was sie schaffen, und dass sie eine positive Einstellung zum Wettbewerb haben. Das macht ein starkes Team aus, das Probleme lösen kann, die andere nicht ausreichend lösen können.

Mipsology verwendet FPGA-Boards anstelle von GPUs. Können Sie beschreiben, was FPGA sind?

FPGA sind elektronische Komponenten, die auf Hardwareebene programmiert werden können. Man kann es sich als einen Satz Legos vorstellen – ein paar Millionen davon. Jeder kleine Block führt eine einfache Operation wie das Beibehalten eines Werts oder etwas komplexere Operationen wie das Addieren aus. Durch die Gruppierung aller dieser Blöcke ist es möglich, ein bestimmtes Verhalten nach der Herstellung des Chips zu erzeugen. Dies ist das Gegenteil von GPUS und fast allen anderen Chips, die für eine bestimmte Funktion ausgelegt sind und nachträglich nicht geändert werden können.

Einige, wie CPUS und GPUS, können programmiert werden, aber sie sind nicht so parallel wie FPGAs. Zu jedem Zeitpunkt führt ein FPGA einige Millionen einfache Operationen aus. Und das kann sechs- bis siebenhundert Millionen Mal pro Sekunde passieren. Da sie programmierbar sind, kann ihre Funktionsweise jederzeit geändert werden, um sie an unterschiedliche Probleme anzupassen, sodass die außergewöhnliche Rechenleistung effektiv genutzt werden kann. FPGAs gibt es bereits fast überall, einschließlich Basisstationen von Mobiltelefonen, Netzwerken, Satelliten, Autos usw. Die Leute kennen sie jedoch nicht gut, weil sie nicht so sichtbar sind wie eine CPU wie die in Ihrem Laptop.

Was macht diese FPGA-Boards zur überlegenen Lösung gegenüber den gängigeren GPUs?

FPGAs sind in vielerlei Hinsicht überlegen. Konzentrieren wir uns einfach auf ein paar wichtige Punkte.

GPUs sind zum Rendern von Bildern, hauptsächlich für Spiele, konzipiert. Es wurde festgestellt, dass sie aufgrund der Ähnlichkeit der Operationen gut mit einigen Berechnungen in der KI übereinstimmen. Sie sind jedoch nach wie vor in erster Linie auf Spiele ausgerichtet, was bedeutet, dass sie mit Einschränkungen verbunden sind, die nicht gut zu neuronalen Netzen passen.

Auch ihre Programmierung beschränkt sich auf die Anweisungen, die zwei oder drei Jahre vor ihrer Verfügbarkeit beschlossen wurden. Das Problem besteht darin, dass neuronale Netze schneller voranschreiten als das Design von ASICs, und GPUs sind ASICs. Es ist also so, als würde man versuchen, die Zukunft vorherzusagen: Es ist nicht einfach, Recht zu haben. Sie können Trends erkennen, aber es sind die Details, die die Ergebnisse wirklich beeinflussen, wie zum Beispiel die Leistung. Da FPGAs hingegen auf Hardwareebene programmierbar sind, können wir mit dem Fortschritt der KI leichter Schritt halten. Dadurch können wir ein besseres Produkt mit höherer Leistung liefern und die Bedürfnisse des Kunden erfüllen, ohne auf die nächste Siliziumgeneration warten zu müssen.

Darüber hinaus sind GPUs als Verbraucherprodukte konzipiert. Ihre Lebensdauer ist bewusst kurz gehalten, da die Unternehmen, die GPUs entwickeln, einige Jahre später neue GPUs an Gamer verkaufen wollen. Dies funktioniert nicht gut in elektronischen Systemen, die viele Jahre lang zuverlässig sein müssen. FPGAs sind so konzipiert, dass sie robust sind und viele Jahre lang rund um die Uhr eingesetzt werden können.

Weitere bekannte Vorteile von FPGAs sind:

• Es gibt viele Optionen, die in bestimmte Bereiche wie Netzwerk oder Videoverarbeitung passen
• Sie funktionieren sowohl in Rechenzentren als auch am Edge oder eingebettet
• Sie benötigen keine spezielle Kühlung (viel weniger Wasserkühlung wie große GPUs).

Ein großer Nachteil besteht darin, dass FPGAs schwierig zu programmieren sind. Es erfordert spezifische Kenntnisse. Obwohl Unternehmen, die FPGAs verkaufen, große Anstrengungen unternommen haben, um die Komplexitätslücke zu schließen, ist es immer noch nicht so einfach wie eine CPU. Tatsächlich sind GPUs auch nicht einfach. Aber die Software, die ihre Programmierung für KI verbirgt, macht dieses Wissen unnötig. Das ist das Problem, das Mipsology als erster löst: Es ist nicht mehr erforderlich, dass KI-Computer FPGA programmieren oder Kenntnisse darüber haben müssen.

Gibt es derzeit Einschränkungen für FPGA-Boards?

Einige FPGA-Karten ähneln einigen GPU-Karten. Sie können in die PCIe-Steckplätze eines Computers eingesteckt werden. Ein bekannter Vorteil neben der bereits erwähnten Lebensdauer ist, dass der Stromverbrauch normalerweise niedriger ist als bei GPUs. Ein weiterer, weniger bekannter Punkt ist, dass die Auswahl an FPGA-Karten größer ist als an GPU-Karten. Es gibt mehr FPGAs für mehr Märkte, was zu mehr Platinen führt, die in verschiedene Bereiche der Märkte passen. Das bedeutet einfach, dass es überall mehr Möglichkeiten zur Berechnung neuronaler Netze zu geringeren Kosten gibt. GPUs sind eingeschränkter; Sie passen in Rechenzentren, aber sonst nicht viel.

Zebra von Mipsology ist der erste kommerzielle Beschleuniger, der FPGA-Boards verkapselt, um hohe Leistung und Benutzerfreundlichkeit zu bieten. Können Sie beschreiben, was Zebra ist?

Für diejenigen, die mit KI und GPUs vertraut sind, ist die einfachste Beschreibung, dass Zebra für FPGA das ist, was Cuda/CuDNN für GPU ist. Es handelt sich um einen Software-Stack, der das FPGA vollständig hinter üblichen Frameworks wie PyTorch oder TensorFlow verbirgt. Wir zielen hauptsächlich auf Schlussfolgerungen für Bilder und Videos ab. Zebra beginnt mit einem neuronalen Netzwerk, das typischerweise in Gleitkommazahlen trainiert wurde und es ohne manuellen Benutzeraufwand oder proprietäres Tool auf jeder FPGA-basierten Karte ausführen kann. Es ist so einfach wie: Schließen Sie die FPGA-Karte an, laden Sie den Treiber, beziehen Sie die Zebra-Umgebung und starten Sie dieselbe Inferenzanwendung wie die, die auf CPUs oder GPUs ausgeführt wird. Wir verfügen über eine eigene Quantisierung, die die Genauigkeit beibehält, und die Leistung ist sofort einsatzbereit. Es gibt kein proprietäres Tool, das der Benutzer erlernen muss, und es erfordert nicht stundenlange Entwicklungszeit, um einen hohen Durchsatz oder eine niedrige Latenz zu erreichen. Dies bedeutet einfach schnelle Übergänge, was auch Kosten und Markteinführungszeit reduziert.

Für welche verschiedenen Arten von Anwendungen ist Zebra am besten geeignet?

Zebra ist eine sehr generische Beschleunigungs-Engine, sodass sie die Berechnung für jede Anwendung beschleunigen kann, die neuronale Netze berechnen muss, wobei der Schwerpunkt auf Bildern und Videos liegt, da der Rechenbedarf für diese Art von Daten größer ist. Wir haben Anfragen aus sehr unterschiedlichen Märkten, aber alle sind ähnlich, wenn es um die Berechnung der neuronalen Netze geht. Sie alle erfordern typischerweise Klassifizierung, Segmentierung, Superauflösung, Körperpositionierung usw.

Da Zebra auf FPGAs läuft, können alle Arten von Platinen verwendet werden. Einige haben einen hohen Durchsatz und werden typischerweise in Rechenzentren verwendet. Andere eignen sich eher für den Einsatz am Edge oder eingebettet. Unsere Vision ist es, dass Benutzer Zebra verwenden können, um ihre neuronalen Netzwerkberechnungen sofort zu beschleunigen, wenn ein FPGA passt. Und wenn GPUs oder CPUs zum Einsatz kommen, kann Zebra diese ersetzen und die Kosten der KI-Infrastruktur senken. Die meisten Unternehmen, mit denen wir sprechen, haben ähnliche Probleme: Sie könnten mehr KI-basierte Anwendungen bereitstellen, aber die Kosten schränken sie ein.

Wie läuft der Prozess für ein Unternehmen ab, das Zebra nutzen möchte?

Geben Sie uns einfach Bescheid unter [E-Mail geschützt] und wir erleichtern Ihnen den Einstieg.

Gibt es noch etwas, das Sie über Mipsology mitteilen möchten?

Wir freuen uns sehr über das Feedback, das wir von der KI-Community für unsere Zebra-Lösung erhalten. Konkret wird uns gesagt, dass dies wahrscheinlich der beste Beschleuniger auf dem Markt ist. Nach nur wenigen Monaten ergänzen wir weiterhin ein wachsendes Ökosystem interessierter Partner, darunter Xilinx, Dell, Western Digital, Avnet, TUL und Advantech, um nur einige zu nennen.

Es hat mir wirklich Spaß gemacht, etwas über diese bahnbrechende Technologie zu lernen. Leser, die mehr erfahren möchten, sollten vorbeischauen Mipsologie.