Interviews
Ludovic Larzul, Gründer und CEO von Mipsology – Interview-Serie
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Ludovic Larzul ist der Gründer und CEO von Mipsology, einem bahnbrechenden Startup, das sich auf die Beschleunigung von Deep-Learning-Inferenz spezialisiert hat. Sie haben eine Technologie entwickelt, um die Berechnungen von Inferenz-Neuralnetzen zu beschleunigen und die Hardware-Beschleuniger vor AI-Nutzern zu verbergen. Mipsologys Zebra ist der erste kommerzielle Beschleuniger, der diese Technologie in einem Produkt mit hoher Leistung und einfacher Bedienung verkörpert.
Was hat Sie initially für KI und Mikrochips interessiert?
Ich habe etwa 20 Jahre lang bei meinem vorherigen Unternehmen EVE an der Entwicklung eines bestimmten Typs von Supercomputern gearbeitet, bevor es 2012 von Synopsys übernommen wurde. Diese Computer, auch ASIC-Emulatoren genannt, werden von vielen Unternehmen verwendet, die ASICs entwerfen. Ich habe diese Arbeit sehr genossen, da sie eine große Komplexität und Vielfalt aufwies. Um erfolgreich zu sein, muss man (a) die Elektronik, Software, komplexe Algorithmen, die Art und Weise, wie Menschen Chips entwerfen, und wie man sicherstellt, dass sie ordnungsgemäß funktionieren, verstehen, (b) die Bedürfnisse der Kunden einige Jahre im Voraus richtig vorhersagen, (c) kontinuierlich innovieren und (d) als Startup den Wettbewerb mit weit weniger Ressourcen besiegen. Nach 20 Jahren des Erfolgs suchte ich nach einer neuen Herausforderung. Zu dieser Zeit begann KI wieder, an Bedeutung zu gewinnen. AlexNet hatte einen großen Sprung in der Bildverarbeitung gemacht (und im Rückblick war es noch in den Kinderschuhen). Deep Learning war brandneu, aber vielversprechend (Wer erinnert sich daran, dass es Tage dauerte, um ein Ergebnis in einem einfachen Netzwerk zu erhalten?). Ich fand das sehr “spaßig”, aber erkannte, dass es viele Herausforderungen gab.
Was war die Inspiration hinter der Gründung von Mipsology?
Ich weiß nicht, ob ich das Wort “Inspiration” verwenden würde. Es war anfangs mehr wie: “Können wir etwas tun, das anders und besser ist?” Es begann mit Annahmen darüber, was KI-Leute gerne tun und wie sie vorgehen würden, und die nächsten Jahre wurden damit verbracht, bessere Lösungen basierend darauf zu finden. Ich denke, dass es mehr als Inspiration war, dass die Menschen, mit denen ich arbeite, gerne das Beste in dem tun, was sie erstellen, in einer positiven Einstellung des Wettbewerbs. Das macht ein starkes Team aus, das Probleme lösen kann, die andere nicht ausreichend lösen.
Mipsology verwendet FPGA-Boards anstelle von GPUs. Können Sie erklären, was FPGA sind?
FPGA sind elektronische Komponenten, die auf Hardware-Ebene programmiert werden können. Man kann sie sich als eine Menge von Legos vorstellen – ein paar Millionen davon. Jeder kleine Block führt eine einfache Operation aus, wie das Speichern eines Wertes oder etwas komplexere Operationen wie Addition. Durch die Gruppierung all dieser Blöcke kann man ein bestimmtes Verhalten nach der Herstellung des Chips erstellen. Dies ist das Gegenteil von GPUs und fast allen anderen Chips, die für eine bestimmte Funktion entworfen und nicht mehr geändert werden können.
Einige, wie CPUS und GPUS, können programmiert werden, aber sie sind nicht so parallel wie FPGAs. Zu jedem gegebenen Zeitpunkt führt ein FPGA einige Millionen einfache Operationen aus. Und dies kann sechs- bis siebenhundert Millionen Mal pro Sekunde geschehen. Da sie programmiert werden können, kann das, was sie tun, zu jedem Zeitpunkt geändert werden, um sich an verschiedene Probleme anzupassen, sodass die außergewöhnliche Rechenleistung effektiv sein kann. FPGAs sind fast überall zu finden, einschließlich Basisstationen von Mobilfunknetzen, Netzen, Satelliten, Autos usw. Die Menschen kennen sie jedoch nicht so gut, weil sie nicht so sichtbar sind wie ein CPU wie der in Ihrem Laptop.
Was macht diese FPGA-Boards zur überlegenen Lösung gegenüber den beliebteren GPUs?
FPGAs sind in vielen Aspekten überlegen. Lassen Sie uns uns auf ein paar wichtige Aspekte konzentrieren.
GPUs sind für die Darstellung von Bildern, hauptsächlich für Spiele, entworfen. Sie haben sich als gut geeignet für einige Berechnungen in KI herausgestellt, aufgrund der Ähnlichkeit der Operationen. Sie bleiben jedoch primär für Spiele bestimmt, was bedeutet, dass sie mit Einschränkungen verbunden sind, die nicht gut zu Neuralnetzen passen.
Ihre Programmierung ist auch auf die Anweisungen beschränkt, die zwei oder drei Jahre vor ihrer Verfügbarkeit entschieden wurden. Das Problem ist, dass Neuralnetze schneller voranschreiten als die Entwicklung von ASICs, und GPUs sind ASICs. Es ist also wie das Vorhersagen der Zukunft: es ist nicht einfach, recht zu haben. Man kann Trends erkennen, aber die Details sind es, die die Ergebnisse wirklich beeinflussen, wie die Leistung. Im Gegensatz dazu können wir aufgrund der Programmierbarkeit von FPGAs auf Hardware-Ebene leichter mit dem Fortschritt von KI Schritt halten. Dies ermöglicht es uns, ein besseres Produkt mit höherer Leistung zu liefern und den Bedürfnissen der Kunden ohne zu warten, bis die nächste Silizium-Generation verfügbar ist.
Darüber hinaus sind GPUs als Verbraucherprodukte entworfen. Ihre Lebensdauer ist absichtlich kurz, da die Unternehmen, die GPUs entwerfen, neue verkaufen möchten, um ein paar Jahre später an Gamer zu verkaufen. Dies funktioniert nicht gut in elektronischen Systemen, die zuverlässig über viele Jahre hinweg sein müssen. FPGAs sind dafür entworfen, robust und 24/7 über viele Jahre hinweg zuverlässig zu sein.
Andere bekannte Vorteile von FPGAs sind:
- Es gibt viele Optionen, die in bestimmten Bereichen wie Networking oder Videoverarbeitung passen
- Sie funktionieren genauso gut in Rechenzentren wie am Rand oder in eingebetteten Systemen
- Sie benötigen keine spezielle Kühlung (viel weniger Wasserkühlung wie große GPUs)
Ein großer Nachteil ist, dass FPGAs schwierig zu programmieren sind. Es erfordert spezielle Kenntnisse. Obwohl Unternehmen, die FPGAs verkaufen, großen Aufwand in die Überbrückung der Komplexitätslücke investiert haben, ist es immer noch nicht so einfach wie ein CPU. In Wirklichkeit sind GPUs auch nicht einfach. Aber die Software, die ihre Programmierung für KI versteckt, macht diese Kenntnisse überflüssig. Das ist das Problem, das Mipsology als Erster löst: die Notwendigkeit, für KI-Rechnungen FPGAs zu programmieren oder Kenntnisse darüber zu haben, zu beseitigen.
Gibt es derzeit Einschränkungen bei FPGA-Boards?
Einige FPGA-Boards sind wie einige GPU-Boards. Sie können in die PCIe-Slots eines Computers eingesteckt werden. Ein bekannter Vorteil, abgesehen von der Lebensdauer, die ich vorher erwähnt habe, ist, dass der Stromverbrauch typischerweise geringer ist als bei GPUs. Ein weiterer, weniger bekannter Vorteil ist, dass es eine größere Auswahl an FPGA-Boards als GPU-Boards gibt. Es gibt mehr FPGAs für mehr Märkte, was zu mehr Boards führt, die in verschiedenen Bereichen der Märkte passen. Dies bedeutet einfach, dass es mehr Möglichkeiten gibt, Neuralnetze überall mit geringeren Kosten zu berechnen. GPUs sind begrenzter; sie passen in Rechenzentren, aber nicht viel mehr.
Mipsologys Zebra ist der erste kommerzielle Beschleuniger, der FPGA-Boards in einem Produkt mit hoher Leistung und einfacher Bedienung verkörpert. Können Sie Zebra beschreiben?
Für diejenigen, die mit KI und GPUs vertraut sind, ist die einfachste Beschreibung, dass Zebra für FPGA das ist, was Cuda/CuDNN für GPU ist. Es ist ein Software-Stack, der den FPGA vollständig hinter üblichen Frameworks wie PyTorch oder TensorFlow versteckt. Wir konzentrieren uns in erster Linie auf Inferenz für Bilder und Videos. Zebra beginnt mit einem Neuralnetz, das typischerweise in Gleitkommazahlen trainiert wurde, und ohne manuelle Benutzereingabe oder proprietäre Tools wird es auf jedem FPGA-basierten Board ausgeführt. Es ist so einfach wie: FPGA-Board einstecken, Treiber laden, Zebra-Umgebung quellen und dieselbe Inferenz-Anwendung wie die, die auf CPUs oder GPUs läuft, starten. Wir haben unsere eigene Quantisierung, die die Genauigkeit beibehält, und die Leistung ist sofort verfügbar. Es gibt kein proprietäres Tool, das der Benutzer lernen muss, und es dauert nicht Stunden der Ingenieurszeit, um eine hohe Durchsatzleistung oder geringe Latenz zu erzielen. Dies bedeutet einfach schnelle Übergänge, was auch die Kosten und die Zeit bis zur Markteinführung reduziert.
Welche Arten von Anwendungen sind für Zebra am besten geeignet?
Zebra ist ein sehr generischer Beschleunigungs-Engine, sodass es die Berechnung für jede Anwendung beschleunigen kann, die Neuralnetze berechnen muss, mit einem primären Fokus auf Bilder und Videos, da die Rechenanforderungen für diese Art von Daten größer sind. Wir haben Anfragen aus sehr unterschiedlichen Märkten, aber sie sind alle ähnlich, wenn es um die Berechnung von Neuralnetzen geht. Sie erfordern alle typischerweise Klassifizierung, Segmentierung, Super-Auflösung, Körperpositionierung usw.
Da Zebra auf FPGAs läuft, können alle Arten von Boards verwendet werden. Einige haben eine hohe Durchsatzleistung und werden typischerweise in Rechenzentren verwendet. Andere sind eher für den Einsatz am Rand oder in eingebetteten Systemen geeignet. Unsere Vision ist, dass, wenn ein FPGA passt, Benutzer Zebra verwenden können, um ihre Neuralnetz-Berechnungen sofort zu beschleunigen. Und wenn GPUs oder CPUs verwendet werden, kann Zebra sie ersetzen und die Kosten der KI-Infrastruktur reduzieren. Die meisten Unternehmen, mit denen wir sprechen, haben ähnliche Probleme: Sie könnten mehr KI-basierte Anwendungen bereitstellen, aber die Kosten begrenzen sie.
Wie kann ein Unternehmen Zebra verwenden?
Einfach uns unter support@mipsology.com kontaktieren und wir werden Sie starten.
Gibt es noch etwas, das Sie über Mipsology teilen möchten?
Wir sind sehr ermutigt durch die Rückmeldungen, die wir von der KI-Gemeinschaft für unsere Zebra-Lösung erhalten. Insbesondere werden uns gesagt, dass dies wahrscheinlich der beste Beschleuniger auf dem Markt ist. Nach nur wenigen Monaten fügen wir kontinuierlich zu einem wachsenden Ökosystem von interessierten Partnern hinzu, darunter Xilinx, Dell, Western Digital (WDC ), Avnet, TUL und Advantech, um nur einige zu nennen.
Ich habe wirklich Spaß daran, mehr über diese bahnbrechende Technologie zu erfahren. Leser, die mehr erfahren möchten, sollten Mipsology besuchen.
