Finanzierung
Ludovic Larzul, Gründer und CEO von Mipsology – Interview-Serie
Ludovic Larzul ist der Gründer und CEO von Mipsology, einem bahnbrechenden Startup, das sich auf die state-of-the-art-Beschleunigung für Deep-Learning-Inferenz spezialisiert hat. Sie haben eine Technologie entwickelt, um die Berechnungen von Inferenz-Neural-Netzwerken zu beschleunigen und den Hardware-Accelerator für AI-Anwender zu verbergen. Mipsologys Zebra ist der erste kommerzielle Accelerator, der diese Technologie verkörpert, um hohe Leistung und einfache Bedienung zu bieten.
Was hat Sie initially für KI und Mikrochips interessiert?
Ich habe etwa 20 Jahre lang bei meinem vorherigen Unternehmen EVE an der Entwicklung eines bestimmten Typs von Supercomputern gearbeitet, bevor es 2012 von Synopsys übernommen wurde. Diese Computer, auch ASIC-Emulatoren genannt, werden von vielen Unternehmen verwendet, die ASICs weltweit entwerfen. Ich habe diese Arbeit sehr genossen, da sie eine große Komplexität und Vielfalt aufwies. Um erfolgreich zu sein, muss man (a) Elektronik, Software, komplexe Algorithmen, die Art und Weise, wie Menschen Chips entwerfen, und wie man sicherstellt, dass sie ordnungsgemäß funktionieren, verstehen, (b) die Bedürfnisse der Kunden einige Jahre im Voraus richtig vorhersagen, (c) kontinuierlich innovieren und (d) als Startup den Wettbewerb mit weit weniger Ressourcen besiegen. Nach 20 Jahren des Erfolgs suchte ich nach einer neuen Herausforderung. Zu dieser Zeit begann KI, wieder in den Blickpunkt zu rücken. AlexNet hatte einen großen Sprung bei der Bildverarbeitung gemacht (und im Rückblick war es noch in den Kinderschuhen). Deep Learning war brandneu, aber vielversprechend (Wer erinnert sich noch daran, dass es Tage dauerte, um ein Ergebnis auf einem einfachen Netzwerk zu erhalten?). Ich fand das ziemlich “spaßig”, aber erkannte, dass es viele Herausforderungen gab.
Was war die Inspiration hinter der Gründung von Mipsology?
Ich weiß nicht, ob ich das Wort “Inspiration” verwenden würde. Es war anfangs mehr wie: “Können wir etwas tun, das anders und besser ist?” Es begann mit Annahmen darüber, was AI-Anwender gerne tun würden, und die nächsten paar Jahre wurden damit verbracht, bessere Lösungen auf dieser Grundlage zu finden. Ich denke, dass mehr als Inspiration ich sagen würde, dass die Menschen, mit denen ich arbeite, gerne das Beste in dem tun, was sie erschaffen, in einer positiven Einstellung des Wettbewerbs. Das macht ein starkes Team aus, das Probleme lösen kann, die andere nicht ausreichend lösen.
Mipsology verwendet FPGA-Boards anstelle von GPUs. Können Sie erklären, was FPGA sind?
FPGA sind elektronische Komponenten, die auf Hardware-Ebene programmiert werden können. Man kann sie sich als eine Art Legos vorstellen – ein paar Millionen davon. Jeder kleine Block führt eine einfache Operation aus, wie das Speichern eines Werts oder eine etwas komplexere Operation wie die Addition. Durch die Gruppierung all dieser Blöcke kann ein bestimmtes Verhalten nach der Herstellung des Chips erstellt werden. Dies ist das Gegenteil von GPUs und fast allen anderen Chips, die für eine bestimmte Funktion entworfen und nicht nachträglich geändert werden können.
Einige, wie CPUS und GPUS, können programmiert werden, aber sie sind nicht so parallel wie FPGAs. Zu jedem gegebenen Zeitpunkt führt ein FPGA einige Millionen einfache Operationen aus. Und dies kann sechs- bis siebenhundert Millionen Mal pro Sekunde geschehen. Da sie programmiert werden können, kann das, was sie tun, jederzeit geändert werden, um sich an verschiedene Probleme anzupassen, so dass die außergewöhnliche Rechenleistung effektiv sein kann. FPGAs sind bereits fast überall zu finden, einschließlich Basisstationen von Mobilfunknetzen, Netzen, Satelliten, Autos usw. Die Menschen kennen sie jedoch nicht so gut, weil sie nicht so sichtbar sind wie ein CPU wie der in Ihrem Laptop.
Was macht diese FPGA-Boards zur überlegenen Lösung gegenüber den beliebteren GPUs?
FPGAs sind in vielen Aspekten überlegen. Lassen Sie uns uns auf ein paar wichtige Aspekte konzentrieren.
GPUs sind für die Bildrendering konzipiert, hauptsächlich für Spiele. Sie haben sich als gut geeignet für einige Berechnungen in KI herausgestellt, aufgrund der Ähnlichkeit der Operationen. Sie bleiben jedoch primär für Spiele konzipiert, was bedeutet, dass sie mit Einschränkungen ausgestattet sind, die nicht gut zu neuronalen Netzen passen.
Ihre Programmierung ist auch auf die Anweisungen beschränkt, die zwei oder drei Jahre vor ihrer Verfügbarkeit entschieden wurden. Das Problem ist, dass neuronale Netze sich schneller entwickeln als die Entwicklung von ASICs, und GPUs sind ASICs. Es ist also wie das Vorhersagen der Zukunft: es ist nicht einfach, richtig zu liegen. Man kann Trends erkennen, aber die Details sind es, die die Ergebnisse wirklich beeinflussen, wie die Leistung. Im Gegensatz dazu können wir aufgrund der Programmierbarkeit von FPGAs auf Hardware-Ebene leichter mit dem Fortschritt von KI Schritt halten. Dies ermöglicht es uns, ein besseres Produkt mit höherer Leistung zu liefern und die Bedürfnisse der Kunden zu erfüllen, ohne auf die nächste Silizium-Generation warten zu müssen.
Darüber hinaus sind GPUs als Verbraucherprodukte konzipiert. Ihre Lebensdauer ist absichtlich kurz, da die Unternehmen, die GPUs entwerfen, neue GPUs ein paar Jahre später an Gamer verkaufen wollen. Dies funktioniert nicht gut in elektronischen Systemen, die über viele Jahre hinweg zuverlässig sein müssen. FPGAs sind dafür konzipiert, robust zu sein und 24/7 über viele Jahre hinweg zuverlässig zu sein.
Andere bekannte Vorteile von FPGAs umfassen:
- Es gibt viele Optionen, die in bestimmten Bereichen wie Networking oder Videoverarbeitung passen
- Sie funktionieren genauso gut in Rechenzentren wie am Rand oder in eingebetteten Systemen
- Sie benötigen keine spezielle Kühlung (viel weniger Wasserkühlung wie bei großen GPUs)
Ein großer Nachteil ist, dass FPGAs schwierig zu programmieren sind. Dazu ist spezielles Wissen erforderlich. Obwohl Unternehmen, die FPGAs verkaufen, große Anstrengungen unternommen haben, um die Komplexitätslücke zu überbrücken, ist es immer noch nicht so einfach wie ein CPU. In Wahrheit sind GPUs auch nicht einfach. Aber die Software, die ihre Programmierung für KI versteckt, macht dieses Wissen überflüssig. Das ist das Problem, das Mipsology als Erster löst: die Notwendigkeit, FPGAs für die KI-Berechnung zu programmieren oder Kenntnisse darüber zu haben.
Gibt es derzeit Einschränkungen bei FPGA-Boards?
Einige FPGA-Boards sind wie einige GPU-Boards. Sie können in die PCIe-Slots eines Computers eingesteckt werden. Ein bekannter Vorteil, abgesehen von der Lebensdauer, die ich bereits erwähnt habe, ist, dass der Stromverbrauch typischerweise geringer ist als bei GPUs. Ein weiterer, weniger bekannter Vorteil ist, dass es eine größere Auswahl an FPGA-Boards als GPU-Boards gibt. Es gibt mehr FPGAs für mehr Märkte, was zu mehr Boards führt, die in verschiedenen Bereichen der Märkte passen. Dies bedeutet einfach, dass es mehr Möglichkeiten gibt, neuronale Netze überall mit geringeren Kosten zu berechnen. GPUs sind begrenzter; sie passen in Rechenzentren, aber nicht viel mehr.
Mipsologys Zebra ist der erste kommerzielle Accelerator, der FPGA-Boards verkörpert, um hohe Leistung und einfache Bedienung zu bieten. Können Sie beschreiben, was Zebra ist?
Für diejenigen, die mit KI und GPUs vertraut sind, ist die einfachste Beschreibung, dass Zebra für FPGA das ist, was Cuda/CuDNN für GPU ist. Es ist ein Software-Stack, der den FPGA vollständig hinter üblichen Frameworks wie PyTorch oder TensorFlow versteckt. Wir konzentrieren uns in erster Linie auf Inferenz für Bilder und Videos. Zebra beginnt mit einem neuronalen Netzwerk, das typischerweise in Gleitkomma-Zahlen trainiert wurde, und lässt es ohne manuelle Benutzereingabe oder proprietäre Tools auf jedem FPGA-basierten Board laufen. Es ist so einfach wie: FPGA-Board einstecken, Treiber laden, Zebra-Umgebung quellen und die gleiche Inferenz-Anwendung starten wie die, die auf CPUs oder GPUs läuft. Wir haben unsere eigene Quantisierung, die die Genauigkeit beibehält, und die Leistung ist sofort verfügbar. Es gibt kein proprietäres Tool, das der Benutzer lernen muss, und es dauert nicht Stunden der Ingenieurszeit, um eine hohe Durchsatzleistung oder eine geringe Latenz zu erzielen. Dies bedeutet einfach schnelle Übergänge, die auch die Kosten und die Zeit bis zur Markteinführung reduzieren.
Welche Arten von Anwendungen sind für Zebra am besten geeignet?
Zebra ist ein sehr generischer Accelerator, so dass es die Berechnung für jede Anwendung beschleunigen kann, die neuronale Netze berechnen muss, mit einem primären Fokus auf Bilder und Videos, da die Rechenanforderungen für diese Art von Daten größer sind. Wir haben Anfragen aus sehr unterschiedlichen Märkten, aber sie sind alle ähnlich, wenn es um die Berechnung neuronaler Netze geht. Sie alle erfordern typischerweise Klassifizierung, Segmentierung, Super-Auflösung, Körperpositionierung usw.
Da Zebra auf FPGAs läuft, kann jedes beliebige Board verwendet werden. Einige haben eine hohe Durchsatzleistung und werden typischerweise in Rechenzentren verwendet. Andere sind eher für den Einsatz am Rand oder in eingebetteten Systemen geeignet. Unsere Vision ist, dass, wenn ein FPGA passt, Benutzer Zebra verwenden können, um ihre neuronalen Netzberechnungen sofort zu beschleunigen. Und wenn GPUs oder CPUs verwendet werden, kann Zebra sie ersetzen und die Kosten der KI-Infrastruktur reduzieren. Die meisten Unternehmen, mit denen wir sprechen, haben ähnliche Probleme: Sie könnten mehr KI-basierte Anwendungen bereitstellen, aber die Kosten begrenzen sie.
Wie ist der Prozess für ein Unternehmen, das Zebra verwenden möchte?
Einfach [email protected] kontaktieren und wir werden Sie starten.
Gibt es noch etwas, das Sie über Mipsology teilen möchten?
Wir sind sehr ermutigt durch die Rückmeldungen, die wir von der KI-Gemeinschaft für unsere Zebra-Lösung erhalten. Insbesondere werden wir darüber informiert, dass dies wahrscheinlich der beste Accelerator auf dem Markt ist. Nach nur wenigen Monaten fügen wir kontinuierlich zu einem wachsenden Ökosystem von interessierten Partnern hinzu, darunter Xilinx, Dell, Western Digital, Avnet, TUL und Advantech, um nur einige zu nennen.
Ich habe wirklich Spaß daran, über diese bahnbrechende Technologie zu lernen. Leser, die mehr erfahren möchten, sollten Mipsology besuchen.
