Krishna Rangasayee, Gründer und CEO von SiMa.ai – Interviewreihe

Krishna Rangasayee ist Gründer und CEO von SiMa.ai. Zuvor war Krishna 18 Jahre lang COO von Groq und bei Xilinx, wo er mehrere leitende Führungspositionen innehatte, darunter Senior Vice President und GM des Gesamtgeschäfts sowie Executive Vice President für den globalen Vertrieb. Während seiner Zeit bei Xilinx steigerte Krishna das Unternehmen auf einen Umsatz von 2.5 Milliarden US-Dollar bei einer Bruttomarge von 70 % und schuf gleichzeitig die Grundlage für mehr als 10 Quartale anhaltendes sequentielles Wachstum und Marktanteilsausweitung. Vor seiner Zeit bei Xilinx hatte er verschiedene technische und geschäftliche Positionen bei Altera Corporation und Cypress Semiconductor inne. Er ist Inhaber von mehr als 25 internationalen Patenten und war Vorstandsmitglied öffentlicher und privater Unternehmen.

Was hat Sie ursprünglich am maschinellen Lernen gereizt?

Ich beschäftige mich seit 20 Jahren mit den Embedded-Edge- und Cloud-Märkten. Ich habe jede Menge Innovationen in der Cloud gesehen, aber nur sehr wenig, was maschinelles Lernen am Rande ermöglicht. Es handelt sich um einen massiv unterversorgten Markt mit einem Volumen von mehr als 40 Milliarden US-Dollar, der seit Jahrzehnten mit alter Technologie überlebt.

Also haben wir etwas in Angriff genommen, was noch niemand zuvor getan hatte: Effortless ML für die eingebettete Kante zu aktivieren.

Könnten Sie die Entstehungsgeschichte von SiMa erzählen?

In meiner über 20-jährigen Karriere habe ich noch nie Architekturinnovationen im Embedded-Edge-Markt miterlebt. Dennoch ist der Bedarf an ML am Embedded Edge in der Cloud und in Elementen des IoT gestiegen. Dies beweist, dass Unternehmen zwar ML am Rande fordern, die Technologie, um dies zu verwirklichen, jedoch zu schwerfällig ist, um tatsächlich zu funktionieren.

Deshalb war es wichtig, die größten Herausforderungen unserer Kunden zu verstehen, bevor SiMa.ai überhaupt mit unserem Design begann. Es war jedoch eine eigene Herausforderung, sie dazu zu bringen, Zeit mit einem Startup in der Frühphase zu verbringen, um aussagekräftiges und offenes Feedback einzuholen. Glücklicherweise konnten das Team und ich unser Netzwerk aus früheren Beziehungen nutzen, um die Vision von SiMa.ai mit den richtigen Zielunternehmen zu festigen.

Wir haben uns mit über 30 Kunden getroffen und zwei grundlegende Fragen gestellt: „Was sind die größten Herausforderungen bei der Skalierung von ML auf den Embedded Edge?“ und „Wie können wir helfen?“ Nach vielen Diskussionen darüber, wie sie die Branche umgestalten wollten, und nachdem wir uns die Herausforderungen angehört hatten, mit denen sie dieses Ziel erreichen wollten, erlangten wir ein tiefes Verständnis für ihre Schwachstellen und entwickelten Ideen, wie wir sie lösen könnten. Diese beinhalten:

• Nutzen Sie die Vorteile von ML ohne steile Lernkurve.
• Bewahrung älterer Anwendungen und zukunftssichere ML-Implementierungen.
• Arbeiten Sie mit einer leistungsstarken Lösung mit geringem Stromverbrauch in einer benutzerfreundlichen Umgebung.

Schnell wurde uns klar, dass wir einen risikomindernden, stufenweisen Ansatz benötigen, um unseren Kunden zu helfen. Als Startup mussten wir etwas so Überzeugendes und Differenzierendes mitbringen. Kein anderes Unternehmen war auf diesen klaren Bedarf eingegangen, daher haben wir uns für diesen Weg entschieden.

SiMa.ai erreichte diese seltene Leistung, indem es von Grund auf die branchenweit erste softwarezentrierte, speziell entwickelte MLSoC-Plattform (Machine Learning System-on-Chip) entwickelte. Durch die Kombination aus Silizium und Software kann maschinelles Lernen nun per Knopfdruck zu eingebetteten Edge-Anwendungen hinzugefügt werden.

Könnten Sie uns Ihre Vision mitteilen, wie maschinelles Lernen alles umgestalten wird, um an der Spitze zu sein?

Die meisten ML-Unternehmen konzentrieren sich auf wachstumsstarke Märkte wie Cloud und autonomes Fahren. Doch es sind Robotik, Drohnen, reibungsloser Einzelhandel, Smart Cities und industrielle Automatisierung, die die neueste ML-Technologie erfordern, um die Effizienz zu verbessern und Kosten zu senken.

Diese wachsenden Sektoren gepaart mit den aktuellen Frustrationen beim Einsatz von ML am Embedded Edge sind der Grund, warum wir glauben, dass die Zeit reif für Chancen ist. SiMa.ai geht dieses Problem auf ganz andere Weise an; Wir wollen eine flächendeckende Akzeptanz Wirklichkeit werden lassen.

Was hat bisher die Skalierung von maschinellem Lernen am Rande verhindert?

Maschinelles Lernen muss sich problemlos in Legacy-Systeme integrieren lassen. Fortune-500-Unternehmen und Startups haben gleichermaßen stark in ihre aktuellen Technologieplattformen investiert, aber die meisten von ihnen werden nicht ihren gesamten Code neu schreiben oder ihre zugrunde liegende Infrastruktur komplett überarbeiten, um ML zu integrieren. Um Risiken zu mindern und gleichzeitig die Vorteile von ML zu nutzen, muss es eine Technologie geben, die eine nahtlose Integration von Legacy-Code zusammen mit ML in ihre Systeme ermöglicht. Dies schafft einen einfachen Weg, diese Systeme zu entwickeln und bereitzustellen, um den Anwendungsanforderungen gerecht zu werden und gleichzeitig die Vorteile der Intelligenz zu nutzen, die maschinelles Lernen mit sich bringt.

Es gibt keine großen Steckdosen, es gibt keinen einzelnen Großkunden, der die Sache bewegen würde, also hatten wir keine andere Wahl, als mehr als tausend Kunden dabei unterstützen zu können, maschinelles Lernen wirklich zu skalieren und ihnen die Erfahrung wirklich zu bieten. Wir haben festgestellt, dass diese Kunden den Wunsch nach ML haben, aber nicht über die Kapazitäten verfügen, Lernerfahrungen zu machen, weil ihnen die internen Kapazitäten zum Aufbau fehlen und sie nicht über die interne grundlegende Wissensbasis verfügen. Sie möchten also das ML-Erlebnis implementieren, dies jedoch ohne die Lernkurve für eingebettete Edge-Lösungen tun, und es stellte sich sehr schnell heraus, dass wir dieses ML-Erlebnis für die Kunden sehr mühelos gestalten müssen.

Wie ist es SiMA möglich, den Stromverbrauch im Vergleich zu Mitbewerbern so drastisch zu senken?

Unser MLSoC ist die zugrunde liegende Engine, die wirklich alles ermöglicht. Es ist wichtig zu unterscheiden, dass wir keinen ML-Beschleuniger bauen. Für die 2 Milliarden Dollar, die in Edge-ML-SoC-Startups investiert wurden, war die Reaktion aller Branchen auf Innovationen ein ML-Beschleunigerblock als Kern oder Chip. Was die Leute nicht erkennen, ist, dass man für die Migration von einem klassischen SoC zu einer ML-Umgebung eine MLSoC-Umgebung benötigt, damit die Leute vom ersten Tag an Legacy-Code ausführen und ihre Fähigkeiten schrittweise und risikomindernd schrittweise in einer ML-Komponente oder eines Tages bereitstellen können Wir führen semantische Segmentierung mit einem klassischen Computer-Vision-Ansatz durch und am nächsten Tag könnten sie es mit einem ML-Ansatz tun, aber auf die eine oder andere Weise geben wir unseren Kunden die Möglichkeit, ihr Problem mithilfe klassischer Computer-Vision nach eigenem Ermessen bereitzustellen und zu unterteilen. klassische ARM-Verarbeitung von Systemen oder eine heterogene ML-Berechnung. Für uns ist ML kein Endprodukt und daher wird ein ML-Beschleuniger allein nicht erfolgreich sein. ML ist eine Fähigkeit und ein Toolkit zusätzlich zu den anderen Tools, die wir unseren Kunden zur Verfügung stellen, sodass sie sie mithilfe einer Knopfdruckmethode erreichen können können ihr Design aus Vorverarbeitung, Nachverarbeitung, Analyse und ML-Beschleunigung auf einer einzigen Plattform iterieren und gleichzeitig die höchste systemweite Anwendungsleistung bei geringstem Stromverbrauch liefern.

Was sind einige der wichtigsten Marktprioritäten für SiMa?

Wir haben mehrere Schlüsselmärkte identifiziert, von denen einige schneller Umsatz erzielen als andere. Am schnellsten erzielen Sie Einnahmen bei Smart Vision, Robotik, Industrie 4.0 und Drohnen. Die Märkte, die aufgrund von Qualifikationen und Standardanforderungen etwas mehr Zeit in Anspruch nehmen, sind Automobil- und Gesundheitsanwendungen. In allen oben genannten Bereichen haben wir durch die Zusammenarbeit mit den besten Spielern jeder Kategorie neue Wege beschritten.

Die Bilderfassung erfolgte im Allgemeinen am Rande, mit Analysen in der Cloud. Welche Vorteile bietet die Umstellung dieser Bereitstellungsstrategie?

Bei Edge-Anwendungen muss die Verarbeitung lokal erfolgen. Bei vielen Anwendungen bleibt nicht genügend Zeit, um die Daten in die Cloud und zurück zu übertragen. ML-Fähigkeiten sind in Edge-Anwendungen von grundlegender Bedeutung, da Entscheidungen in Echtzeit getroffen werden müssen, beispielsweise in Automobilanwendungen und in der Robotik, wo Entscheidungen schnell und effizient verarbeitet werden müssen.

Warum sollten Unternehmen SiMa-Lösungen im Vergleich zu Ihren Mitbewerbern in Betracht ziehen?

Unsere einzigartige Methodik eines softwarezentrierten Ansatzes, gebündelt mit einer vollständigen Hardwarelösung. Wir haben uns auf eine Komplettlösung konzentriert, die das anspricht, was wir gerne „Any“, „10x“ und „Pushbutton“ als den Kern der Kundenprobleme bezeichnen. Die ursprüngliche These des Unternehmens lautet: Man drückt einen Knopf und bekommt ein WOW! Die Erfahrung muss wirklich bis zu einem Punkt abstrahiert werden, an dem Sie Tausende von Entwicklern dazu bringen möchten, sie zu nutzen, aber Sie möchten nicht, dass sie alle ML-Genies sind, Sie möchten nicht, dass sie alle Schicht für Schicht optimieren Bei der manuellen Codierung, um die gewünschte Leistung zu erzielen, möchten Sie, dass sie auf dem höchsten Abstraktionsniveau bleiben und müheloses ML sinnvoll und schnell bereitstellen. Die These, die dahinter steckt, warum wir uns darauf eingelassen haben, war ein sehr starker Zusammenhang mit der Skalierung, da es wirklich ein müheloses ML-Erlebnis sein muss und nicht viel Handgriff und Service-Einsatz erfordert, der der Skalierung im Wege steht.

Wir haben im ersten Jahr mehr als 50 Kunden auf der ganzen Welt besucht und versucht herauszufinden, ob Sie alle ML wollen, es aber nicht einsetzen. Warum? Was steht einem sinnvollen Einsatz von ML im Weg und was ist erforderlich, um ML wirklich in eine skalierbare Bereitstellung zu bringen? Es kommt wirklich auf drei wichtige Säulen des Verständnisses an, wobei die erste „JEDE“ ist. Als Unternehmen müssen wir Probleme angesichts der Breite der Kunden und der Breite der Nutzungsmodelle sowie der Unterschiede zwischen den ML-Netzwerken, den Sensoren, der Bildrate und der Auflösung lösen. Es ist eine sehr heterogene Welt, in der jeder Markt völlig unterschiedliche Front-End-Designs hat und wenn wir wirklich nur einen kleinen Ausschnitt davon nehmen, können wir wirtschaftlich kein Unternehmen aufbauen, wir müssen wirklich einen Trichter schaffen, der in der Lage ist, ein sehr breites Spektrum aufzunehmen Wenn man viele Anwendungsbereiche betrachtet, stellt man sich den Trichter fast wie die Ellis-Insel aller Computer-Vision-Themen vor. Die Leute könnten in Tensorflow sein, sie könnten Python verwenden, sie könnten einen Kamerasensor mit einer Auflösung von 1080 verwenden oder es könnte ein Sensor mit 4K-Auflösung sein, es spielt wirklich keine Rolle, ob wir sie alle homogenisieren und zusammenbringen können, und wenn Sie dies nicht tun Wenn Sie das Frontend so haben, haben Sie kein skalierbares Unternehmen.

Die zweite Säule ist 10x, was bedeutet, dass es auch das Problem gibt, dass Kunden nicht in der Lage sind, abgeleitete Plattformen bereitzustellen und zu erstellen, weil alles ein Neuanfang ist, um ein neues Modell oder eine neue Pipeline aufzubauen. Die zweite Herausforderung besteht zweifellos darin, dass wir als Startup etwas sehr Aufregendes und Überzeugendes bieten müssen, bei dem jeder und jede bereit ist, das Risiko einzugehen, selbst wenn Sie ein Startup sind, das auf einer 10-fachen Leistungsmetrik basiert. Der wichtigste technische Vorteil, auf dessen Lösung wir uns bei Computer-Vision-Problemen konzentrieren, ist die Metrik „Bilder pro Sekunde pro Watt“. Wir müssen unlogischerweise besser sein als alle anderen, um ein oder zwei Generationen voraus zu sein. Deshalb haben wir dies als Teil unseres softwarezentrierten Ansatzes betrachtet. Durch diesen Ansatz wurde eine heterogene Rechenplattform geschaffen, sodass Benutzer die gesamte Computer-Vision-Pipeline in einem einzigen Chip lösen und im Vergleich zu anderen Lösungen eine zehnfache Geschwindigkeit liefern können. Die dritte Säule von Pushbutton basiert auf der Notwendigkeit, ML am eingebetteten Rand auf sinnvolle Weise zu skalieren. ML-Toolketten sind noch in den Kinderschuhen und brechen häufig. Kein einziges Unternehmen hat wirklich ein erstklassiges ML-Softwareerlebnis aufgebaut. Wir haben außerdem erkannt, dass es für den Embedded-Markt wichtig ist, die Komplexität des eingebetteten Codes zu verbergen und ihnen gleichzeitig einen iterativen Prozess zu bieten, mit dem sie ihre Plattformen schnell aktualisieren und optimieren können. Kunden brauchen wirklich ein Erlebnis auf Knopfdruck, das ihnen innerhalb von Minuten statt in Monaten eine Antwort oder eine Lösung gibt, um müheloses ML zu erreichen. Any, 10x und Pushbutton sind die wichtigsten Wertversprechen, die uns wirklich klar gemacht haben, dass wir, wenn wir diese drei Dinge gründlich umsetzen, bei mühelosem ML und der Skalierung von ML am eingebetteten Rand einen echten Durchbruch schaffen werden.

Gibt es noch etwas, das Sie über SiMa mitteilen möchten?

In der frühen Entwicklung der MLSoC-Plattform haben wir die Grenzen von Technologie und Architektur erweitert. Wir haben uns voll und ganz für eine softwarezentrierte Plattform entschieden, was ein völlig neuer Ansatz war, der allen gängigen Meinungen zuwiderlief. Der Weg, es herauszufinden und dann umzusetzen, war hart.

Ein kürzlich erfolgter monumentaler Sieg bestätigt die Stärke und Einzigartigkeit der von uns entwickelten Technologie. SiMa.ai erreichte im April 2023 einen wichtigen Meilenstein, indem es den amtierenden Marktführer in unserer ersten MLPerf-Benchmark-Leistung in der Kategorie „Closed Edge Power“ übertraf. Wir sind stolz darauf, das erste Startup zu sein, das am beliebtesten und anerkanntesten MLPerf-Benchmark der Branche, dem Resnet-50, für unsere Leistung und Leistung teilnimmt und erfolgreiche Ergebnisse erzielt.

Wir begannen mit hohen Zielen und ich bin stolz, sagen zu können, dass diese Vision bis heute unverändert geblieben ist. Unser MLSoC wurde speziell entwickelt, um gegen Branchennormen zu verstoßen und eine revolutionäre ML-Lösung für den Embedded-Edge-Markt bereitzustellen.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen SiMa.ai.