Kirill Solodskih, Mitgründer und CEO von TheStage AI – Interview-Serie

Kirill Solodskih, PhD, ist der Mitgründer und CEO von TheStage AI sowie ein erfahrener AI-Forscher und Unternehmer mit über einem Jahrzehnt Erfahrung in der Optimierung von neuronalen Netzen für reale Geschäftsanwendungen. Im Jahr 2024 gründete er TheStage AI, das 4,5 Millionen Dollar an Finanzierungsmitteln erhielt, um die Automatisierung der Beschleunigung von neuronalen Netzen über jede Hardware-Plattform zu ermöglichen.

Zuvor war Kirill als Teamleiter bei Huawei für die Beschleunigung von AI-Kamera-Anwendungen für Qualcomm (QCOM ) NPUs verantwortlich und trug zur Leistung der P50- und P60-Smartphones bei, wofür er mehrere Patente für seine Innovationen erhielt. Seine Forschungsergebnisse wurden auf führenden Konferenzen wie CVPR und ECCV präsentiert, wo sie Auszeichnungen und branchenweite Anerkennung erhielten. Er moderiert auch einen Podcast über AI-Optimierung und Inferenz.

Was hat Sie dazu inspiriert, TheStage AI mitzubegründen, und wie sind Sie von der akademischen Forschung zur Gründung eines Startups für Inferenz-Optimierung gelangt?

Die Grundlagen für das, was schließlich TheStage AI wurde, begannen mit meiner Arbeit bei Huawei, wo ich tief in die Automatisierung von Deployments und die Optimierung von neuronalen Netzen involviert war. Diese Initiativen bildeten die Grundlage für einige unserer bahnbrechenden Innovationen, und dort sah ich die wahre Herausforderung. Ein Modell zu trainieren ist eine Sache, aber es effizient in der realen Welt auszuführen und es den Benutzern zugänglich zu machen, ist eine andere. Die Deployment ist der Flaschenhals, der viele großartige Ideen daran hindert, zum Leben zu erwecken. Um etwas wie ChatGPT so einfach zu verwenden, sind viele Herausforderungen im Hintergrund involviert. Aus technischer Sicht ist die Optimierung von neuronalen Netzen ein schwieriges mathematisches Problem mit viel Raum für Innovation.

Die manuelle Inferenz-Optimierung war lange ein Flaschenhals in der KI. Können Sie erklären, wie TheStage AI diesen Prozess automatisiert und warum es ein Spielveränderer ist?

TheStage AI geht einen großen Flaschenhals in der KI an: die manuelle Komprimierung und Beschleunigung von neuronalen Netzen. Neuronale Netze haben Milliarden von Parametern, und es ist fast unmöglich, herauszufinden, welche davon man entfernen muss, um die Leistung zu verbessern. ANNA (Automated Neural Networks Analyzer) automatisiert diesen Prozess, indem sie bestimmt, welche Schichten von der Optimierung ausgeschlossen werden sollen, ähnlich wie die ZIP-Komprimierung zuerst automatisiert wurde.

Dies ändert das Spiel, indem es die Einführung von KI schneller und erschwinglicher macht. Anstatt auf teure manuelle Prozesse angewiesen zu sein, können Startups Modelle automatisch optimieren. Die Technologie gibt Unternehmen einen klaren Überblick über Leistung und Kosten, was Effizienz und Skalierbarkeit ohne Vermutungen ermöglicht.

TheStage AI behauptet, die Inferenzkosten um bis zu 5x zu senken — was macht Ihre Optimierungstechnologie so effektiv im Vergleich zu herkömmlichen Methoden?

TheStage AI reduziert die Ausgabekosten um bis zu 5x mit einem Optimierungsansatz, der über herkömmliche Methoden hinausgeht. Anstatt dem gesamten neuronalen Netzwerk denselben Algorithmus anzuwenden, teilt ANNA es in kleinere Schichten auf und entscheidet, welchen Algorithmus für jeden Teil anzuwenden ist, um die gewünschte Komprimierung bei gleichzeitiger Maximierung der Modellqualität zu erreichen. Durch die Kombination intelligenter mathematischer Heuristiken mit effizienten Approximationen ist unser Ansatz hoch skalierbar und macht die Einführung von KI für Unternehmen aller Größen einfacher. Wir integrieren auch flexible Compiler-Einstellungen, um Netze für spezifische Hardware wie iPhones oder NVIDIA-GPUs zu optimieren. Dies gibt uns mehr Kontrolle, um die Leistung zu fein abzustimmen und die Geschwindigkeit ohne Qualitätsverlust zu erhöhen.

Wie vergleicht sich die Inferenz-Beschleunigung von TheStage AI mit dem nativen PyTorch-Compiler, und welche Vorteile bietet sie KI-Entwicklern?

TheStage AI beschleunigt die Ausgabe weit über den nativen PyTorch-Compiler hinaus. PyTorch verwendet eine “just-in-time”-Kompilierungsmethode, die das Modell jedes Mal kompiliert, wenn es ausgeführt wird. Dies führt zu langen Startzeiten, manchmal Minuten oder sogar länger. In skalierbaren Umgebungen kann dies Ineffizienzen erzeugen, insbesondere wenn neue GPUs online geschaltet werden müssen, um die erhöhte Benutzerlast zu bewältigen, was zu Verzögerungen führt, die die Benutzererfahrung beeinträchtigen.

Im Gegensatz dazu ermöglicht TheStage AI, dass Modelle vorab kompiliert werden, sodass sie, sobald ein Modell bereit ist, sofort bereitgestellt werden kann. Dies führt zu schnelleren Rollouts, verbesserter Diensteffizienz und Kosteneinsparungen. Entwickler können KI-Modelle schneller bereitstellen und skalieren, ohne die Flaschenhälse traditioneller Kompilierung, was es effizienter und reaktionsfähiger für Hochleistungsanwendungen macht.

Können Sie mehr über das QLIP-Toolkit von TheStage AI erzählen und wie es die Modellleistung verbessert, während die Qualität beibehalten wird?

QLIP, das Toolkit von TheStage AI, ist eine Python-Bibliothek, die eine wesentliche Sammlung von Primitiven für den schnellen Aufbau neuer Optimierungsalgorithmen bietet, die auf verschiedene Hardware wie GPUs und NPUs zugeschnitten sind. Das Toolkit umfasst Komponenten wie Quantisierung, Beschneidung, Spezifikation, Kompilierung und Bereitstellung, die alle für die Entwicklung effizienter und skalierbarer KI-Systeme entscheidend sind.

Was QLIP auszeichnet, ist seine Flexibilität. Es ermöglicht KI-Ingenieuren, neue Algorithmen mit nur wenigen Codezeilen zu prototypen und zu implementieren. Zum Beispiel kann ein kürzlich veröffentlichtes Forschungspapier über Quantisierungs-Neuronale-Netzwerke in Minuten in einen funktionierenden Algorithmus umgewandelt werden, indem QLIPs Primitiven verwendet werden. Dies macht es einfach für Entwickler, die neuesten Forschungsergebnisse in ihre Modelle zu integrieren, ohne durch starre Frameworks eingeschränkt zu sein.

Im Gegensatz zu herkömmlichen Open-Source-Frameworks, die Sie auf einen festen Satz von Algorithmen beschränken, ermöglicht QLIP es jedem, neue Optimierungstechniken hinzuzufügen. Diese Anpassungsfähigkeit hilft Teams, auf dem schnelllebigen KI-Landschaft voranzukommen und die Leistung zu verbessern, während sie gleichzeitig Flexibilität für zukünftige Innovationen sicherstellen.

Sie haben zu AI-Quantisierungsframeworks beigetragen, die in Huaweis P50- und P60-Kameras verwendet werden. Wie hat diese Erfahrung Ihre Herangehensweise an die KI-Optimierung geprägt?

Meine Erfahrung bei der Arbeit an AI-Quantisierungsframeworks für Huaweis P50- und P60-Kameras hat mir wertvolle Einblicke in die Optimierung und Skalierung gegeben. Als ich mit PyTorch begann, war die Arbeit mit dem vollständigen Ausführungsgraphen von neuronalen Netzen starr, und Quantisierungs-Algorithmen mussten manuell, Schicht für Schicht, implementiert werden. Bei Huawei baute ich ein Framework, das diesen Prozess automatisierte. Sie geben einfach das Modell ein, und es generiert automatisch den Code für die Quantisierung, wodurch manuelle Arbeit eliminiert wird.

Dies führte mich zu der Erkenntnis, dass die Automatisierung in der KI-Optimierung darum geht, Geschwindigkeit ohne Qualitätsverlust zu ermöglichen. Einer der Algorithmen, den ich entwickelte und patentieren ließ, wurde für Huawei, insbesondere als sie von Kirin-Prozessoren auf Qualcomm umstellen mussten, von entscheidender Bedeutung. Es ermöglichte dem Team, neuronale Netze schnell an Qualcomms Architektur anzupassen, ohne Leistung oder Genauigkeit zu verlieren.

Durch die Automatisierung und Beschleunigung des Prozesses reduzierten wir die Entwicklungszeit von über einem Jahr auf nur wenige Monate. Dies hatte einen enormen Einfluss auf ein Produkt, das von Millionen genutzt wird, und prägte meine Herangehensweise an die Optimierung, die auf Geschwindigkeit, Effizienz und minimalem Qualitätsverlust ausgerichtet ist. Das ist die Denkweise, die ich heute bei ANNA verfolge.

Ihre Forschung wurde auf CVPR und ECCV vorgestellt — welche sind einige der wichtigsten Durchbrüche in der KI-Effizienz, auf die Sie am meisten stolz sind?

Wenn man mich nach meinen Errungenschaften in der KI-Effizienz fragt, denke ich immer an unser Papier, das für eine mündliche Präsentation auf der CVPR 2023 ausgewählt wurde. Die Auswahl für eine mündliche Präsentation auf einer solchen Konferenz ist selten, da nur 12 Papiere ausgewählt werden. Dies unterstreicht die Tatsache, dass generative KI normalerweise im Mittelpunkt steht, und unser Papier nahm einen anderen Ansatz, indem es sich auf die mathematische Seite konzentrierte, insbesondere auf die Analyse und Komprimierung von neuronalen Netzen.

Wir entwickelten eine Methode, die es uns ermöglichte, zu verstehen, wie viele Parameter ein neuronales Netzwerk wirklich benötigt, um effizient zu arbeiten. Durch die Anwendung von Techniken aus der Funktionsanalyse und die Umstellung von einer diskreten auf eine kontinuierliche Formulierung konnten wir gute Komprimierungsergebnisse erzielen, während wir die Fähigkeit behielten, diese Änderungen wieder in das Modell zu integrieren. Das Papier stellte auch mehrere neue Algorithmen vor, die von der Gemeinschaft noch nicht verwendet worden waren und weitere Anwendungen fanden.

Dies war eines meiner ersten Papiere auf dem Gebiet der KI, und wichtig war, dass es das Ergebnis unseres Teams war, einschließlich meiner Mitgründer. Es war ein bedeutender Meilenstein für uns alle.

Können Sie erklären, wie Integrale Neuronale Netze (INNs) funktionieren und warum sie eine wichtige Innovation in der Deep Learning sind?

Traditionelle neuronale Netze verwenden feste Matrizen, ähnlich wie Excel-Tabellen, wobei die Größe und Parameter im Voraus festgelegt sind. INNs beschreiben Netze jedoch als kontinuierliche Funktionen, was viel mehr Flexibilität bietet. Stellen Sie sich vor, es wäre wie eine Decke mit Nadeln in verschiedenen Höhen, und dies repräsentiert die kontinuierliche Welle.

Was INNs aufregend macht, ist ihre Fähigkeit, sich dynamisch “zusammenzufassen” oder “auszudehnen”, basierend auf den verfügbaren Ressourcen, ähnlich wie ein analoges Signal in ein digitales Signal umgewandelt wird. Sie können das Netzwerk ohne Qualitätsverlust zusammenfassen, und wenn nötig, kann es wieder erweitert werden, ohne es erneut trainieren zu müssen.

Wir haben dies getestet, und während herkömmliche Komprimierungsmethoden zu erheblichem Qualitätsverlust führen, behalten INNs auch unter extremer Komprimierung eine Qualität, die der ursprünglichen sehr nahe kommt. Die Mathematik dahinter ist unkonventionell für die KI-Gemeinschaft, aber der wahre Wert liegt in ihrer Fähigkeit, solide, praktische Ergebnisse mit minimalem Aufwand zu liefern.

TheStage AI hat an Quantenannealings-Algorithmen gearbeitet — wie sehen Sie die Rolle der Quantencomputer in der KI-Optimierung in naher Zukunft?

Wenn es um Quantencomputer und ihre Rolle in der KI-Optimierung geht, ist der Schlüsselpunkt, dass Quantensysteme einen völlig anderen Ansatz zur Lösung von Problemen wie der Optimierung bieten. Wir haben nicht die Quantenannealings-Algorithmen von Grund auf neu erfunden, sondern Unternehmen wie D-Wave bieten Python-Bibliotheken an, um Quantenalgorithmen speziell für diskrete Optimierungsaufgaben zu erstellen, die ideal für Quantencomputer sind.

Die Idee hier ist, dass wir kein neuronales Netzwerk direkt in einen Quantencomputer laden. Das ist mit der aktuellen Architektur nicht möglich. Stattdessen approximieren wir, wie neuronale Netze unter verschiedenen Arten von Degradationen funktionieren, und machen sie so kompatibel, dass ein Quantenchip sie verarbeiten kann.

In der Zukunft könnten Quantensysteme Netze mit einer Präzision optimieren und skalieren, die traditionelle Systeme nur schwer erreichen können. Der Vorteil von Quantensystemen liegt in ihrer inhärenten Parallelität, etwas, das klassische Systeme nur durch zusätzliche Ressourcen simulieren können. Dies bedeutet, dass die Quantencomputer den Optimierungsprozess erheblich beschleunigen könnten, besonders wenn wir herausfinden, wie man größere und komplexere Netze effektiv modelliert.

Das wahre Potenzial liegt darin, Quantencomputer zu verwenden, um massive, komplexe Optimierungsaufgaben zu lösen und Parameter in kleinere, handhabbare Gruppen aufzuteilen. Mit Technologien wie Quanten- und Optikcomputing gibt es riesige Möglichkeiten für die Optimierung von KI, die weit über das hinausgehen, was traditionelle Computer leisten können.

Was ist Ihre langfristige Vision für TheStage AI? Wohin sehen Sie die Inferenz-Optimierung in den nächsten 5-10 Jahren?

Langfristig zielt TheStage AI darauf ab, ein globales Modell-Hub zu werden, wo jeder leicht auf ein optimiertes neuronales Netzwerk mit den gewünschten Eigenschaften zugreifen kann, egal ob für ein Smartphone oder jedes andere Gerät. Das Ziel ist es, ein Drag-and-Drop-Erlebnis zu bieten, bei dem Benutzer ihre Parameter eingeben und das System das Netzwerk automatisch generiert. Wenn das Netzwerk noch nicht existiert, wird es mithilfe von ANNA erstellt.

Unser Ziel ist es, neuronale Netze direkt auf Benutzergeräten laufen zu lassen, wodurch die Kosten um 20 bis 30 Mal gesenkt werden. In der Zukunft könnte dies die Kosten fast vollständig eliminieren, da das Gerät des Benutzers die Berechnung übernehmen würde, anstatt auf Cloud-Server angewiesen zu sein. Dies, kombiniert mit Fortschritten in der Modellkomprimierung und Hardware-Beschleunigung, könnte die KI-Entwicklung erheblich effizienter machen.

Wir planen auch, unsere Technologie mit Hardware-Lösungen wie Sensoren, Chips und Robotik für Anwendungen in Bereichen wie autonomes Fahren und Robotik zu integrieren. Zum Beispiel zielen wir darauf ab, AI-Kameras zu entwickeln, die in jeder Umgebung funktionieren können, sei es im Weltraum oder unter extremen Bedingungen wie Dunkelheit oder Staub. Dies würde KI in einer breiten Palette von Anwendungen nutzbar machen und es uns ermöglichen, maßgeschneiderte Lösungen für spezifische Hardware und Anwendungsfälle zu erstellen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten TheStage AI besuchen.