Neetu Pathak, Mitgründerin und CEO von Skymel – Interview-Serie

Neetu Pathak, Mitgründerin und CEO von Skymel, leitet das Unternehmen bei der Revolutionierung der AI-Inferenz mit ihrer innovativen NeuroSplit™-Technologie. Zusammen mit CTO Sushant Tripathy treibt sie die Mission von Skymel voran, die Leistung von AI-Anwendungen zu verbessern und die Rechenkosten zu reduzieren.

NeuroSplit™ ist eine adaptive Inferenztechnologie, die AI-Workloads dynamisch zwischen Endgeräten und Cloud-Servern verteilt. Dieser Ansatz nutzt die ungenutzten Rechenressourcen auf Benutzergeräten, reduziert die Cloud-Infrastrukturkosten um bis zu 60%, beschleunigt die Inferenzgeschwindigkeit, gewährleistet die Datensicherheit und ermöglicht eine nahtlose Skalierbarkeit.

Indem NeuroSplit die lokale Rechenleistung optimiert, ermöglicht es AI-Anwendungen, auch auf älteren GPUs effizient zu laufen, was die Kosten erheblich senkt und die Benutzererfahrung verbessert.

Was hat Sie dazu inspiriert, Skymel mitzubegründen, und welche Herausforderungen in der AI-Infrastruktur wollten Sie mit NeuroSplit lösen?

Die Inspiration für Skymel kam aus der Konvergenz unserer komplementären Erfahrungen. Während seiner Zeit bei Google (GOOGL ) entdeckte mein Mitgründer Sushant Tripathy, dass es eine enorme Menge an ungenutzten Rechenressourcen auf Endgeräten gab, aber die meisten Unternehmen diese Ressourcen nicht effektiv nutzen konnten, da sie komplexe technische Herausforderungen darstellten, ohne die Benutzererfahrung zu beeinträchtigen.

Während meiner Zeit bei Redis erlangte ich tiefere Einblicke in die Bedeutung von Latenz für Unternehmen. Als AI-Anwendungen immer häufiger wurden, wurde klar, dass wir die Verarbeitung näher an die Stelle bringen mussten, an der die Daten erstellt wurden, anstatt sie ständig zu Rechenzentren zu übertragen.

Das war der Moment, als Sushant und ich erkannten, dass die Zukunft nicht darin bestand, zwischen lokaler oder Cloud-Verarbeitung zu wählen, sondern darin, eine intelligente Technologie zu schaffen, die sich nahtlos zwischen lokaler, Cloud- oder Hybrid-Verarbeitung anpassen konnte, basierend auf jedem spezifischen Inferenzanfrage. Diese Erkenntnis führte uns dazu, Skymel zu gründen und NeuroSplit zu entwickeln, um die traditionellen Infrastruktur-Einschränkungen zu überwinden, die die AI-Innovation behinderten.

Können Sie erklären, wie NeuroSplit Compute-Ressourcen dynamisch optimiert, während es die Benutzersicherheit und -leistung aufrechterhält?

Einer der größten Nachteile der lokalen AI-Inferenz war ihre statische Compute-Anforderung – traditionell erforderte die Ausführung eines AI-Modells die gleichen Rechenressourcen, unabhängig von den Gerätebedingungen oder dem Benutzerverhalten. Dieser einheitliche Ansatz ignorierte die Realität, dass Geräte unterschiedliche Hardware-Fähigkeiten haben, von verschiedenen Chips (GPU, NPU, CPU, XPU) bis hin zu unterschiedlichen Netzwerkbandbreiten, und dass Benutzer unterschiedliches Verhalten haben, wie z.B. die Anzahl der laufenden Anwendungen und die Gerätenutzungsmuster.

NeuroSplit überwacht kontinuierlich verschiedene Geräte-Telemetrie – von Hardware-Fähigkeiten bis hin zu aktuellen Ressourcennutzung, Batteriezustand und Netzwerkbedingungen. Wir berücksichtigen auch Benutzerverhaltensmuster, wie z.B. die Anzahl der laufenden Anwendungen und die typischen Gerätenutzungsmuster. Diese umfassende Überwachung ermöglicht es NeuroSplit, dynamisch zu bestimmen, wie viel Inferenz-Compute auf dem Endgerät des Benutzers sicher ausgeführt werden kann, während es die wichtigsten Leistungsindikatoren der Entwickler optimiert.

Wenn Datensicherheit von größter Bedeutung ist, stellt NeuroSplit sicher, dass rohe Daten das Gerät nie verlassen, sondern stattdessen lokale Verarbeitung durchführen, während es gleichzeitig die optimale Leistung aufrechterhält. Unsere Fähigkeit, AI-Modelle intelligent zu teilen, zu kürzen oder zu trennen, ermöglicht es uns, 50-100 AI-Stub-Modelle im Speicherplatz von nur einem quantifizierten Modell auf einem Endgerät unterzubringen. In der Praxis bedeutet dies, dass Benutzer erheblich mehr AI-gesteuerte Anwendungen gleichzeitig ausführen können, sensible Daten lokal verarbeiten und im Vergleich zu traditionellen statischen Rechenansätzen.

Was sind die Hauptvorteile von NeuroSplits adaptiver Inferenz für AI-Unternehmen, insbesondere für diejenigen, die mit älterer GPU-Technologie arbeiten?

NeuroSplit bietet drei transformative Vorteile für AI-Unternehmen. Erstens reduziert es die Infrastrukturkosten dramatisch durch zwei Mechanismen: Unternehmen können ältere, günstigere GPUs effektiv nutzen, und unsere einzigartige Fähigkeit, sowohl vollständige als auch Stub-Modelle auf Cloud-GPUs unterzubringen, ermöglicht es, die GPU-Auslastung erheblich zu erhöhen. Zum Beispiel kann eine Anwendung, die normalerweise mehrere NVIDIA (NVDA ) A100s zu 2,74 $ pro Stunde erfordert, jetzt auf einem einzigen A100 oder mehreren V100s zu nur 0,83 $ pro Stunde ausgeführt werden.

Zweitens verbessert es die Leistung erheblich, indem es die ursprünglichen Rohdaten direkt auf den Benutzergeräten verarbeitet. Dies bedeutet, dass die Daten, die letztendlich in die Cloud übertragen werden, erheblich kleiner sind, was die Netzwerklatenz reduziert, während die Genauigkeit aufrechterhalten wird. Dieser hybride Ansatz bietet Unternehmen das Beste aus beiden Welten – die Geschwindigkeit der lokalen Verarbeitung mit der Leistung der Cloud-Computing.

Drittens hilft es Unternehmen, starke Benutzersicherheitsmaßnahmen aufrechtzuerhalten, ohne die Leistung zu beeinträchtigen, indem es die sensible anfängliche Datenverarbeitung auf dem Endgerät des Benutzers durchführt. Dies ist immer wichtiger, da Datenschutzbestimmungen strenger werden und Benutzer datenschutzbewusster werden.

Wie reduziert Skymels Lösung die Kosten für AI-Inferenz, ohne die Modellkomplexität oder -genauigkeit zu beeinträchtigen?

Erstens teilen wir einzelne AI-Modelle auf, um die Berechnung zwischen den Benutzergeräten und der Cloud zu verteilen. Der erste Teil läuft auf dem Gerät des Benutzers, verarbeitet 5% bis 100% der gesamten Berechnung, abhängig von den verfügbaren Geräteressourcen. Nur die verbleibende Berechnung muss auf Cloud-GPUs verarbeitet werden.

Diese Aufteilung bedeutet, dass Cloud-GPUs eine reduzierte Rechenlast haben – wenn ein Modell ursprünglich eine vollständige A100-GPU erforderte, benötigt die gleiche Workload nach der Aufteilung möglicherweise nur 30-40% der Kapazität der GPU. Dies ermöglicht es Unternehmen, kostengünstigere GPU-Instanzen wie die V100 zu verwenden.

Zweitens optimiert NeuroSplit die GPU-Auslastung in der Cloud. Durch die effiziente Anordnung von vollständigen Modellen und Stub-Modellen (den verbleibenden Teilen von geteilten Modellen) auf der gleichen Cloud-GPU erreichen wir eine erheblich höhere Auslastung im Vergleich zu traditionellen Ansätzen. Dies bedeutet, dass mehr Modelle gleichzeitig auf der gleichen Cloud-GPU ausgeführt werden können, was die Kosten pro Inferenz weiter reduziert.

Was unterscheidet Skymels hybriden (lokal + Cloud)-Ansatz von anderen AI-Infrastrukturlösungen auf dem Markt?

Die AI-Landschaft befindet sich an einem faszinierenden Wendepunkt. Während Apple (AAPL ), Samsung und Qualcomm (QCOM ) die Macht von Hybrid-AI durch ihre Ökosystem-Features demonstrieren, bleiben diese in abgeschlossenen Gärten. Aber AI sollte nicht durch das Endgerät eingeschränkt werden, das jemand zufällig verwendet.

NeuroSplit ist fundamental geräteunabhängig, cloudunabhängig und neuralen Netzwerken unabhängig. Dies bedeutet, dass Entwickler endlich konsistente AI-Erlebnisse unabhängig davon liefern können, ob ihre Benutzer ein iPhone, ein Android-Gerät oder einen Laptop verwenden – oder ob sie AWS, Azure oder Google Cloud verwenden.

Denken Sie darüber nach, was dies für Entwickler bedeutet. Sie können ihre AI-Anwendung einmal bauen und wissen, dass sie intelligent über jedes Gerät, jede Cloud und jedes neuronale Netzwerkarchitektur adaptiert. Keine Notwendigkeit, unterschiedliche Versionen für verschiedene Plattformen zu erstellen oder Funktionen basierend auf Gerätefähigkeiten zu kompromittieren.

Wir bringen Unternehmensgrade-Hybrid-AI-Fähigkeiten aus abgeschlossenen Gärten und machen sie universell zugänglich. Wenn AI zu jedem Anwendungsbereich wird, ist diese Art von Flexibilität und Konsistenz nicht nur ein Vorteil – sie ist für die Innovation unerlässlich.

Wie ergänzt der Orchestrator-Agent NeuroSplit, und welche Rolle spielt er bei der Umgestaltung von AI-Entwicklungsstrategien?

Der Orchestrator-Agent (OA) und NeuroSplit arbeiten zusammen, um ein selbstoptimierendes AI-Entwicklungssystem zu schaffen:

1. Entwickler legen die Grenzen fest:

• Einschränkungen: erlaubte Modelle, Versionen, Cloud-Anbieter, Zonen, Compliance-Regeln
• Ziele: Ziel-Latenz, Kostenlimits, Leistungsanforderungen, Datenschutzbedürfnisse

2. OA arbeitet innerhalb dieser Einschränkungen, um die Ziele zu erreichen:

• Entscheidet, welche Modelle/APIs für jede Anfrage verwendet werden sollen
• Passt die Entwicklungsstrategie an die tatsächliche Leistung an
• Treibt Kompromisse voran, um die festgelegten Ziele zu optimieren
• Kann sofort neu konfiguriert werden, wenn sich die Anforderungen ändern

3. NeuroSplit führt die Entscheidungen des OA aus:

• Verwendet Echtzeit-Geräte-Telemetrie, um die Ausführung zu optimieren
• Teilt die Verarbeitung zwischen Gerät und Cloud auf, wenn dies vorteilhaft ist
• Stellt sicher, dass jede Inferenz unter den aktuellen Bedingungen optimal ausgeführt wird

Es ist wie ein AI-System, das sich autonom innerhalb der festgelegten Regeln und Ziele optimiert, anstatt eine manuelle Optimierung für jeden Szenario zu erfordern.

Wie wird der Orchestrator-Agent Ihrer Meinung nach die Art und Weise verändern, wie AI in verschiedenen Branchen eingesetzt wird?

Er löst drei kritische Herausforderungen, die die AI-Adoption und -Innovation behindert haben.

Erstens ermöglicht es Unternehmen, mit den neuesten AI-Fortschritten Schritt zu halten, ohne ihre Infrastruktur neu aufzubauen. Mit dem Orchestrator-Agent können Sie sofort die neuesten Modelle und Techniken nutzen, ohne Ihre Infrastruktur umzubauen. Dies ist ein erheblicher Wettbewerbsvorteil in einer Welt, in der die AI-Innovation mit atemberaubender Geschwindigkeit voranschreitet.

Zweitens ermöglicht es die dynamische, pro-Anfrage-Optimierung der AI-Modellauswahl. Der Orchestrator-Agent kann intelligent Modelle aus dem riesigen Ökosystem von Optionen auswählen, um die besten möglichen Ergebnisse für jede Benutzerinteraktion zu liefern. Zum Beispiel könnte ein Kundenservice-AI ein spezialisiertes Modell für technische Fragen und ein anderes Modell für Abrechnungsanfragen verwenden, um bessere Ergebnisse für jeden Interaktionstyp zu liefern.

Drittens maximiert es die Leistung, während es die Kosten minimiert. Der Agent balanciert automatisch zwischen der Ausführung von AI auf dem Benutzergerät oder in der Cloud, basierend auf dem, was in diesem Moment am sinnvollsten ist. Wenn Datenschutz wichtig ist, verarbeitet es die Daten lokal. Wenn zusätzliche Rechenleistung erforderlich ist, nutzt es die Cloud. All dies geschieht im Hintergrund, um ein reibungsloses Erlebnis für die Benutzer zu schaffen, während es die Ressourcen für Unternehmen optimiert.

Aber was den Orchestrator-Agent wirklich auszeichnet, ist die Möglichkeit, Unternehmen zu ermöglichen, nächste Generationen von hyperpersonalisierten Erlebnissen für ihre Benutzer zu schaffen. Nehmen Sie ein E-Learning-Plattform – mit unserer Technologie können sie ein System aufbauen, das automatisch die Lehrmethode an die aktuelle Verständnisebene jedes Schülers anpasst. Wenn ein Benutzer nach “Machine Learning” sucht, zeigt das System nicht nur allgemeine Ergebnisse an – es kann sofort die aktuelle Verständnisebene des Benutzers bewerten und die Erklärungen anhand von Konzepten anpassen, die der Benutzer bereits kennt.

Letztendlich repräsentiert der Orchestrator-Agent die Zukunft der AI-Entwicklung – einen Wechsel von statischer, monolithischer AI-Infrastruktur zu dynamischer, adaptiver, selbstoptimierender AI-Orchestrierung. Es geht nicht nur darum, die AI-Entwicklung zu erleichtern – es geht darum, ganz neue Klassen von AI-Anwendungen zu ermöglichen.

Welche Art von Feedback haben Sie bisher von Unternehmen erhalten, die an der privaten Beta-Version des Orchestrator-Agents teilgenommen haben?

Das Feedback von unseren privaten Beta-Teilnehmern war großartig! Unternehmen sind begeistert, dass sie endlich von Infrastruktur-Verbindungen befreit werden können, ob es sich um proprietäre Modelle oder Hosting-Dienste handelt. Die Fähigkeit, jede Entwicklungsentscheidung zukunftssicher zu machen, war ein Game-Changer, der die gefürchteten Monate der Neukonfiguration eliminierte, wenn man den Ansatz wechselte.

Unsere NeuroSplit-Leistungsresultate waren nichts kurz von bemerkenswert – wir können es kaum erwarten, die Daten bald öffentlich zu teilen. Was besonders aufregend ist, ist, wie das Konzept der adaptiven AI-Entwicklung die Vorstellungskraft der Menschen beflügelt hat. Die Tatsache, dass AI sich selbst deployt, klingt futuristisch und nicht etwas, das sie jetzt erwartet haben, also sind die Menschen aufgrund der technologischen Fortschritte und der neuen Märkte, die es in der Zukunft schaffen könnte, aufgeregt.

Angesichts der schnellen Fortschritte im Bereich der generativen AI, was sehen Sie als die nächsten großen Hürden für die AI-Infrastruktur und wie plant Skymel, sie zu überwinden?

Wir steuern auf eine Zukunft zu, die die meisten Menschen noch nicht vollständig erfasst haben: Es wird nicht nur ein dominantes AI-Modell geben, sondern Milliarden davon. Selbst wenn wir das leistungsstärkste allgemeine AI-Modell vorstellbar schaffen, benötigen wir immer noch personalisierte Versionen für jeden Menschen auf der Erde, angepasst an die individuellen Kontexte, Vorlieben und Bedürfnisse. Das bedeutet mindestens 8 Milliarden Modelle, basierend auf der Weltbevölkerung.

Das markiert einen revolutionären Wechsel von dem heutigen einheitlichen Ansatz. Die Zukunft erfordert intelligente Infrastruktur, die Milliarden von Modellen bewältigen kann. Bei Skymel bauen wir nicht nur die Lösungen für die heutigen Entwicklungsprobleme, sondern unsere Technologie-Roadmap baut bereits die Grundlage für das, was als Nächstes kommt.

Wie stellen Sie sich die Entwicklung der AI-Infrastruktur in den nächsten fünf Jahren vor, und welche Rolle sehen Sie Skymel in dieser Entwicklung?

Die AI-Infrastruktur-Landschaft wird in den nächsten fünf Jahren eine grundlegende Veränderung erfahren. Während heute der Fokus auf der Skalierung von großen Sprachmodellen in der Cloud liegt, werden die nächsten fünf Jahre AI zu einem tief personalisierten und kontextbewussten Bereich machen. Dies ist nicht nur eine Feinabstimmung – es ist AI, die sich in Echtzeit an bestimmte Benutzer, Geräte und Situationen anpasst.

Diese Veränderung schafft zwei große Infrastruktur-Herausforderungen. Erstens wird der traditionelle Ansatz, alles in zentralisierten Rechenzentren auszuführen, technisch und wirtschaftlich untragbar. Zweitens bedeutet die zunehmende Komplexität von AI-Anwendungen, dass wir Infrastruktur benötigen, die dynamisch über mehrere Modelle, Geräte und Rechenstandorte optimieren kann.

Bei Skymel bauen wir Infrastruktur, die genau diese Herausforderungen angeht. Unsere Technologie ermöglicht es AI, an dem Ort zu laufen, an dem es am meisten Sinn ergibt – sei es auf dem Gerät, auf dem die Daten generiert werden, in der Cloud, wo mehr Rechenleistung verfügbar ist, oder intelligent zwischen beiden aufgeteilt. Wichtiger noch, passt es diese Entscheidungen in Echtzeit an die sich ändernden Bedingungen und Anforderungen an.

Wenn man in die Zukunft blickt, werden erfolgreiche AI-Anwendungen nicht durch die Größe ihrer Modelle oder die Menge an Rechenleistung, die sie nutzen, definiert. Sie werden durch ihre Fähigkeit definiert, personalisierte, responsive Erlebnisse zu liefern, während sie gleichzeitig Ressourcen effizient verwalten. Unser Ziel ist es, dieses Level an intelligenter Optimierung für jede AI-Anwendung zugänglich zu machen, unabhängig von Größe oder Komplexität.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Skymel besuchen.