Saurabh Vij, CEO & Co-Founder von MonsterAPI – Interview-Serie

Saurabh Vij ist der CEO und Mitgründer von MonsterAPI. Er arbeitete zuvor als Teilchenphysiker am CERN und erkannte das Potenzial für dezentralisierte Rechenleistung durch Projekte wie LHC@home.

MonsterAPI nutzt günstigere Commodity-GPUs von Kryptowährungs-Mining-Farmen bis hin zu kleineren stillgelegten Rechenzentren, um skalierbare und erschwingliche GPU-Infrastruktur für maschinelles Lernen bereitzustellen, sodass Entwickler auf AI-Modelle zugreifen, diese feinjustieren und bereitstellen können, ohne auch nur eine einzige Zeile Code schreiben zu müssen.

Bevor MonsterAPI entstand, gründete er zwei Start-ups, darunter eines, das ein tragbares Sicherheitsgerät für Frauen in Indien entwickelte, in Zusammenarbeit mit der Regierung Indiens und dem IIT Delhi.

Können Sie die Entstehungsgeschichte hinter MonsterGPT teilen?

Unsere Mission war es immer, “Software-Entwicklern zu helfen, AI-Modelle schneller und auf die einfachste Weise möglich zu feinjustieren und bereitzustellen.” Wir erkannten, dass es multiple komplexe Herausforderungen gibt, mit denen sie konfrontiert sind, wenn sie ein AI-Modell feinjustieren und bereitstellen möchten.

Von der Auseinandersetzung mit Code bis hin zur Einrichtung von Docker-Containern auf GPUs und deren Skalierung auf Abruf

Und das Tempo, mit dem das Ökosystem sich bewegt, ist so, dass Feinjustierung allein nicht ausreicht. Sie muss auf die richtige Weise durchgeführt werden: Vermeidung von Underfitting, Overfitting, Hyperparameter-Optimierung, Einbeziehung der neuesten Methoden wie LORA und Q-LORA, um eine schnellere und wirtschaftlichere Feinjustierung durchzuführen. Sobald das Modell feinjustiert ist, muss es effizient bereitgestellt werden.

Es wurde uns klar, dass das Anbieten eines Werkzeugs für nur einen Teil der Pipeline nicht ausreicht. Ein Entwickler benötigt die gesamte optimierte Pipeline, kombiniert mit einer großartigen Oberfläche, mit der er vertraut ist. Von der Feinjustierung bis hin zur Bewertung und endgültigen Bereitstellung seiner Modelle.

Ich stellte mir eine Frage: Als ehemaliger Teilchenphysiker verstehe ich die tiefgreifende Auswirkung, die KI auf wissenschaftliche Arbeiten haben kann, aber ich weiß nicht, wo ich anfangen soll. Ich habe innovative Ideen, aber mir fehlt die Zeit, um alle Fähigkeiten und Feinheiten des maschinellen Lernens und der Infrastruktur zu erlernen.

Was, wenn ich einfach mit einer KI sprechen könnte, meine Anforderungen angeben und sie die gesamte Pipeline für mich aufbauen lassen könnte, um das erforderliche API-Endpunkt zu liefern?

Dies führte zu der Idee, ein chatbasiertes System zu entwickeln, um Entwicklern das Feinjustieren und Bereitstellen zu erleichtern.

MonsterGPT ist unser erster Schritt auf dieser Reise.

Es gibt Millionen von Software-Entwicklern, Innovatoren und Wissenschaftlern wie uns, die diesen Ansatz nutzen könnten, um domänen-spezifische Modelle für ihre Projekte zu erstellen.

Können Sie die zugrunde liegende Technologie hinter dem GPT-basierten Bereitstellungsagenten von Monster API erklären?

MonsterGPT nutzt fortschrittliche Technologien, um offene Large Language Modelle (LLMs) wie Phi3 von Microsoft und Llama 3 von Meta effizient zu bereitstellen und feinzujustieren.

1. RAG mit Kontext-Konfiguration: Automatisiert die Vorbereitung von Konfigurationen mit den richtigen Hyperparametern für die Feinjustierung von LLMs oder die Bereitstellung von Modellen mithilfe von skalierbaren REST-APIs von MonsterAPI.
2. LoRA (Low-Rank-Adaptation): Ermöglicht effiziente Feinjustierung, indem nur ein Teil der Parameter aktualisiert wird, was den Rechenaufwand und die Speicheranforderungen reduziert.
3. Quantisierungstechniken: Nutzt GPT-Q und AWQ, um die Modellleistung zu optimieren, indem die Genauigkeit reduziert wird, was den Speicherbedarf verringert und die Inferenz beschleunigt, ohne einen wesentlichen Verlust an Genauigkeit zu verursachen.
4. vLLM-Engine: Bietet hohe Durchsatzleistung für LLMs mit Funktionen wie kontinuierlicher Batch-Verarbeitung, optimierten CUDA-Kernels und parallelen Dekodierungs-Algorithmen für effiziente Großskalenausführung.
5. Dezentralisierte GPUs für Skalierbarkeit und Erschwinglichkeit: Unsere Feinjustierungs- und Bereitstellungsarbeitslasten laufen auf einem Netzwerk von günstigen GPUs von verschiedenen Herstellern, von kleineren stillgelegten Rechenzentren bis hin zu aufstrebenden GPU-Clouds wie Coreweave, um geringere Kosten, hohe Optionen und Verfügbarkeit von GPUs zu gewährleisten, um eine skalierbare und effiziente Verarbeitung zu ermöglichen.

Überprüfen Sie diesen neuesten Blog für die Bereitstellung von Llama 3 mit MonsterGPT:

Wie vereinfacht es den Feinjustierungs- und Bereitstellungsprozess?

MonsterGPT bietet eine Chat-Schnittstelle mit der Fähigkeit, Anweisungen in natürlicher Sprache für den Start, die Verfolgung und das Management von Feinjustierungs- und Bereitstellungsarbeiten zu verstehen. Diese Fähigkeit abstrahiert viele komplexe Schritte wie:

• Erstellung einer Daten-Pipeline
• Erkennen der richtigen GPU-Infrastruktur für den Auftrag
• Konfiguration geeigneter Hyperparameter
• Einrichtung einer ML-Umgebung mit kompatiblen Frameworks und Bibliotheken
• Implementierung von Feinjustierungs-Skripten für LoRA/QLoRA-Effizienzfeinjustierung mit Quantisierungsstrategien.
• Behebung von Problemen wie Speicherüberlauf und Code-Fehler.
• Entwurf und Implementierung von Multi-Node-Auto-Skalierung mit hoher Durchsatzleistung und Servicing-Engines wie vLLM für LLM-Bereitstellung.

Welche Art von Benutzeroberfläche und Befehlen können Entwickler erwarten, wenn sie mit der Chat-Schnittstelle von Monster API interagieren?

Die Benutzeroberfläche ist eine einfache Chat-Oberfläche, in der Benutzer den Agenten anweisen können, ein LLM für eine bestimmte Aufgabe wie Zusammenfassung, Chat-Vervollständigung, Code-Generierung, Blog-Schreiben usw. zu feinjustieren und dann, sobald feinjustiert, den GPT anweisen können, das LLM bereitzustellen und das bereitgestellte Modell aus der GPT-Schnittstelle selbst abzufragen. Einige Beispiele für Befehle sind:

• Feinjustieren eines LLM für Code-Generierung auf X-Datensatz
• Ich möchte ein Modell, das für Blog-Schreiben feinjustiert ist
• Geben Sie mir einen API-Endpunkt für das Llama-3-Modell.
• Bereitstellen eines kleinen Modells für den Blog-Schreiben-Anwendungsfall

Dies ist extrem nützlich, da das Finden des richtigen Modells für Ihr Projekt oft zu einer zeitaufwändigen Aufgabe werden kann. Mit neuen Modellen, die täglich entstehen, kann dies zu viel Verwirrung führen.

Wie vergleicht sich die Lösung von Monster API in Bezug auf Benutzerfreundlichkeit und Effizienz mit herkömmlichen Methoden der AI-Modell-Bereitstellung?

Die Lösung von Monster API verbessert die Benutzerfreundlichkeit und Effizienz im Vergleich zu herkömmlichen Methoden der AI-Modell-Bereitstellung erheblich.

Für Benutzerfreundlichkeit:

1. Automatisierte Konfiguration: Traditionelle Methoden erfordern oft eine umfangreiche manuelle Einrichtung von Hyperparametern und Konfigurationen, die fehlerhaft und zeitaufwändig sein können. MonsterAPI automatisiert diesen Prozess mithilfe von RAG mit Kontext, wodurch die Einrichtung vereinfacht und die Fehlerwahrscheinlichkeit verringert wird.
2. Skalierbare REST-APIs: MonsterAPI bietet intuitive REST-APIs für die Bereitstellung und Feinjustierung von Modellen, was es sogar für Benutzer mit begrenzten maschinellen Lernkenntnissen zugänglich macht. Traditionelle Methoden erfordern oft tiefgreifende technische Kenntnisse und komplexen Code für die Bereitstellung.
3. Eine Plattform: Es integriert den gesamten Arbeitsablauf, von der Feinjustierung bis zur Bereitstellung, in einer einzigen Plattform. Traditionelle Ansätze können disparate Tools und Plattformen beinhalten, was zu Ineffizienzen und Integrationsherausforderungen führen kann.

Für Effizienz:

MonsterAPI bietet eine optimierte Pipeline für LoRA-Feinjustierung mit integrierter Quantisierung für effiziente Speicher-Nutzung und vLLM-Engine-gesteuerte LLM-Bereitstellung für hohe Durchsatzleistung mit kontinuierlicher Batch-Verarbeitung und optimierten CUDA-Kernels, auf einer kostengünstigen, skalierbaren und hochverfügbaren dezentralisierten GPU-Cloud mit vereinfachter Überwachung und Protokollierung.

Diese gesamte Pipeline verbessert die Produktivität von Entwicklern, indem sie die Erstellung von produktionsreifen, benutzerdefinierten LLM-Anwendungen ermöglicht, während sie gleichzeitig den Bedarf an komplexen technischen Fähigkeiten reduziert.

Können Sie Beispiele für Anwendungsfälle nennen, in denen Monster API die Zeit und Ressourcen, die für die Modellbereitstellung benötigt werden, erheblich reduziert hat?

Ein IT-Beratungsunternehmen musste das Llama-3-Modell feinjustieren und bereitstellen, um die Geschäftsbedürfnisse seines Kunden zu erfüllen. Ohne MonsterAPI hätte es ein Team von 2-3 MLOps-Ingenieuren mit tiefgreifenden Kenntnissen der Hyperparameter-Optimierung benötigt, um die Modellqualität auf dem bereitgestellten Datensatz zu verbessern, und dann das feinjustierte Modell als skalierbaren REST-API-Endpunkt mit Auto-Skalierung und Orchestrierung bereitzustellen, wahrscheinlich auf Kubernetes. Darüber hinaus wollten sie, um die Wirtschaftlichkeit der Modellbereitstellung zu optimieren, Frameworks wie LoRA für die Feinjustierung und vLLM für die Modellbereitstellung verwenden, um die Kostenmetriken zu verbessern und den Speicherbedarf zu reduzieren. Dies kann für viele Entwickler eine komplexe Herausforderung sein und kann Wochen oder sogar Monate dauern, um eine produktionsreife Lösung zu erreichen. Mit MonsterAPI konnten sie innerhalb eines Tages multiple Feinjustierungs-Läufe durchführen und das feinjustierte Modell mit der besten Bewertung innerhalb von Stunden bereitstellen, ohne dass multiple Ingenieure mit tiefgreifenden MLOps-Kenntnissen erforderlich waren.

Wie demokratisiert Monster API den Zugang zu generativen AI-Modellen für kleinere Entwickler und Start-ups?

Kleine Entwickler und Start-ups haben oft Schwierigkeiten, qualitativ hochwertige AI-Modelle zu produzieren und zu nutzen, aufgrund fehlender finanzieller Mittel und technischer Fähigkeiten. Unsere Lösungen ermöglichen es ihnen, Kosten zu senken, Prozesse zu vereinfachen und robuste No-Code/Low-Code-Tools bereitzustellen, um produktionsreife AI-Pipelines zu implementieren.

Indem wir unsere dezentralisierte GPU-Cloud nutzen, bieten wir erschwingliche und skalierbare GPU-Ressourcen an, was die Kostenbarriere für die Bereitstellung von Hochleistungsmodellen erheblich senkt. Die automatisierte Konfiguration und Hyperparameter-Optimierung vereinfachen den Prozess und eliminieren die Notwendigkeit tiefgreifender technischer Kenntnisse.

Unsere benutzerfreundlichen REST-APIs und die integrierte Arbeitsablaufkombination von Feinjustierung und Bereitstellung in einem einzigen, kohärenten Prozess machen fortschrittliche KI-Technologien sogar für diejenigen zugänglich, die über begrenzte Erfahrung verfügen. Darüber hinaus stellt die Verwendung effizienter LoRA-Feinjustierung und Quantisierungstechniken wie GPT-Q und AWQ sicher, dass die Leistung auf weniger teurer Hardware optimal ist, was die Einstiegskosten weiter senkt.

Dieser Ansatz ermöglicht es kleineren Entwicklern und Start-ups, fortschrittliche generative AI-Modelle effizient und effektiv zu implementieren und zu verwalten.

Was sehen Sie als die nächste große Weiterentwicklung oder Funktion, die Monster API der AI-Entwickler-Community bringen wird?

Wir arbeiten an einigen innovativen Produkten, um unsere These weiter voranzutreiben: Entwicklern helfen, Modelle schneller, einfacher und wirtschaftlicher zu customisieren und bereitzustellen.

Unser nächstes Ziel ist ein vollständiger MLOps-AI-Assistent, der Forschung zu neuen Optimierungsstrategien für LLMOps durchführt und diese in bestehende Arbeitsabläufe integriert, um die Entwicklerbemühungen bei der Erstellung neuer und besserer Modelle zu reduzieren und gleichzeitig die vollständige Anpassung und Bereitstellung von produktionsreifen LLM-Pipelines zu ermöglichen.

Angenommen, Sie müssen 1 Million Bilder pro Minute für Ihren Anwendungsfall generieren. Dies kann extrem teuer sein. Traditionell würden Sie das Stable-Diffusion-Modell verwenden und Stunden damit verbringen, Optimierungsframeworks wie TensorRT zu finden und zu testen, um die Durchsatzleistung zu verbessern, ohne die Qualität und Latenz der Ausgabe zu beeinträchtigen.

MonsterAPIs MLOps-Agent findet jedoch den besten Framework für Ihre Anforderungen, indem es Optimierungen wie TensorRT nutzt, die speziell auf Ihren Anwendungsfall zugeschnitten sind.

Wie plant Monster API, neue offene Modelle zu unterstützen und zu integrieren, sobald sie verfügbar werden?

Auf drei wichtige Weise:

1. Zugang zu den neuesten offenen Modellen bieten
2. Die einfachste Schnittstelle für Feinjustierung und Bereitstellung bieten
3. Die gesamte Stapelverarbeitung für Geschwindigkeit und Kosten mit den fortschrittlichsten und leistungsstärksten Frameworks und Bibliotheken optimieren

Unsere Mission ist es, Entwicklern aller Fähigkeitsstufen zu helfen, Gen-AI schneller zu adoptieren, indem sie ihre Zeit von der Idee bis zum polierten und skalierbaren API-Endpunkt reduzieren.

Wir werden unsere Bemühungen fortsetzen, um Zugang zu den neuesten und leistungsstärksten Frameworks und Bibliotheken zu bieten, die in einen nahtlosen Arbeitsablauf für die Implementierung von LLMOps integriert sind. Wir sind bestrebt, die Komplexität für Entwickler mit unseren No-Code-Tools zu reduzieren und ihre Produktivität beim Erstellen und Bereitstellen von AI-Modellen zu steigern.

Um dies zu erreichen, überwachen wir kontinuierlich die Fortschritte in der AI-Gemeinschaft und unterstützen die Integration neuer offener Modelle, Optimierungsframeworks und Bibliotheken. Wir unterhalten eine skalierbare dezentralisierte GPU-Cloud und interagieren aktiv mit Entwicklern, um frühen Zugang und Feedback zu erhalten. Durch die Nutzung automatisierter Pipelines für eine nahtlose Integration, die Verbesserung flexibler APIs und die Bildung strategischer Partnerschaften mit AI-Forschungsorganisationen stellen wir sicher, dass unsere Plattform immer auf dem neuesten Stand bleibt.

Darüber hinaus bieten wir umfassende Dokumentation und robuste technische Unterstützung, um Entwicklern zu ermöglichen, die neuesten Modelle schnell zu adoptieren und zu nutzen. MonsterAPI hält Entwickler an der Spitze der generativen AI-Technologie, um sie zu befähigen, zu innovieren und erfolgreich zu sein.

Was sind die langfristigen Ziele von Monster API in Bezug auf Technologieentwicklung und Marktreichweite?

Langfristig möchten wir den 30 Millionen Software-Ingenieuren helfen, MLOps-Entwickler mit Hilfe unseres MLOps-Agents und aller Tools, die wir entwickeln, zu werden.

Dies erfordert, dass wir nicht nur einen vollständigen Agenten, sondern auch viele grundlegende, proprietäre Technologien im Bereich Optimierungsframeworks, Containerisierungsmethoden und Orchestrierung aufbauen.

Wir glauben, dass eine Kombination aus großartigen, einfachen Oberflächen, 10-mal höherer Durchsatzleistung und günstigen, dezentralisierten GPUs das Potenzial hat, die Produktivität eines Entwicklers zu revolutionieren und damit die Adoption von Gen-AI zu beschleunigen.

Alle unsere Forschung und Bemühungen sind in diese Richtung ausgerichtet.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten MonsterAPI besuchen.