Partnerschaften
Baseten bringt Inferenz-Know-how in die NVIDIA Nemotron-Koalition ein
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Baseten gab am 5. November 2026 bekannt, der NVIDIA Nemotron-Koalition beigetreten zu sein und Erkenntnisse aus Unternehmens-Workloads sowie Know-how in den Bereichen Post-Training und Inferenz zur Entwicklung offener Modelle beizusteuern. Die Mitgliedschaft erweitert die Zusammenarbeit mit NVIDIA auf Modellstarts, Reinforcement Learning, Anpassung und dedizierte Inferenz.
NVIDIA rief die Koalition ins Leben, um am 16. März 2026 Forschung, Know-how, Daten und Rechenleistung rund um offene Frontier-Modelle zu bündeln. In der Ankündigung zum Start erklärte NVIDIA, das erste Projekt werde ein gemeinsam von Mistral AI und NVIDIA entwickeltes Basismodell sein. Es werde auf NVIDIA DGX Cloud trainiert, als Open Source veröffentlicht, damit Entwickler und Unternehmen es spezialisieren können, und als Grundlage für die kommende Nemotron-4-Familie dienen.
Baseten war vom ersten Tag an Startpartner für Nemotron 3.5 Super VL und Nemotron 3 Ultra. Die Rolle des Unternehmens in der Koalition geht über die Bereitstellung fertiger Modelle hinaus und umfasst auch Trainingsumgebungen sowie durch den Einsatz in Unternehmen geprägtes operatives Know-how. Im Mittelpunkt steht die Anpassung an konkrete geschäftliche Anforderungen; dabei werden Bereitstellungsqualität, Kosten und Flexibilität als zusammenhängende Aspekte betrachtet.
Training für Produktions-Workloads
Das Unternehmen entwickelte Umgebungen für Reinforcement Learning, in denen komplexe Anweisungshierarchien berücksichtigt, irrelevante Informationen ignoriert und detaillierte Stilvorgaben befolgt werden. Andere Umgebungen befassen sich mit langfristigem Schlussfolgern und Planen anhand statistischer Analysen komplexer biologischer Datensätze, mathematischer Beweisführung und kompetitivem Spielen. Diese Aufgaben bilden ab, wie Anweisungen in der Produktion eingehen: über System-Prompts, Tool-Definitionen, Rückfragen von Nutzern, Tool-Antworten und Fehlermeldungen.
Die multimodale Arbeit umfasst zusätzlich Aufgaben zum visuellen und räumlichen Schlussfolgern sowie mehrstufige Tool-Aufrufe, die visuelles Verständnis erfordern. Baseten berichtet, dass das Post-Training die Ergebnisse bei MMMU-Pro verbessert hat, einem multimodalen Benchmark für Schlussfolgerungen auf Expertenniveau. Ein verwandtes Paper, das am 5. Oktober 2026 eingereicht wurde, beschreibt einen Projektor mit 50 Millionen Parametern, der den Vision-Encoder von Kimi K2.6 mit GLM 5.2 und GLM 5.3 verbindet und dabei die vortrainierten Gewichte unverändert lässt. Die Evaluationen erfolgten mit MMMU-Pro und BLINK.
Ergebnisse der Anpassung im Vergleich
Der Forschungsbericht von CodeRabbit vom 11. August 2026 beschreibt ein gemeinsames Projekt mit NVIDIA und Baseten, bei dem Nemotron 3.5 Lightning für die Weiterleitung von Code-Reviews angepasst wurde. Dazu kam zunächst überwachtes Fine-Tuning und anschließend Reinforcement Learning mit überprüfbaren Belohnungen zum Einsatz. Bei einer unveränderten Evaluation mit 1.000 Aufgaben stieg die exakte Übereinstimmung bei der Weiterleitung von 75,8 % beim Basismodell auf 80,4 % nach dem überwachten Fine-Tuning und auf 80,7 % nach dem Belohnungstraining. Cohens Kappa, ein Maß für die über den Zufall hinausgehende Übereinstimmung, erhöhte sich zunächst von 0,429 auf 0,461 und anschließend auf 0,544.
CodeRabbit wertete die abschließende Veränderung der Übereinstimmung bei der Weiterleitung um 0,3 Prozentpunkte als Nichtverschlechterung und nicht als statistisch eindeutige Verbesserung, da das gepaarte Konfidenzintervall den Nullwert einschloss. Bei ausgelastetem Durchsatz ergab der Vergleich der Bereitstellungskosten eine geschätzte Reduktion um 50,4 %: Dieselbe Evaluation kostete mit dem Basismodell 2,34 $ und auf einem Baseten-A100-System 1,16 $. Prüfungen unter anhaltender Last und mit Produktions-Traffic waren einer späteren Phase vorbehalten.
Harvey ist ein anderer Anwendungsfall für die Anpassung. Baseten berichtet, dass die juristische KI-Plattform Nemotron auf Baseten für spezialisierte Workflows nachtrainiert, die täglich Zehntausende Anwälte unterstützen. In einer separaten am 8. September 2026 von Harvey und Baseten veröffentlichten Studie wurde ein M&A-Datenraum in eine Python-Umgebung geladen. Ein übergeordneter Agent konnte darin Teilagenten mit klar begrenzten Prüfaufgaben beauftragen. Harvey berichtete, dass das Framework bei sieben Modellen und 50 zurückgehaltenen Datenräumen die durchschnittliche Bestehensquote bei den Bewertungskriterien von 23,3 % auf 62,4 % erhöhte.
Laut Harveys Bericht erhöhte Reinforcement Learning mit einem Qwen3.5-122B-A10B-Modell als übergeordnetem Modell die Bestehensquote in diesen 50 Datenräumen ebenfalls, und zwar von 29,9 % auf 63,0 %. Zugleich bezeichnete Harvey die Experimente als erste Erkundungen und die verbleibende Lücke bis zu nahezu perfekten Bestehensquoten als beträchtlich.
Bereitstellung und Sprach-KI
Baseten Loops verknüpft verwaltete Reinforcement-Learning-Workflows mit dedizierter Inferenz, während die Kunden Eigentümer ihrer trainierten Modellgewichte bleiben. Loops unterstützt Nemotron 3.5 Super VL und Nemotron 3 Ultra; Super VL ist für das Training mit BF16 und NVFP4 verfügbar.
Die Unternehmen prüfen außerdem sprachgesteuerte Agenten auf Basis von Nemotron in vollständigen Anwendungen, wobei auch die Modellqualität und Reaktionsfähigkeit bewertet werden. Im Spracherkennungs-Benchmark von Baseten vom 4. August 2026 wurde berichtet, dass eine NVIDIA H100 bis zu 100 gleichzeitige Echtzeit-Audiostreams über WebSockets bewältigte. Die Finalisierungslatenz – die Zeitspanne zwischen dem Ende eines gesprochenen Beitrags und der Bereitstellung des endgültigen Transkripts – stieg von 98 Millisekunden bei acht Streams auf 138 Millisekunden bei 100 Streams.
Basetens Mitgliedschaft in der Koalition verbindet die Anpassung von Modellen mit der Infrastruktur, über die die daraus hervorgehenden Modelle bereitgestellt werden. Die Ergebnisse bei Kunden liefern konkrete Belege für diesen Ansatz. Zugleich zeigen die Schätzung von CodeRabbit bei ausgelastetem Durchsatz und die noch ausstehenden Produktionsprüfungen sowie Harveys Experimente in einer frühen Phase die Grenzen auf. Entscheidend ist, wie gut sich die gemessenen Zugewinne im anhaltenden Produktionseinsatz behaupten.
