Baseten brengt expertise op het gebied van inferentie in bij NVIDIA’s Nemotron-coalitie

Baseten maakte op 5 november 2026 bekend dat het zich heeft aangesloten bij de NVIDIA Nemotron-coalitie. Het bedrijf draagt inzichten uit zakelijke workloads en expertise op het gebied van post-training en inferentie bij aan de ontwikkeling van open modellen. Met dit lidmaatschap wordt de samenwerking met NVIDIA uitgebreid naar modelintroducties, reinforcement learning, maatwerk en dedicated inferentie.

NVIDIA lanceerde de coalitie op 16 maart 2026 om onderzoek, expertise, data en rekenkracht te bundelen rond open frontiermodellen. In de aankondiging van de lancering zei NVIDIA dat het eerste project een basismodel zou zijn, gezamenlijk ontwikkeld door Mistral AI en NVIDIA, getraind op NVIDIA DGX Cloud en als open source uitgebracht zodat ontwikkelaars en organisaties het konden specialiseren. Het model zou de basis vormen voor de aankomende Nemotron 4-familie.

Baseten was vanaf dag één launchpartner voor Nemotron 3.5 Super VL en Nemotron 3 Ultra. De rol van het bedrijf binnen de coalitie gaat verder dan het beschikbaar stellen van voltooide modellen: ook trainingsomgevingen en operationele kennis, gevormd door gebruik in bedrijven, maken er deel van uit. De praktische focus ligt op maatwerk voor specifieke zakelijke vereisten, waarbij de kwaliteit van de implementatie, de kosten en de flexibiliteit als samenhangende aandachtspunten worden beschouwd.

Training voor productie-workloads

Het bedrijf ontwikkelde omgevingen voor reinforcement learning rond complexe instructiehiërarchieën, waarin modellen irrelevante informatie negeren en gedetailleerde stijlvoorkeuren volgen. Andere omgevingen richten zich op redeneren en plannen over langere perioden, aan de hand van statistische analyses van complexe biologische datasets, het bewijzen van wiskundige stellingen en competitieve spellen. Deze taken weerspiegelen hoe instructies in productieomgevingen binnenkomen via systeemprompts, tooldefinities, vervolgvragen van gebruikers, toolreacties en foutmeldingen.

Het multimodale werk omvat ook taken voor visueel en ruimtelijk redeneren, evenals meerstapsaanroepen van tools waarvoor visueel begrip nodig is. Baseten meldt dat post-training de resultaten op MMMU-Pro heeft verbeterd, een benchmark voor multimodaal redeneren op expertniveau. Een verwant artikel, ingediend op 5 oktober 2026, beschrijft een projector met 50 miljoen parameters die de vision encoder van Kimi K2.6 verbindt met GLM 5.2 en GLM 5.3, terwijl de vooraf getrainde gewichten ongewijzigd blijven. De evaluaties werden uitgevoerd op MMMU-Pro en BLINK.

Aantoonbare resultaten van maatwerk

Het onderzoeksverslag van CodeRabbit van 11 augustus 2026 beschrijft een project met NVIDIA en Baseten waarin Nemotron 3.5 Lightning op maat werd gemaakt voor het routeren van codebeoordelingen. Dat gebeurde eerst met supervised fine-tuning en vervolgens met reinforcement learning op basis van verifieerbare beloningen. Bij een vaste evaluatie met 1.000 taken steeg de exacte overeenstemming over de routering van 75,8% met het basismodel naar 80,4% na supervised fine-tuning en 80,7% na training met beloningen. Cohen’s kappa, een maat voor overeenstemming bovenop wat op basis van toeval verwacht kan worden, steeg van 0,429 naar 0,461 en vervolgens naar 0,544.

CodeRabbit beschouwde de laatste stijging van 0,3 procentpunt in overeenstemming over de routering als het uitblijven van een verslechtering, niet als een statistisch doorslaggevende verbetering, omdat het gepaarde betrouwbaarheidsinterval nul omvatte. In een vergelijking van de inferentiekosten werd bij maximale doorvoer een kostenbesparing van 50,4% geraamd: dezelfde evaluatie kostte $2,34 met het basismodel en $1,16 op één Baseten A100. Tests met aanhoudende belasting en productieverkeer zijn uitgesteld tot een latere fase.

Harvey is een ander voorbeeld van maatwerk. Baseten meldt dat het juridische AI-platform Nemotron via Baseten post-traint voor gespecialiseerde workflows die dagelijks tienduizenden advocaten ondersteunen. In afzonderlijk onderzoek dat Harvey en Baseten op 8 september 2026 publiceerden, werd een M&A-dataroom geladen in een Python-omgeving, waarna een hoofdagent afgebakende beoordelingstaken delegeerde aan subagenten. Harvey meldde dat het raamwerk bij zeven modellen en 50 achtergehouden datarooms het gemiddelde percentage behaalde beoordelingscriteria verhoogde van 23,3% naar 62,4%.

In het verslag van Harvey staat ook dat reinforcement learning op een Qwen3.5-122B-A10B-hoofdmodel het slagingspercentage voor die 50 datarooms verhoogde van 29,9% naar 63,0%. Tegelijkertijd omschrijft het bedrijf de experimenten als eerste verkenningen en noemt het de resterende afstand tot vrijwel perfecte slagingspercentages aanzienlijk.

Implementatie en spraak-AI

Baseten Loops koppelt beheerde workflows voor reinforcement learning aan dedicated inferentie, terwijl klanten eigenaar blijven van de gewichten van hun getrainde modellen. Loops ondersteunt Nemotron 3.5 Super VL en Nemotron 3 Ultra; Super VL is beschikbaar voor training met BF16 en NVFP4.

De bedrijven evalueren ook spraakagenten op basis van Nemotron in volledige toepassingen, waarbij onder meer de modelkwaliteit en reactiesnelheid worden beoordeeld. In Basetens benchmark voor spraakherkenning van 4 augustus 2026 stond dat één NVIDIA H100 tot 100 gelijktijdige WebSocket-audiostreams in realtime aankon. De finalisatielatentie — de tijd tussen het einde van een sprekersturn en het gereedkomen van het definitieve transcript — liep op van 98 milliseconden bij acht streams tot 138 milliseconden bij 100 streams.

Dankzij het lidmaatschap van de coalitie verbindt Baseten modelaanpassing met de infrastructuur waarmee de resulterende modellen worden aangeboden. De klantresultaten vormen concreet bewijs voor die aanpak, terwijl de raming van CodeRabbit bij maximale doorvoer en de nog niet afgeronde productietests, samen met de experimenten in een vroeg stadium van Harvey, de grenzen ervan aangeven. De centrale vraag is hoe goed de gemeten verbeteringen standhouden bij langdurig gebruik in productie.