Baseten bidrager med ekspertise i inferens til NVIDIAs Nemotron-koalition

Baseten meddelte den 5. november 2026, at virksomheden er blevet medlem af NVIDIA Nemotron Coalition. Her bidrager Baseten med indsigt fra virksomhedsarbejdsbelastninger og ekspertise inden for eftertræning og inferens til udviklingen af åbne modeller. Medlemskabet udvider samarbejdet med NVIDIA til også at omfatte model-lanceringer, reinforcement learning, tilpasning og dedikeret inferens.

NVIDIA lancerede koalitionen den 16. marts 2026 for at samle forskning, ekspertise, data og regnekraft omkring åbne frontlinjemodeller. I NVIDIAs lanceringsmeddelelse stod der, at det første projekt skulle være en grundmodel udviklet i fællesskab af Mistral AI og NVIDIA, trænet på NVIDIA DGX Cloud, udgivet som open source, så udviklere og organisationer kunne specialtilpasse den, og anvendt som grundlag for den kommende Nemotron 4-familie.

Baseten var lanceringspartner fra dag ét for Nemotron 3.5 Super VL og Nemotron 3 Ultra. Virksomhedens rolle i koalitionen rækker videre end at levere færdige modeller og omfatter også træningsmiljøer og operationel viden, der er formet af brug i virksomheder. Det praktiske fokus er tilpasning til specifikke forretningskrav, hvor kvaliteten af implementeringen, omkostningerne og fleksibiliteten betragtes som sammenhængende hensyn.

Træning til produktionsarbejdsbelastninger

Virksomheden udviklede miljøer til reinforcement learning med komplekse instruktionshierarkier, hvor uvedkommende information ignoreres, og detaljerede stilpræferencer følges. Andre miljøer fokuserer på ræsonnement og planlægning over lange tidshorisonter gennem statistisk analyse af komplekse biologiske datasæt, matematisk bevissførelse og konkurrencespil. Opgaverne afspejler den måde, instruktioner i produktion leveres på gennem systemprompter, værktøjsdefinitioner, opfølgende beskeder fra brugere, værktøjssvar og fejlmeddelelser.

Arbejdet med multimodalitet omfatter visuelle og rumlige ræsonnementsopgaver samt værktøjskald over flere ture, der kræver visuel forståelse. Baseten oplyser, at eftertræning forbedrede resultaterne på MMMU-Pro, en multimodal ræsonnementsbenchmark på ekspertniveau. En relateret forskningsartikel, indsendt den 5. oktober 2026, beskriver en projektor med 50 millioner parametre, der forbinder Kimi K2.6’s visionsencoder med GLM 5.2 og GLM 5.3, mens de fortrænede vægte holdes fast. Modellen evalueres på MMMU-Pro og BLINK.

Målbare resultater af tilpasning

CodeRabbits forskningsindlæg fra 11. august 2026 beskriver et projekt med NVIDIA og Baseten, hvor Nemotron 3.5 Lightning blev tilpasset til routing af kodegennemgange ved først at blive finjusteret under superviseret læring og derefter trænet med reinforcement learning baseret på verificerbare belønninger. I en fastlåst evaluering med 1.000 opgaver steg den nøjagtige overensstemmelse om routing fra 75,8 % for basismodellen til 80,4 % efter superviseret finjustering og 80,7 % efter belønningstræning. Cohens kappa, et mål for overensstemmelse ud over det forventelige ved tilfældighed, steg fra 0,429 til 0,461 og derefter til 0,544.

CodeRabbit betragtede den endelige ændring i overensstemmelsen om routing på 0,3 procentpoint som ikke-regression og ikke som en statistisk afgørende forbedring, fordi konfidensintervallet for de parrede målinger omfattede nul. En sammenligning af inferensomkostningerne anslog en reduktion på 50,4 % ved mættet gennemløb: Den samme evaluering kostede 2,34 $ på basismodellen og 1,16 $ på én Baseten A100. Kontroller under vedvarende belastning og med produktionstrafik var stadig planlagt til en senere fase.

Harvey er et andet eksempel på tilpasning. Baseten oplyser, at den juridiske AI-platform eftertræner Nemotron på Baseten til specialiserede arbejdsgange, der bruges af titusinder af jurister hver dag. Separat forskning offentliggjort af Harvey og Baseten den 8. september 2026 indlæste et M&A-datarum i et Python-miljø og lod en hovedagent uddelegere afgrænsede gennemgange til underagenter. Harvey oplyste, at systemet på tværs af syv modeller og 50 tilbageholdte datarum øgede den gennemsnitlige beståelsesprocent for kriterierne i vurderingsskemaet fra 23,3 % til 62,4 %.

Harveys beretning oplyser også, at reinforcement learning på en Qwen3.5-122B-A10B-hovedmodel øgede dens beståelsesprocent fra 29,9 % til 63,0 % i de samme 50 datarum. Samtidig beskrives eksperimenterne som indledende afprøvninger, og den resterende afstand til næsten perfekte beståelsesprocenter betegnes som betydelig.

Implementering og stemmebaseret AI

Baseten Loops forbinder administrerede arbejdsgange til reinforcement learning med dedikeret inferens, samtidig med at kunderne fortsat ejer vægtene i deres trænede modeller. Loops understøtter Nemotron 3.5 Super VL og Nemotron 3 Ultra, og Super VL kan trænes med BF16 og NVFP4.

Virksomhederne evaluerer også Nemotron-baserede stemmeagenter på tværs af komplette applikationer, herunder modellernes kvalitet og reaktionsevne. Basetens talegenkendelsesbenchmark fra 4. august 2026 viste, at én NVIDIA H100 kunne håndtere op til 100 samtidige WebSocket-lydstrømme i realtid. Afslutningslatensen, altså tiden fra en taler er færdig, til den endelige transskription er klar, steg fra 98 millisekunder ved otte strømme til 138 ved 100.

Basetens medlemskab af koalitionen forbinder tilpasning af modeller med den infrastruktur, der bruges til at levere de resulterende modeller. Kundernes resultater udgør konkret dokumentation for denne tilgang, mens CodeRabbits estimat ved mættet gennemløb og de endnu ikke gennemførte produktionskontroller sammen med Harveys tidlige eksperimenter viser dens begrænsninger. Det centrale spørgsmål er, hvor godt de målte gevinster holder ved vedvarende brug i produktion.