Baseten tar inferenskompetanse med inn i NVIDIAs Nemotron-koalisjon

Baseten kunngjorde 5. november 2026 at selskapet har sluttet seg til NVIDIA Nemotron-koalisjonen. Baseten bidrar med innsikt fra arbeidsbelastninger i bedrifter og ekspertise innen ettertrening og inferens til utviklingen av åpne modeller. Medlemskapet utvider samarbeidet med NVIDIA til å omfatte modellanseringer, forsterkningslæring, tilpasning og dedikert inferens.

NVIDIA lanserte koalisjonen 16. mars 2026 for å samle forskning, ekspertise, data og regnekraft rundt åpne frontmodeller. I kunngjøringen om lanseringen sa NVIDIA at det første prosjektet skulle være en grunnmodell utviklet i fellesskap av Mistral AI og NVIDIA, trent på NVIDIA DGX Cloud, utgitt som åpen kildekode slik at utviklere og organisasjoner kunne spesialisere den, og brukt som grunnlag for den kommende Nemotron 4-familien.

Baseten var lanseringspartner fra dag én for Nemotron 3.5 Super VL og Nemotron 3 Ultra. Selskapets rolle i koalisjonen strekker seg utover å levere ferdige modeller og omfatter også treningsmiljøer og operasjonell kunnskap formet av bruk i bedrifter. I praksis handler arbeidet om tilpasning til bestemte forretningsbehov, der kvaliteten på utrullingen, kostnadene og fleksibiliteten ses i sammenheng.

Trening for arbeidsbelastninger i produksjon

Selskapet utviklet miljøer for forsterkningslæring med komplekse instruksjonshierarkier, der modellene skal se bort fra uvedkommende informasjon og følge detaljerte stilpreferanser. Andre miljøer tar for seg langsiktig resonnering og planlegging gjennom statistisk analyse av komplekse biologiske datasett, matematisk teorembevis og konkurransepreget spilling. Oppgavene gjenspeiler hvordan instruksjoner i produksjonsmiljøer kommer i form av systemmeldinger, verktøydefinisjoner, oppfølgingsmeldinger fra brukere, verktøysvar og feilmeldinger.

Arbeidet med flere modaliteter omfatter også oppgaver i visuell og romlig resonnering og verktøykall over flere samtalerunder som krever visuell forståelse. Baseten opplyser at ettertrening forbedret resultatene på MMMU-Pro, en referanseprøve i resonnering med flere modaliteter på ekspertnivå. En relatert artikkel, sendt inn 5. oktober 2026, beskriver en projektor med 50 millioner parametere som kobler synsinnkoderen til Kimi K2.6 med GLM 5.2 og GLM 5.3, samtidig som de forhåndstrente vektene holdes uendret. Modellen ble evaluert på MMMU-Pro og BLINK.

Målte resultater av tilpasning

CodeRabbits forskningsrapport fra 11. august 2026 beskriver et prosjekt med NVIDIA og Baseten der Nemotron 3.5 Lightning ble tilpasset til ruting av kodegjennomganger ved hjelp av veiledet finjustering, etterfulgt av forsterkningslæring med verifiserbare belønninger. I en låst evaluering med 1 000 oppgaver økte det nøyaktige samsvaret i rutingen fra 75,8 % med grunnlinjemodellen til 80,4 % etter veiledet finjustering og 80,7 % etter belønningstrening. Cohens kappa, et mål på samsvar utover det som kan forventes ved tilfeldighet, steg fra 0,429 til 0,461 og deretter til 0,544.

CodeRabbit betraktet den endelige endringen på 0,3 prosentpoeng i rutesamsvar som fravær av tilbakegang, ikke som en statistisk avgjørende forbedring, fordi det parede konfidensintervallet krysset null. I en sammenligning av inferenskostnader ble kostnadsreduksjonen ved mettet gjennomstrømning anslått til 50,4 %: Den samme evalueringen kostet 2,34 dollar med grunnlinjemodellen og 1,16 dollar på én Baseten A100. Kontroller med vedvarende belastning og trafikk fra produksjonsmiljøet skulle gjennomføres i en senere fase.

Harvey er et annet eksempel på tilpasning. Baseten opplyser at den juridiske KI-plattformen ettertrener Nemotron på Baseten for spesialiserte arbeidsflyter som betjener titusenvis av advokater hver dag. I separat forskning publisert av Harvey og Baseten 8. september 2026 ble et datarom for M&A lastet inn i et Python-miljø, der en hovedagent kunne delegere avgrenset gjennomgang til underagenter. Harvey rapporterte at rammeverket på tvers av sju modeller og 50 tilbakeholdte datarom økte den gjennomsnittlige andelen beståtte rubrikkriterier fra 23,3 % til 62,4 %.

Harveys rapport opplyser også at forsterkningslæring på en Qwen3.5-122B-A10B-hovedmodell økte beståttandelen fra 29,9 % til 63,0 % i disse 50 datarommene. Samtidig beskrives forsøkene som innledende utforskning, og avstanden til nesten perfekte beståttandeler som betydelig.

Utrulling og tale-KI

Baseten Loops kobler administrerte arbeidsflyter for forsterkningslæring til dedikert inferens, samtidig som kundene beholder eierskapet til vektene i modellene de har trent. Loops støtter Nemotron 3.5 Super VL og Nemotron 3 Ultra, og Super VL er tilgjengelig for trening i BF16 og NVFP4.

Selskapene evaluerer også stemmeagenter drevet av Nemotron i komplette applikasjoner, blant annet med tanke på modellkvalitet og responstid. I Basetens referanseprøve for talegjenkjenning fra 4. august 2026 ble det rapportert at én NVIDIA H100 kunne håndtere opptil 100 samtidige WebSocket-lydstrømmer i sanntid. Fullføringsforsinkelsen – tiden fra en taler er ferdig til det endelige transkripsjonsresultatet er klart – økte fra 98 millisekunder ved åtte strømmer til 138 millisekunder ved 100.

Basetens medlemskap i koalisjonen knytter modelltilpasning til infrastrukturen som brukes til å levere de ferdige modellene. Kundenes resultater gir konkrete holdepunkter for denne tilnærmingen, mens CodeRabbits anslag ved mettet gjennomstrømning og uferdige produksjonskontroller, sammen med Harveys tidlige forsøk, viser hvor grensene går. Hovedspørsmålet er hvor godt de målte gevinstene holder seg ved vedvarende bruk i produksjon.