Baseten porta la propria competenza nell’inferenza nella Nemotron Coalition di NVIDIA

Il 5 novembre 2026, Baseten ha annunciato di essere entrata a far parte della NVIDIA Nemotron Coalition, contribuendo allo sviluppo di modelli aperti con le conoscenze maturate sui carichi di lavoro aziendali e la propria competenza nel post-training e nell’inferenza. L’adesione amplia la collaborazione con NVIDIA, che ora comprende il lancio di modelli, il reinforcement learning, la personalizzazione e l’inferenza dedicata.

NVIDIA ha lanciato la coalizione il 16 marzo 2026 per mettere in comune ricerca, competenze, dati e capacità di calcolo a sostegno di modelli aperti all’avanguardia. Nell’annuncio del lancio, NVIDIA ha dichiarato che il primo progetto sarebbe stato un modello di base sviluppato congiuntamente da Mistral AI e NVIDIA, addestrato su NVIDIA DGX Cloud, rilasciato come open source affinché sviluppatori e organizzazioni potessero specializzarlo e destinato a fungere da base per l’imminente famiglia Nemotron 4.

Baseten è stata partner fin dal lancio di Nemotron 3.5 Super VL e Nemotron 3 Ultra. Il suo ruolo nella coalizione va oltre la distribuzione di modelli già pronti e comprende ambienti di addestramento e conoscenze operative maturate con l’uso aziendale. L’obiettivo pratico è personalizzare i modelli in base a specifiche esigenze aziendali, considerando aspetti interconnessi la qualità della distribuzione, i costi e la flessibilità.

Addestramento per i carichi di lavoro in produzione

L’azienda ha sviluppato ambienti di reinforcement learning per gestire gerarchie complesse di istruzioni, ignorando le informazioni irrilevanti e rispettando preferenze stilistiche dettagliate. Altri ambienti affrontano il ragionamento e la pianificazione a lungo termine tramite l’analisi statistica di complessi insiemi di dati biologici, la dimostrazione di teoremi matematici e i giochi competitivi. Queste attività riproducono il modo in cui le istruzioni vengono fornite in produzione: tramite prompt di sistema, definizioni degli strumenti, messaggi successivi degli utenti, risposte degli strumenti e messaggi di errore.

Il lavoro multimodale di Baseten comprende attività di ragionamento visivo e spaziale e chiamate agli strumenti articolate su più turni, che richiedono capacità di comprensione visiva. Baseten riferisce che il post-training ha migliorato i risultati su MMMU-Pro, un benchmark di ragionamento multimodale di livello esperto. Un articolo correlato, presentato il 5 ottobre 2026, descrive un proiettore da 50 milioni di parametri che collega l’encoder visivo di Kimi K2.6 a GLM 5.2 e GLM 5.3 mantenendo fissi i pesi preaddestrati, con valutazioni su MMMU-Pro e BLINK.

Risultati misurabili della personalizzazione

Il resoconto di ricerca dell’11 agosto 2026 di CodeRabbit descrive un progetto realizzato con NVIDIA e Baseten per personalizzare Nemotron 3.5 Lightning e indirizzare le revisioni del codice, prima con il supervised fine-tuning e poi con il reinforcement learning basato su ricompense verificabili. In una valutazione fissa di 1.000 attività, la corrispondenza esatta degli instradamenti è passata dal 75,8% del modello di base all’80,4% dopo il supervised fine-tuning e all’80,7% dopo l’addestramento con ricompense. Il kappa di Cohen, una misura dell’accordo al netto della concordanza casuale, è salito da 0,429 a 0,461 e poi a 0,544.

CodeRabbit ha considerato l’incremento finale di 0,3 punti percentuali nella corrispondenza degli instradamenti come assenza di regressioni, non come un miglioramento statisticamente significativo, perché l’intervallo di confidenza appaiato comprendeva lo zero. Dal confronto dei costi di servizio è emersa una riduzione stimata del 50,4% a throughput saturo: la stessa valutazione è costata 2,34 $ sul modello di base e 1,16 $ su un A100 di Baseten. Le verifiche con carico sostenuto e traffico di produzione erano rimandate a una fase successiva.

Harvey offre un caso di personalizzazione diverso. Baseten riferisce che la piattaforma di IA legale esegue il post-training di Nemotron su Baseten per flussi di lavoro specializzati, destinati ogni giorno a decine di migliaia di avvocati. In una ricerca pubblicata da Harvey e Baseten l’8 settembre 2026, i ricercatori hanno caricato una data room M&A in un ambiente Python e hanno consentito a un agente principale di delegare revisioni circoscritte ad agenti secondari. Harvey ha riferito che, su sette modelli e 50 data room escluse dall’addestramento, il sistema ha portato la percentuale media di superamento dei criteri di valutazione dal 23,3% al 62,4%.

Il resoconto di Harvey riferisce inoltre che il reinforcement learning applicato a un modello principale Qwen3.5-122B-A10B ha portato la sua percentuale di superamento dal 29,9% al 63,0% sulle stesse 50 data room. Il documento descrive gli esperimenti come esplorazioni iniziali e definisce ancora considerevole il divario rispetto a percentuali di superamento quasi perfette.

Distribuzione e IA vocale

Baseten Loops collega i flussi di lavoro gestiti di reinforcement learning all’inferenza dedicata, lasciando ai clienti la proprietà dei pesi dei modelli addestrati. Loops supporta Nemotron 3.5 Super VL e Nemotron 3 Ultra; Super VL è disponibile per l’addestramento in BF16 e NVFP4.

Le aziende stanno inoltre valutando agenti vocali basati su Nemotron in applicazioni complete, esaminando anche la qualità e la reattività dei modelli. Il benchmark di riconoscimento vocale del 4 agosto 2026 di Baseten ha rilevato che una NVIDIA H100 ha gestito fino a 100 flussi audio WebSocket simultanei in tempo reale. La latenza di finalizzazione, ovvero il tempo che intercorre tra la fine dell’intervento di un parlante e la disponibilità della trascrizione definitiva, è passata da 98 millisecondi con otto flussi a 138 millisecondi con 100.

L’adesione di Baseten alla coalizione collega l’adattamento dei modelli all’infrastruttura utilizzata per distribuirli. I risultati ottenuti dai clienti forniscono prove concrete a sostegno di questo approccio, mentre la stima di CodeRabbit a throughput saturo e le verifiche di produzione ancora da completare, insieme agli esperimenti nelle fasi iniziali di Harvey, ne delineano i limiti. La questione centrale è quanto a lungo i miglioramenti misurati si mantengano nell’uso continuativo in produzione.