Baseten aduce expertiză în inferență în Coaliția Nemotron a NVIDIA

Baseten a anunțat pe 5 noiembrie 2026 că s-a alăturat Coaliției NVIDIA Nemotron, contribuind la dezvoltarea modelelor deschise cu perspective din volumul de lucru al companiilor și cu expertiză în post-antrenare și inferență. Aderarea extinde colaborarea sa cu NVIDIA în domeniul lansărilor de modele, al învățării prin consolidare, al personalizării și al inferenței dedicate.

NVIDIA a lansat coaliția pe 16 martie 2026 pentru a reuni cercetarea, expertiza, datele și resursele de calcul în jurul modelelor deschise de frontieră. În anunțul lansării, NVIDIA a precizat că primul proiect urma să fie un model de bază dezvoltat în comun de Mistral AI și NVIDIA, antrenat pe NVIDIA DGX Cloud, lansat cu cod sursă deschis pentru a putea fi specializat de dezvoltatori și organizații și folosit ca fundament pentru viitoarea familie Nemotron 4.

Baseten a fost partener de lansare încă din prima zi pentru Nemotron 3.5 Super VL și Nemotron 3 Ultra. Rolul său în coaliție depășește furnizarea modelelor finalizate și include medii de antrenare și cunoștințe operaționale dobândite prin utilizarea în companii. În practică, accentul cade pe adaptarea la cerințele specifice ale companiilor, iar calitatea implementării, costul și flexibilitatea sunt tratate ca aspecte interconectate.

Antrenare pentru volume de lucru din mediul de producție

Compania a dezvoltat medii de învățare prin consolidare pentru ierarhii complexe de instrucțiuni, în care sunt ignorate informațiile irelevante și respectate preferințele detaliate de stil. Alte medii vizează raționamentul și planificarea pe orizonturi lungi, prin analiza statistică a seturilor complexe de date biologice, demonstrarea teoremelor matematice și participarea la jocuri competitive. Aceste sarcini reflectă modul în care instrucțiunile din mediul de producție sunt transmise prin solicitări de sistem, definiții ale instrumentelor, mesaje ulterioare ale utilizatorilor, răspunsuri ale instrumentelor și mesaje de eroare.

Activitatea sa în domeniul multimodal adaugă sarcini de raționament vizual și spațial, precum și apeluri de instrumente în mai multe etape, care necesită înțelegere vizuală. Baseten afirmă că post-antrenarea a îmbunătățit rezultatele la MMMU-Pro, un benchmark de raționament multimodal de nivel expert. O lucrare conexă, trimisă spre publicare pe 5 octombrie 2026, descrie un proiector cu 50 de milioane de parametri, care conectează encoderul vizual al Kimi K2.6 la GLM 5.2 și GLM 5.3, menținând fixe ponderile preantrenate; evaluările au fost efectuate pe MMMU-Pro și BLINK.

Rezultate măsurabile ale personalizării

Relatarea de cercetare din 11 august 2026 a CodeRabbit descrie un proiect realizat împreună cu NVIDIA și Baseten, în care Nemotron 3.5 Lightning a fost adaptat pentru rutarea solicitărilor de revizuire a codului, prin ajustare fină supravegheată, urmată de învățare prin consolidare cu recompense verificabile. Într-o evaluare fixă, cu 1.000 de sarcini, concordanța exactă a rutării a crescut de la 75,8% pentru modelul de referință la 80,4% după ajustarea fină supravegheată și la 80,7% după antrenarea cu recompense. Kappa lui Cohen, o măsură a concordanței peste nivelul așteptat întâmplător, a crescut de la 0,429 la 0,461, apoi la 0,544.

CodeRabbit a considerat că modificarea finală de 0,3 puncte procentuale a concordanței rutării reprezintă absența unei regresii, nu o îmbunătățire semnificativă statistic, deoarece intervalul de încredere calculat pe perechi includea zero. Comparația costurilor de servire a estimat o reducere de 50,4% la debit saturat: aceeași evaluare a costat 2,34 USD pe modelul de referință și 1,16 USD pe un A100 de la Baseten. Verificările în condiții de sarcină susținută și cu trafic de producție au rămas pentru o etapă ulterioară.

Harvey oferă un exemplu diferit de personalizare. Baseten afirmă că platforma de inteligență artificială pentru sectorul juridic ajustează ulterior, pe Baseten, modelele Nemotron pentru fluxuri de lucru specializate, folosite zilnic de zeci de mii de avocați. Într-o cercetare publicată de Harvey și Baseten pe 8 septembrie 2026, o cameră de date pentru fuziuni și achiziții a fost încărcată într-un mediu Python, iar un agent principal a primit posibilitatea de a delega sarcini de revizuire bine delimitate unor subagenți. Harvey a raportat că, pentru șapte modele testate pe 50 de camere de date rezervate evaluării, cadrul de lucru a crescut rata medie de îndeplinire a criteriilor din grilă de la 23,3% la 62,4%.

Relatarea lui Harvey mai arată că învățarea prin consolidare aplicată unui model principal Qwen3.5-122B-A10B i-a crescut rata de îndeplinire de la 29,9% la 63,0% în cazul celor 50 de camere de date, prezentând totodată experimentele drept explorări inițiale și diferența rămasă până la rate de îndeplinire aproape perfecte drept substanțială.

Implementare și inteligență artificială vocală

Baseten Loops conectează fluxurile de lucru gestionate pentru învățare prin consolidare la inferența dedicată, clienții păstrând dreptul de proprietate asupra ponderilor modelelor antrenate de ei. Loops este compatibil cu Nemotron 3.5 Super VL și Nemotron 3 Ultra, iar Super VL este disponibil pentru antrenare în formatele BF16 și NVFP4.

Companiile evaluează, de asemenea, agenți vocali bazați pe Nemotron în aplicații complete, analizând inclusiv calitatea și capacitatea de răspuns a modelelor. Benchmarkul de recunoaștere vocală din 4 august 2026 al Baseten a raportat că un singur NVIDIA H100 a susținut până la 100 de fluxuri audio WebSocket în timp real simultane. Latența de finalizare — timpul dintre momentul în care vorbitorul încheie și cel în care transcrierea finală este gata — a crescut de la 98 de milisecunde la opt fluxuri la 138 de milisecunde la 100.

Aderarea Baseten la coaliție conectează adaptarea modelelor la infrastructura folosită pentru a le furniza ulterior. Rezultatele obținute de clienți oferă dovezi concrete în sprijinul acestei abordări, în timp ce estimarea CodeRabbit la debit saturat și verificările de producție încă nefinalizate, împreună cu experimentele aflate în stadiu incipient ale Harvey, îi conturează limitele. Întrebarea esențială este cât de bine se mențin câștigurile măsurate în condiții de utilizare susținută în mediul de producție.