Baseten wnosi wiedzę ekspercką w zakresie inferencji do koalicji NVIDIA Nemotron

Baseten ogłosił 5 listopada 2026 r., że dołączył do koalicji NVIDIA Nemotron, wnosząc do rozwoju otwartych modeli wiedzę zdobytą podczas pracy z obciążeniami korporacyjnymi oraz doświadczenie w zakresie dostrajania po treningu i inferencji. Członkostwo poszerza współpracę firmy z NVIDIA o premiery modeli, uczenie ze wzmocnieniem, dostosowywanie modeli i dedykowaną inferencję.

NVIDIA zainaugurowała działalność koalicji 16 marca 2026 r., aby połączyć badania, wiedzę ekspercką, dane i moc obliczeniową na potrzeby otwartych modeli z czołówki rynku. W ogłoszeniu dotyczącym jej uruchomienia NVIDIA poinformowała, że pierwszym projektem będzie model bazowy opracowany wspólnie przez Mistral AI i NVIDIA, trenowany w NVIDIA DGX Cloud, udostępniony na zasadach open source do specjalizacji przez deweloperów i organizacje oraz wykorzystany jako podstawa nadchodzącej rodziny Nemotron 4.

Baseten było partnerem premierowym od pierwszego dnia dla Nemotron 3.5 Super VL i Nemotron 3 Ultra. Rola firmy w koalicji wykracza poza udostępnianie gotowych modeli i obejmuje środowiska treningowe oraz wiedzę operacyjną ukształtowaną przez zastosowania korporacyjne. W praktyce nacisk położono na dostosowywanie modeli do konkretnych wymagań biznesowych, traktując jako powiązane kwestie jakość wdrożenia, koszty i elastyczność.

Trening z myślą o obciążeniach produkcyjnych

Firma opracowała środowiska uczenia ze wzmocnieniem przeznaczone do pracy ze złożonymi hierarchiami instrukcji: ignorowania nieistotnych informacji i stosowania się do szczegółowych preferencji dotyczących stylu. Inne środowiska wspierają rozumowanie i planowanie w długim horyzoncie czasowym, obejmujące analizę statystyczną złożonych zbiorów danych biologicznych, dowodzenie twierdzeń matematycznych oraz rywalizację w grach. Zadania te odzwierciedlają sposób, w jaki instrukcje w środowisku produkcyjnym są przekazywane za pośrednictwem monitów systemowych, definicji narzędzi, kolejnych wiadomości użytkowników, odpowiedzi narzędzi i komunikatów o błędach.

Prace nad modelami multimodalnymi obejmują zadania wymagające rozumowania wizualnego i przestrzennego oraz wieloetapowe wywołania narzędzi, które wymagają rozumienia obrazu. Baseten informuje, że dostrajanie po treningu poprawiło wyniki w MMMU-Pro, eksperckim benchmarku do oceny rozumowania multimodalnego. Powiązany artykuł, zgłoszony 5 października 2026 r., opisuje projektor o 50 milionach parametrów, który łączy enkoder obrazu Kimi K2.6 z GLM 5.2 i GLM 5.3, zachowując niezmienione wstępnie wytrenowane wagi; jego działanie oceniono w testach MMMU-Pro i BLINK.

Zmierzony wpływ dostosowywania modeli

W opisie badań z 11 sierpnia 2026 r. CodeRabbit przedstawia projekt realizowany z NVIDIA i Baseten, w ramach którego dostosowano Nemotron 3.5 Lightning do kierowania przeglądów kodu. Wykorzystano do tego nadzorowane dostrajanie, a następnie uczenie ze wzmocnieniem z nagrodami możliwymi do zweryfikowania. W ustalonej ewaluacji obejmującej 1000 zadań dokładna zgodność przypisania tras wzrosła z 75,8% w modelu bazowym do 80,4% po nadzorowanym dostrajaniu i 80,7% po treningu z nagrodami. Kappa Cohena, miara zgodności wykraczającej poza tę, której można oczekiwać przypadkowo, wzrosła z 0,429 do 0,461, a następnie do 0,544.

CodeRabbit uznał końcową zmianę zgodności przypisania tras o 0,3 punktu procentowego za brak regresji, a nie za statystycznie rozstrzygającą poprawę, ponieważ sparowany przedział ufności obejmował zero. W porównaniu kosztów obsługi oszacowano redukcję o 50,4% przy nasyconej przepustowości: ta sama ewaluacja kosztowała 2,34 USD na modelu bazowym i 1,16 USD na pojedynczym układzie Baseten A100. Testy przy długotrwałym obciążeniu i kontrole ruchu produkcyjnego pozostawiono na późniejszy etap.

Harvey stanowi inny przykład dostosowywania modeli. Baseten informuje, że platforma prawniczej sztucznej inteligencji dostraja po treningu model Nemotron w Baseten do wyspecjalizowanych procesów obsługujących codziennie dziesiątki tysięcy prawników. W odrębnych badaniach opublikowanych przez Harvey i Baseten 8 września 2026 r. załadowano zbiór dokumentów dotyczących transakcji fuzji i przejęć do środowiska Python, a następnie umożliwiono agentowi głównemu delegowanie ograniczonego zakresu analizy agentom podrzędnym. Harvey poinformował, że w przypadku siedmiu modeli i 50 odłożonych zbiorów dokumentów zastosowany system zwiększył średni odsetek zaliczonych kryteriów oceny z 23,3% do 62,4%.

W opisie Harvey podano również, że uczenie ze wzmocnieniem modelu głównego Qwen3.5-122B-A10B zwiększyło odsetek zaliczonych kryteriów z 29,9% do 63,0% w tych 50 zbiorach dokumentów. Eksperymenty określono jednak jako wstępne, a pozostałą drogę do niemal stuprocentowej skuteczności — jako znaczną.

Wdrażanie i głosowa sztuczna inteligencja

Baseten Loops łączy zarządzane procesy uczenia ze wzmocnieniem z dedykowaną inferencją, a klienci zachowują własność wag wytrenowanych modeli. Loops obsługuje Nemotron 3.5 Super VL i Nemotron 3 Ultra, przy czym Super VL jest dostępny do treningu w formatach BF16 i NVFP4.

Firmy oceniają również agentów głosowych opartych na Nemotron w kompletnych aplikacjach, uwzględniając jakość modeli i szybkość ich reakcji. W benchmarku rozpoznawania mowy z 4 sierpnia 2026 r. Baseten poinformowało, że pojedynczy NVIDIA H100 obsługiwał do 100 równoczesnych strumieni audio WebSocket w czasie rzeczywistym. Opóźnienie finalizacji, czyli czas od zakończenia wypowiedzi przez rozmówcę do udostępnienia końcowej transkrypcji, wzrosło z 98 milisekund przy ośmiu strumieniach do 138 milisekund przy 100 strumieniach.

Członkostwo Baseten w koalicji łączy dostosowywanie modeli z infrastrukturą wykorzystywaną do ich późniejszego udostępniania. Wyniki klientów dostarczają konkretnych dowodów na skuteczność tego podejścia, a szacunek CodeRabbit dotyczący kosztów przy nasyconej przepustowości i niedokończone testy produkcyjne, podobnie jak wczesny etap eksperymentów Harvey, wyznaczają jego ograniczenia. Kluczowe pytanie brzmi, jak dobrze zmierzone korzyści utrzymają się przy długotrwałym wykorzystaniu produkcyjnym.