Baseten udostępnia Joey-1, model decyzyjny z otwartymi wagami i 2 mld parametrów

29 października 2026 r. Baseten udostępnił joey-1, model decyzyjny z 2 mld parametrów, opracowany przez należące do firmy wewnętrzne laboratorium badawcze Base Labs. Jego cena wynosi 0,01 USD za milion tokenów, a model jest dostępny za pośrednictwem Baseten Model APIs oraz w postaci otwartych wag w serwisie Hugging Face.

Dzięki joey-1 rodzina modeli decyzyjnych Base Labs obejmuje teraz trzy modele różnej wielkości. W ogłoszeniu przedstawiono nowy model obok mammoth-1 (27 mld parametrów) i elephant-1 (9 mld parametrów), zaprezentowanych podczas premiery rodziny modeli 21 października. Przy tamtej premierze Baseten określił mammoth-1 jako najwyżej oceniany spośród 208 modeli decyzyjnych w indeksie Jev Decision Index, a elephant-1 jako wiodący model decyzyjny z 9 mld parametrów. Wszystkie trzy modele wytrenowano na tej samej mieszance danych i udostępniono im to samo API; według firmy przełączanie się między nimi wymaga zmiany jednej linijki kodu. Baseten pozycjonuje mammoth-1 jako model do zadań decyzyjnych, w których najważniejsza jest dokładność, elephant-1 jako zrównoważony model domyślny, a joey-1 jako rozwiązanie do obciążeń o dużym wolumenie i wrażliwych na opóźnienia.

W przeciwieństwie do generatywnych modeli LLM model decyzyjny nie generuje tekstu. W jednym przebiegu w przód zwraca etykietę i przypisaną jej ocenę pewności, a suma ocen dla wszystkich możliwych odpowiedzi wynosi 1. Na podstawie stanu — tekstu, opcjonalnie uzupełnionego obrazami — oraz zestawu pytań joey-1 zwraca skalibrowane prawdopodobieństwo dla każdej opcji, wykorzystując jedno wstępne przetwarzanie ze wspólnym prefiksem. Model obsługuje trzy typy pytań: tak/nie, wybór spośród nazwanych opcji oraz uporządkowane poziomy oceny. We wcześniejszym wpisie na temat rodziny modeli Baseten wymienia zastosowania modeli decyzyjnych, takie jak klasyfikowanie i przekierowywanie zgłoszeń, wykrywanie spamu i prób wyłudzenia informacji, zabezpieczenia promptów i wykrywanie jailbreaków oraz przekierowywanie żądań między małymi modelami LLM a modelami z czołówki.

Baseten poinformował, że przeniesienie obciążenia modelu LLM do joey-1 jest opłacalne, gdy liczba zadań decyzyjnych jest na tyle duża, że koszt pojedynczego wywołania wpływa na ekonomię projektu, albo gdy decyzja jest warunkiem wykonania kolejnego kroku i jej opóźnienie wydłuża czas każdej odpowiedzi. Przykładowo klasyfikowanie 10 milionów zgłoszeń do pomocy technicznej miesięcznie, po około 500 tokenów każde, oznacza łącznie 5 miliardów tokenów. Według cennika firmy koszt ich przetworzenia przez joey-1 wynosi około 50 USD miesięcznie, w porównaniu z 500 USD w przypadku mammoth-1. Baseten opisuje joey-1 jako model pierwszego wyboru, z możliwością eskalacji do większych modeli, takich jak elephant-1 lub mammoth-1, gdy joey-1 nie jest pewien odpowiedzi.

Podawane opóźnienia i wyniki testów porównawczych

Baseten podał, że przy obciążeniu produkcyjnym joey-1 obsługuje żądanie zawierające średnio 2000 tokenów ze średnim opóźnieniem od początku do końca na poziomie P50 wynoszącym 20 ms, czyli około 2,5 raza szybciej niż elephant-1, którego wynik to 49 ms. Firma określiła też model jako 5 razy szybszy od porównywalnych modeli decyzyjnych. Poinformowała również, że w jej wewnętrznych testach — których szczegóły zostaną podane później — joey-1 jest najlepszym modelem decyzyjnym mającym nie więcej niż 3 mld parametrów.

Z karty modelu wynika, że joey-1 uzyskał wynik 63,30 w publicznym zestawie danych Jev Decision Index 0.4, zajmując 37. miejsce spośród 230 modeli i osiągając w tym zestawie najwyższy wynik wśród modeli mających mniej niż 4 mld parametrów. W tabeli wyników dla publicznego zestawu danych karta wymienia elephant-1 z wynikiem 72,24, Cloudflare Clef z wynikiem 61,71, Jev 1.14 z wynikiem 60,70 oraz Perplexity Decider Flash v1.2 z wynikiem 60,06. Według karty joey-1 uzyskuje niższe wyniki niż elephant-1 we wszystkich ocenianych obszarach, a wyższe niż Jev 1.14 w czterech z pięciu: języku, narzędziach i automatyzacji, wyszukiwaniu informacji i klasyfikacji oraz sztuce i ludzkim guście.

W wewnętrznej kopii indeksu Artificial Analysis Decision Index przygotowanej przez Base Labs joey-1 uzyskał 62,9 punktu, mniej niż mammoth-1 (65,9), elephant-1 (65,2) i d1-ultra (65) — podaje karta modelu. Na stronie z katalogiem modeli Baseten informuje, że w chwili premiery, w październiku 2026 r., joey-1 był najlepszym modelem z 2 mld parametrów w Jev Decision Index 0.4.

Dane treningowe i metodyka

Według karty modelu joey-1 został poddany dalszemu treningowi na bazie Qwen3.5-2B, z użyciem tej samej mieszanki danych i metodyki co w przypadku elephant-1 i mammoth-1, za pośrednictwem Baseten Training Jobs. Proces obejmował pełne dostrajanie modelu językowego do zadań decyzyjnych dotyczących tekstu i obrazów, przy zamrożonym koderze wizji. W warstwach wykorzystujących pełną uwagę zastosowano blokową dwukierunkową maskę uwagi, a maksymalna długość sekwencji wynosiła 16 384 tokeny.

Zbiór treningowy obejmował 6,21 miliona przykładów decyzyjnych, połączonych w mieszankę nazwaną przez laboratorium Mix 8: 58,3% podstawowych umiejętności decyzyjnych, 16,1% bezpieczeństwa i wstrzymywania się od odpowiedzi, 16,1% oceniania i dziedzin eksperckich oraz 9,5% publicznych danych decyzyjnych. Funkcja celu treningu łączyła entropię krzyżową ze składnikiem kalibracyjnym Briera, przy lambdzie równej 1. Uwzględniała też wytrenowaną opcję „Nie wiem” na wypadek, gdyby model nie był pewien odpowiedzi. W ramach metodyki przeprowadzono jedną epokę, obejmującą 43 390 kroków, przy szczytowej szybkości uczenia 1e-5. Zastosowano optymalizator AdamW, wartości beta 0,9 i 0,95, brak zaniku wag, rozgrzewkę wynoszącą 3%, zanik kosinusowy oraz precyzję bf16. Trening odbywał się na dwóch węzłach, z których każdy miał osiem procesorów GPU H100, co dawało łącznie 16 GPU.

Dostępność, ceny i wdrażanie

joey-1 jest dostępny w ramach Baseten Model APIs za pośrednictwem punktu końcowego /v1/systemone, pod identyfikatorem modelu decision-models/baseten-joey-2b-latest; domyślnie włączone jest zerowe przechowywanie danych. Podana cena wynosi 0,01 USD za milion tokenów wejściowych, a cena za tokeny wejściowe z pamięci podręcznej i tokeny wyjściowe wynosi 0,00 USD. W tabeli cen całej rodziny modeli podano stawki 0,035 USD za milion tokenów dla elephant-1 i 0,1 USD za milion tokenów dla mammoth-1. W ogłoszeniu cenę joey-1 określono jako dziesięciokrotnie niższą niż cena mammoth-1.

W Baseten Model APIs modele decyzyjne obsługują okno kontekstu o długości 16k i są zoptymalizowane pod kątem zadań wymagających niskich opóźnień. Dedykowane wdrożenia odblokowują pełne okno kontekstu o długości 262k i obsługują dostrojone wagi; Baseten poinformował, że dzięki optymalizacjom dostosowanym do konkretnych obciążeń i współlokowaniu z obciążeniami LLM mogą one również zapewnić krótszy TTFT i wyższą wartość TPS (czas do wygenerowania pierwszego tokenu i liczba tokenów na sekundę). elephant-1 i joey-1 są dostępne do dalszego trenowania za pośrednictwem Baseten Training Jobs, a firma opublikowała na GitHub poradnik dostrajania.

Wagi udostępniono na licencji MIT. W przypadku samodzielnego hostowania skrypt konfiguracyjny z karty modelu instaluje środowisko uruchomieniowe do serwowania modelu w przypiętej wersji — OneJev z poprawką do serwowania — i wymaga jednej karty graficznej CUDA. W karcie podano, że żądania przekraczające limity długości, na których model był trenowany, są odrzucane, a nie obcinane.