Baseten lansează Joey-1, un model de decizie cu 2B de parametri și ponderi deschise

Pe 29 octombrie 2026, Baseten a lansat joey-1, un model de decizie cu 2B de parametri, dezvoltat de laboratorul său intern de cercetare, Base Labs, cu un preț de 0,01 $ pentru un milion de tokenuri și disponibil prin Baseten Model APIs și cu ponderi deschise pe Hugging Face.

Odată cu joey-1, familia de modele de decizie Base Labs cuprinde acum trei dimensiuni. Anunțul prezintă noul model alături de mammoth-1 (27B) și elephant-1 (9B), lansate în lansarea familiei din 21 octombrie. La acea lansare anterioară, Baseten l-a descris pe mammoth-1 drept modelul clasat pe primul loc dintre 208 modele de decizie în Jev Decision Index, iar pe elephant-1 drept principalul model de decizie cu 9B de parametri. Toate cele trei modele sunt antrenate cu aceeași combinație de date și folosesc același API, ceea ce, potrivit companiei, permite trecerea de la unul la altul printr-o singură linie de cod. Baseten recomandă mammoth-1 pentru deciziile în care acuratețea contează cel mai mult, elephant-1 ca opțiune implicită echilibrată, iar joey-1 pentru sarcini cu volum mare și sensibile la latență.

Spre deosebire de modelele lingvistice mari generative (LLM), un model de decizie nu generează text. Într-o singură trecere înainte, acesta returnează o etichetă și un scor de încredere pentru eticheta respectivă, iar scorurile tuturor răspunsurilor posibile însumează 1. Având ca intrare o stare — text, opțional însoțit de imagini — și un set de întrebări, joey-1 returnează, printr-o singură preumplere cu prefix comun, o probabilitate calibrată pentru fiecare opțiune. Modelul acceptă trei tipuri de întrebări: da/nu, alegerea dintre opțiuni cu nume și niveluri de evaluare ordonate. Într-o postare anterioară despre familie, Baseten enumeră printre utilizările modelelor de decizie trierea și direcționarea tichetelor, detectarea spamului și a tentativelor de phishing, protecțiile pentru prompturi și detectarea jailbreakurilor, precum și direcționarea solicitărilor între modele lingvistice mari mici și modele de ultimă generație.

Baseten a declarat că transferul unei sarcini de lucru cu un model lingvistic mare la joey-1 merită atunci când volumul deciziilor este suficient de mare încât costul per apel să determine economia proiectului sau când decizia este o condiție prealabilă pentru un alt pas, iar latența acesteia se adaugă la fiecare răspuns. De exemplu, clasificarea a 10 milioane de tichete de asistență pe lună, cu aproximativ 500 de tokenuri fiecare, înseamnă în total 5 miliarde de tokenuri, pe care compania le tarifează la aproximativ 50 $ pe lună cu joey-1, față de 500 $ cu mammoth-1. Baseten descrie joey-1 drept un model de primă linie; dacă joey-1 nu este sigur de răspuns, se poate trece la modele mai puternice, precum elephant-1 sau mammoth-1.

Rezultatele raportate privind latența și performanța la evaluări comparative

Baseten a raportat că, la scară de producție, joey-1 procesează o solicitare medie de 2.000 de tokenuri cu o latență P50 de la un capăt la altul de 20 ms, fiind de aproximativ 2,5 ori mai rapid decât elephant-1, cu 49 ms, și a descris modelul ca fiind de 5 ori mai rapid decât modelele de decizie comparabile. Compania a declarat că, potrivit testărilor sale interne, ale căror detalii urmează să fie publicate, joey-1 este cel mai performant model de decizie cu cel mult 3B de parametri.

Fișa modelului arată că joey-1 a obținut 63,30 în setul public Jev Decision Index 0.4, situându-se pe locul 37 dintre 230 de modele și înregistrând cel mai mare scor dintre modelele cu mai puțin de 4B de parametri din acel set. Tabelul din fișă pentru setul public indică scoruri de 72,24 pentru elephant-1, 61,71 pentru Cloudflare Clef, 60,70 pentru Jev 1.14 și 60,06 pentru Perplexity Decider Flash v1.2. Potrivit fișei, joey-1 obține scoruri mai mici decât elephant-1 în fiecare domeniu evaluat și scoruri mai mari decât Jev 1.14 în patru dintre cele cinci domenii: limbaj, instrumente și automatizare, regăsire și clasificare, precum și arte și gust uman.

Pe replica internă Base Labs a Artificial Analysis Decision Index, fișa indică un scor de 62,9 pentru joey-1, sub scorurile lui mammoth-1 (65,9), elephant-1 (65,2) și d1-ultra (65). Pagina bibliotecii de modele Baseten precizează că, la lansarea din octombrie 2026, joey-1 este modelul cu 2B de parametri aflat pe primul loc în Jev Decision Index 0.4.

Datele și metodologia de antrenare

Potrivit fișei modelului, joey-1 a fost supus antrenării ulterioare pornind de la Qwen3.5-2B, folosind aceeași combinație de date și aceeași metodologie ca elephant-1 și mammoth-1, prin Baseten Training Jobs. Procesul a constat într-o ajustare fină completă a modelului lingvistic pe decizii bazate pe text și imagini, cu codificatorul vizual înghețat, folosind o mască de atenție bidirecțională pe blocuri pentru straturile cu atenție completă și o lungime maximă a secvenței de 16.384 de tokenuri.

Setul de date de antrenare a cuprins 6,21 milioane de exemple de decizii, într-o combinație pe care laboratorul o numește Mix 8: 58,3% competențe de bază în luarea deciziilor, 16,1% siguranță și abținere, 16,1% evaluare și domenii de specialitate și 9,5% date publice despre decizii. Obiectivul de antrenare a combinat entropia încrucișată cu un termen de calibrare Brier, cu lambda setat la 1, și a inclus o opțiune „Nu știu” antrenată pentru situațiile în care modelul nu este sigur de răspuns. Metodologia a presupus o epocă de 43.390 de pași, cu o rată de învățare maximă de 1e-5, optimizatorul AdamW, valori beta de 0,9 și 0,95 și fără decădere a ponderilor, o perioadă de încălzire de 3%, o scădere cosinusoidală a ratei de învățare și precizie bf16, folosind două noduri cu câte opt GPU-uri H100, adică 16 GPU-uri în total.

Disponibilitate, prețuri și implementare

joey-1 este disponibil prin Baseten Model APIs la endpointul /v1/systemone, cu ID-ul de model decision-models/baseten-joey-2b-latest și cu păstrarea zero a datelor activată implicit. Prețul afișat este de 0,01 $ pentru un milion de tokenuri de intrare, iar tokenurile de intrare din cache și cele de ieșire sunt tarifate la 0,00 $. Tabelul de prețuri al familiei indică 0,035 $ pentru elephant-1 și 0,1 $ pentru mammoth-1 la un milion de tokenuri, iar anunțul precizează că joey-1 costă o zecime din prețul lui mammoth-1.

În Model APIs, modelele de decizie acceptă o fereastră de context de 16k și sunt optimizate pentru sarcini de lucru cu latență redusă. Implementările dedicate permit utilizarea întregii ferestre de context de 262k și acceptă ponderi ajustate fin; Baseten a declarat că, datorită optimizărilor specifice sarcinilor de lucru și colocării cu sarcinile de lucru LLM, acestea pot oferi și un TTFT și un TPS mai bune (timpul până la primul token și numărul de tokenuri pe secundă). elephant-1 și joey-1 sunt disponibile pentru etapa de post-antrenare prin Baseten Training Jobs, iar compania a publicat pe GitHub un ghid practic pentru ajustarea fină.

Ponderile sunt disponibile sub licența MIT. Pentru găzduirea proprie, scriptul de configurare din fișa modelului instalează o versiune fixată a mediului de servire OneJev, cu un patch pentru servire, și necesită un singur GPU CUDA. Fișa precizează că solicitările care depășesc limitele de lungime pentru care a fost antrenat modelul sunt respinse, nu trunchiate.