Baseten släpper Joey-1, en beslutsmodell med 2 miljarder parametrar och öppna vikter

Den 29 oktober 2026 släppte Baseten joey-1, en beslutsmodell med 2 miljarder parametrar som utvecklats av företagets interna forskningslabb Base Labs. Modellen kostar 0,01 dollar per miljon token och finns tillgänglig via Baseten Model APIs och med öppna vikter på Hugging Face.

Med joey-1 omfattar Base Labs familj av beslutsmodeller nu tre storlekar. I tillkännagivandet presenteras den nya modellen tillsammans med mammoth-1 (27B) och elephant-1 (9B), som ingick i familjesläppet den 21 oktober. Vid det tidigare släppet beskrev Baseten mammoth-1 som den högst rankade av 208 beslutsmodeller i Jev Decision Index och elephant-1 som den främsta beslutsmodellen med 9B parametrar. Alla tre modeller har tränats på samma datamix och använder samma API, vilket enligt företaget innebär att det räcker med en enda rad kod för att byta mellan dem. Baseten rekommenderar mammoth-1 för beslut där träffsäkerheten är viktigast, elephant-1 som ett balanserat standardval och joey-1 för arbetsbelastningar med stor volym och höga krav på låg latens.

Till skillnad från generativa stora språkmodeller genererar en beslutsmodell inte text. I ett enda framåtpass returnerar den en etikett och ett konfidensvärde för etiketten, där värdena för alla möjliga svar tillsammans blir 1. Utifrån ett tillstånd – text, eventuellt med bilder – och en uppsättning frågor returnerar joey-1 en kalibrerad sannolikhet för varje alternativ genom en gemensam prefyllning med delat prefix. Modellen stöder tre frågetyper: ja/nej, val mellan namngivna alternativ och ordnade poängskalor. I ett tidigare inlägg om modellfamiljen räknar Baseten upp användningsområden för beslutsmodeller, däribland prioritering och dirigering av ärenden, upptäckt av skräppost och nätfiske, skyddsräcken för promptar och upptäckt av jailbreak-försök samt dirigering av förfrågningar mellan små och avancerade stora språkmodeller.

Baseten uppgav att det lönar sig att flytta en arbetsbelastning för en stor språkmodell till joey-1 när beslutsvolymen är så stor att kostnaden per anrop påverkar projektets ekonomi, eller när beslutet är en förutsättning för ett efterföljande steg och dess latens läggs till varje svar. Som exempel nämner företaget klassificering av 10 miljoner supportärenden i månaden med ungefär 500 token vardera, vilket motsvarar totalt 5 miljarder token. Enligt företagets prissättning kostar det cirka 50 dollar i månaden med joey-1, jämfört med 500 dollar med mammoth-1. Baseten beskriver joey-1 som en förstalinjemodell, med tyngre modeller som elephant-1 eller mammoth-1 tillgängliga som nästa steg när joey-1 är osäker.

Rapporterade resultat för latens och jämförelser

Baseten uppgav att joey-1 vid produktionsskala hanterar en förfrågan på i genomsnitt 2 000 token med en P50-latens från början till slut på 20 ms, cirka 2,5 gånger snabbare än elephant-1, som har en latens på 49 ms. Företaget beskrev också modellen som fem gånger snabbare än jämförbara beslutsmodeller. Baseten uppgav att joey-1 i företagets interna tester är den starkaste beslutsmodellen med högst 3B parametrar. Mer information om testerna kommer senare.

Enligt modellkortet fick joey-1 63,30 poäng på den offentliga delmängden av Jev Decision Index 0.4. Det placerar modellen på 37:e plats av 230 modeller och är det högsta resultatet bland modeller med färre än 4B parametrar i den delmängden. I modellkortets tabell över den offentliga delmängden redovisas elephant-1 med 72,24 poäng, Cloudflare Clef med 61,71, Jev 1.14 med 60,70 och Perplexity Decider Flash v1.2 med 60,06. Enligt modellkortet får joey-1 lägre poäng än elephant-1 inom samtliga utvärderade områden och högre poäng än Jev 1.14 inom fyra av fem: språk, verktyg och automatisering, informationssökning och klassificering samt konst och mänsklig smak.

I Base Labs interna kopia av Artificial Analysis Decision Index får joey-1 enligt modellkortet 62,9 poäng, jämfört med 65,9 för mammoth-1, 65,2 för elephant-1 och 65 för d1-ultra. På Basetens modellsida står det att joey-1 vid lanseringen i oktober 2026 är den högst rankade modellen med 2B parametrar i Jev Decision Index 0.4.

Träningsdata och metod

Enligt modellkortet finjusterades joey-1 efter förträningen med Qwen3.5-2B, med samma datamix och metod som elephant-1 och mammoth-1, via Baseten Training Jobs. Processen bestod av en fullständig finjustering av språkmodellen för beslut baserade på text och bilder, medan synkodaren hölls fryst. Den använde en blockbaserad dubbelriktad uppmärksamhetsmask i lager med full uppmärksamhet och en maximal sekvenslängd på 16 384 token.

Träningsdatasetet bestod av 6,21 miljoner beslutsexempel i en blandning som labbet kallar Mix 8: 58,3 % grundläggande beslutsförmågor, 16,1 % säkerhet och avstående från att svara, 16,1 % bedömning och expertområden samt 9,5 % offentliga beslutsdata. Träningsmålet kombinerade korsentropi med en Brier-kalibreringsterm, där lambda sattes till 1. Det omfattade också ett tränat svarsalternativ ”Jag vet inte” för fall då modellen är osäker på sitt svar. Träningsmetoden omfattade en epok med 43 390 steg, en maximal inlärningshastighet på 1e-5, optimeraren AdamW med betavärdena 0,9 och 0,95 och ingen viktminskning, en uppvärmningsfas på 3 %, cosinusavtagning och bf16-precision. Träningen kördes på två noder med åtta H100-GPU:er vardera, totalt 16 GPU:er.

Tillgänglighet, prissättning och driftsättning

joey-1 är tillgänglig via Baseten Model APIs på slutpunkten /v1/systemone under modell-ID:t decision-models/baseten-joey-2b-latest. Datalagring är som standard inaktiverad. Det angivna priset är 0,01 dollar per miljon indatatoken, medan cachad indata och utdata anges kosta 0,00 dollar. I familjens pristabell anges priset för elephant-1 till 0,035 dollar och för mammoth-1 till 0,1 dollar per miljon token. I tillkännagivandet beskrivs joey-1:s pris som en tiondel av mammoth-1:s.

På Model APIs stöder beslutsmodellerna ett kontextfönster på 16k och är optimerade för arbetsbelastningar med låg latens. Dedikerade driftsättningar ger tillgång till hela kontextfönstret på 262k och stöder finjusterade vikter. Baseten uppgav att de också kan ge snabbare TTFT och TPS (tid till första token respektive antal token per sekund) genom arbetsbelastningsspecifika optimeringar och samlokalisering med LLM-arbetsbelastningar. elephant-1 och joey-1 finns tillgängliga för efterträning med Baseten Training Jobs, och företaget har publicerat en kokbok för finjustering på GitHub.

Vikterna är öppna under MIT-licensen. För egen drift installerar modellkortets installationsskript en versionslåst serveringsmiljö, OneJev med en serveringspatch, och kräver en CUDA-GPU. Modellkortet anger att förfrågningar som överskrider de tränade längdgränserna avvisas i stället för att trunkeras.