Baseten lanserer Joey-1, en beslutningsmodell med åpne vekter på 2B parametere

Baseten lanserte 29. oktober 2026 joey-1, en beslutningsmodell med 2B parametere utviklet av selskapets interne forskningslaboratorium Base Labs. Modellen koster 0,01 dollar per million tokens og er tilgjengelig gjennom Baseten Model APIs og med åpne vekter på Hugging Face.

Med joey-1 omfatter Base Labs’ familie av beslutningsmodeller nå tre størrelser. Kunngjøringen presenterer den nye modellen sammen med mammoth-1 (27B) og elephant-1 (9B) fra lanseringen av modellfamilien 21. oktober. Da den tidligere modellen ble lansert, beskrev Baseten mammoth-1 som den høyest rangerte av 208 beslutningsmodeller på Jev Decision Index og elephant-1 som den ledende beslutningsmodellen med 9B parametere. Alle de tre modellene er trent på den samme datamiksen og bruker det samme API-et, noe selskapet sier gjør at man kan bytte mellom dem med én linje kode. Baseten anbefaler mammoth-1 for beslutninger der nøyaktighet er viktigst, elephant-1 som et balansert standardvalg og joey-1 for arbeidsbelastninger med stort volum og strenge krav til responstid.

I motsetning til generative LLM-er genererer ikke en beslutningsmodell tekst. Den returnerer en etikett og en konfidensskår for etiketten i ett gjennomløp, og skårene for alle mulige svar summerer seg til 1. Når joey-1 får en tilstand – tekst, eventuelt med bilder – og et sett med spørsmål, returnerer modellen en kalibrert sannsynlighet for hvert alternativ fra én prefylling med delt prefiks. Modellen støtter tre typer spørsmål: ja/nei, valg mellom navngitte alternativer og ordnede skåringsnivåer. I et tidligere innlegg om modellfamilien lister Baseten opp bruksområder for beslutningsmodeller, blant annet sortering og ruting av saker, oppdagelse av søppelpost og nettfisking, beskyttelse av instruksjoner og oppdagelse av jailbreak-forsøk samt ruting av forespørsler mellom små LLM-er og de mest avanserte LLM-ene.

Baseten sa at det lønner seg å flytte en arbeidsbelastning for en LLM til joey-1 når beslutningsvolumet er stort nok til at kostnaden per kall avgjør prosjektøkonomien, eller når beslutningen er en forutsetning for et senere trinn og forsinkelsen dermed legges til hvert svar. Som eksempel viser selskapet til at klassifisering av 10 millioner supportsaker i måneden, med omtrent 500 tokens per sak, utgjør totalt 5 milliarder tokens. Baseten beregner kostnaden for dette til omtrent 50 dollar i måneden med joey-1, mot 500 dollar med mammoth-1. Baseten beskriver joey-1 som en førstelinjemodell, med tyngre modeller som elephant-1 eller mammoth-1 tilgjengelige som et neste trinn dersom joey-1 er usikker.

Rapporterte resultater for responstid og referansetester

Baseten rapporterte at joey-1 ved produksjonsskala behandler en forespørsel på gjennomsnittlig 2 000 tokens med en P50-responstid fra start til slutt på 20 ms, omtrent 2,5 ganger raskere enn elephant-1, som bruker 49 ms. Selskapet beskrev også modellen som 5 ganger raskere enn sammenlignbare beslutningsmodeller. Baseten sa at joey-1 i selskapets interne tester er den sterkeste beslutningsmodellen med 3B parametere eller færre, og at detaljer vil komme senere.

Ifølge modellkortet fikk joey-1 63,30 poeng på den offentlige delmengden av Jev Decision Index 0.4, noe som plasserte modellen på 37. plass av 230 modeller. Den fikk også den høyeste skåren blant modeller med under 4B parametere på denne delmengden. Tabellen for den offentlige delmengden i modellkortet viser elephant-1 med 72,24 poeng, Cloudflare Clef med 61,71, Jev 1.14 med 60,70 og Perplexity Decider Flash v1.2 med 60,06. Ifølge modellkortet får joey-1 lavere skår enn elephant-1 på alle områdene som ble evaluert, og høyere skår enn Jev 1.14 på fire av fem områder: språk, verktøy og automatisering, gjenfinning og klassifisering samt kunst og menneskelig smak.

På Base Labs’ interne kopi av Artificial Analysis Decision Index oppgir modellkortet en skår på 62,9 for joey-1, lavere enn mammoth-1 med 65,9, elephant-1 med 65,2 og d1-ultra med 65. På siden med modelloversikten oppgir Baseten at joey-1 ved lanseringen i oktober 2026 er den best rangerte modellen med 2B parametere på Jev Decision Index 0.4.

Treningsdata og oppskrift

Ifølge modellkortet ble joey-1 videreutdannet fra Qwen3.5-2B med samme datamiks og treningsoppskrift som elephant-1 og mammoth-1, ved hjelp av Baseten Training Jobs. Prosessen besto av full finjustering av språkmodellen på beslutninger basert på tekst og bilder, mens synsmodellen var fryst. Det ble brukt en blokk-bidereksjonal oppmerksomhetsmaske i lagene med full oppmerksomhet og en maksimal sekvenslengde på 16 384 tokens.

Treningsdatasettet besto av 6,21 millioner beslutningseksempler i en blanding laboratoriet kaller Mix 8: 58,3 % grunnleggende beslutningsferdigheter, 16,1 % sikkerhet og avståelse fra å svare, 16,1 % vurdering og ekspertområder samt 9,5 % offentlige beslutningsdata. Treningsmålet kombinerte kryssentropi med et Brier-ledd for kalibrering, der lambda var satt til 1. Det omfattet også et trent «Jeg vet ikke»-alternativ for tilfeller der modellen er usikker på svaret. Oppskriften brukte én epoke på 43 390 trinn med en maksimal læringsrate på 1e-5 og AdamW-optimalisatoren, beta-verdier på 0,9 og 0,95, ingen vektnedgang, 3 % oppvarming, cosinusnedtrapping og bf16-presisjon. Treningsjobben kjørte på to noder med åtte H100-GPU-er hver, altså 16 GPU-er totalt.

Tilgjengelighet, priser og utrulling

joey-1 er tilgjengelig gjennom Baseten Model APIs via endepunktet /v1/systemone med modell-ID-en decision-models/baseten-joey-2b-latest. Som standard er ingen data lagret etter behandling. Den oppførte prisen er 0,01 dollar per million inndatatokens, mens mellomlagrede inndata og utdata er oppført til 0,00 dollar. Prisoversikten for modellfamilien oppgir 0,035 dollar for elephant-1 og 0,1 dollar for mammoth-1 per million tokens. I kunngjøringen beskrives prisen på joey-1 som en tidel av prisen på mammoth-1.

På Model APIs støtter beslutningsmodellene et kontekstvindu på 16k og er optimalisert for arbeidsbelastninger med lav forsinkelse. Dedikerte utrullinger gir tilgang til hele kontekstvinduet på 262k og støtte for finjusterte vekter. Baseten opplyste at de også kan gi kortere tid til første token (TTFT) og høyere hastighet målt i token per sekund (TPS) gjennom optimaliseringer tilpasset arbeidsbelastningen og samlokalisering med LLM-arbeidsbelastninger. elephant-1 og joey-1 er tilgjengelige for ettertrening med Baseten Training Jobs, og selskapet har publisert en kokebok for finjustering på GitHub.

Vektene er åpne under MIT-lisensen. For egen hosting installerer oppsettskriptet i modellkortet et versjonslåst kjøretidsmiljø for modellservering, OneJev med en serveringsoppdatering, og krever én CUDA-GPU. Modellkortet opplyser at forespørsler som overskrider de trente lengdegrensene, avvises i stedet for å bli avkortet.