Baseten lancerer Joey-1, en beslutningsmodel med 2B åbne vægte

Den 29. oktober 2026 lancerede Baseten joey-1, en beslutningsmodel med 2B parametre, udviklet af virksomhedens interne forskningslaboratorium Base Labs. Modellen koster $0,01 pr. million tokens og kan bruges via Baseten Model APIs samt hentes med åbne vægte på Hugging Face.

Med joey-1 omfatter Base Labs’ familie af beslutningsmodeller nu tre størrelser. Meddelelsen præsenterer den nye model sammen med mammoth-1 (27B) og elephant-1 (9B) fra familielanceringen den 21. oktober. Ved den tidligere lancering beskrev Baseten mammoth-1 som den højest placerede af 208 beslutningsmodeller på Jev Decision Index og elephant-1 som den førende beslutningsmodel med 9B parametre. Alle tre modeller er trænet på den samme blanding af data og bruger den samme API, hvilket ifølge virksomheden gør det muligt at skifte mellem dem ved at ændre én linje kode. Baseten anbefaler mammoth-1 til beslutninger, hvor nøjagtighed er vigtigst, elephant-1 som den afbalancerede standardmodel og joey-1 til arbejdsbelastninger med stor volumen og høje krav til latenstid.

I modsætning til generative LLM’er genererer en beslutningsmodel ikke tekst. Den returnerer en etiket og en konfidensscore for etiketten i ét fremadrettet gennemløb, og scorerne for alle mulige svar summerer til 1. Når modellen får en tilstand – tekst, eventuelt sammen med billeder – og et sæt spørgsmål, returnerer joey-1 en kalibreret sandsynlighed for hver mulighed ved hjælp af én fælles præfiks-prefill. Modellen understøtter tre typer spørgsmål: ja/nej, valg mellem navngivne muligheder og ordnede bedømmelsesniveauer. I et tidligere indlæg om modelserien oplister Baseten blandt anvendelserne af beslutningsmodeller prioritering og videresendelse af supportsager, registrering af spam og phishing, beskyttelse af prompts mod jailbreaks samt videresendelse af forespørgsler mellem små og avancerede LLM’er.

Baseten oplyste, at det kan betale sig at flytte en LLM-arbejdsbelastning til joey-1, når antallet af beslutninger er så stort, at prisen pr. kald afgør projektets økonomi, eller når beslutningen er en forudsætning for et efterfølgende trin, så dens latenstid lægges til hvert svar. Som eksempel nævner virksomheden, at klassificering af 10 millioner supportsager om måneden med omkring 500 tokens pr. sag giver i alt 5 milliarder tokens. Det koster ifølge virksomheden cirka $50 om måneden med joey-1 mod $500 med mammoth-1. Baseten beskriver joey-1 som en model til første trin, hvor tungere modeller som elephant-1 eller mammoth-1 kan bruges som eskalering, hvis joey-1 er usikker.

Rapporteret latenstid og benchmarkresultater

Baseten rapporterede, at joey-1 ved produktionsskala behandler en forespørgsel på gennemsnitligt 2.000 tokens med en P50-latenstid fra start til slut på 20 ms, cirka 2,5 gange hurtigere end elephant-1, der bruger 49 ms. Virksomheden beskrev også modellen som 5 gange hurtigere end sammenlignelige beslutningsmodeller. Baseten oplyste, at joey-1 i virksomhedens interne test – som der kommer flere oplysninger om senere – er den stærkeste beslutningsmodel med højst 3B parametre.

Ifølge modelkortet fik joey-1 en score på 63,30 på den offentlige del af Jev Decision Index 0.4, hvilket placerede modellen som nummer 37 ud af 230 modeller. På denne del opnåede den den højeste score blandt modeller med under 4B parametre. Tabellen over den offentlige del viser scorer på 72,24 for elephant-1, 61,71 for Cloudflare Clef, 60,70 for Jev 1.14 og 60,06 for Perplexity Decider Flash v1.2. Ifølge modelkortet scorer joey-1 lavere end elephant-1 på alle evaluerede områder og højere end Jev 1.14 på fire af de fem områder: sprog, værktøjer og automatisering, informationssøgning og klassificering samt kunst og menneskelig smag.

På Base Labs’ interne kopi af Artificial Analysis Decision Index rapporterer modelkortet en score på 62,9 for joey-1, hvilket er lavere end mammoth-1’s 65,9, elephant-1’s 65,2 og d1-ultra’s 65. På Basetens side med modelbiblioteket står der, at joey-1 ved lanceringen i oktober 2026 er den førende 2B-model på Jev Decision Index 0.4.

Træningsdata og metode

Ifølge modelkortet blev joey-1 eftertrænet fra Qwen3.5-2B med samme blanding af data og samme metode som elephant-1 og mammoth-1 ved hjælp af Baseten Training Jobs. Processen bestod af en fuld finjustering af sprogmodellen på beslutninger baseret på tekst og billeder, mens synsencoderen var frosset. Der blev brugt en blok-bidirektionel opmærksomhedsmaske på lag med fuld opmærksomhed og en maksimal sekvenslængde på 16.384 tokens.

Træningsdatasættet bestod af 6,21 millioner beslutningseksempler i en blanding, som laboratoriet kalder Mix 8: 58,3 % grundlæggende beslutningsfærdigheder, 16,1 % sikkerhed og afståelse fra at svare, 16,1 % bedømmelse og ekspertområder samt 9,5 % offentlige beslutningsdata. Træningsmålet kombinerede krydsentropi med et Brier-led til kalibrering, hvor lambda var sat til 1, og omfattede en trænet svarmulighed med teksten “Det ved jeg ikke” til tilfælde, hvor modellen er usikker på sit svar. Træningen omfattede én epoke på 43.390 trin med en maksimal læringsrate på 1e-5, AdamW-optimeringsalgoritmen, beta-værdier på 0,9 og 0,95 uden vægtforfald, en opvarmningsfase på 3 %, cosinusformet aftagning af læringsraten og bf16-præcision. Den blev kørt på to noder med hver otte H100-GPU’er, altså 16 GPU’er i alt.

Tilgængelighed, priser og implementering

joey-1 er tilgængelig via Baseten Model APIs på /v1/systemone-endpointet under model-id’et decision-models/baseten-joey-2b-latest, og datalagring er som standard deaktiveret. Den angivne pris er $0,01 pr. million inputtokens, mens cachelagrede inputtokens og outputtokens er angivet til $0,00. Prisoversigten for modelserien angiver en pris på $0,035 pr. million tokens for elephant-1 og $0,1 for mammoth-1, og i meddelelsen beskrives prisen på joey-1 som en tiendedel af prisen på mammoth-1.

I Model APIs understøtter beslutningsmodellerne et kontekstvindue på 16k og er optimeret til arbejdsbelastninger med lav latenstid. Dedikerede implementeringer giver adgang til det fulde kontekstvindue på 262k og understøtter finjusterede vægte; Baseten oplyste, at de også kan give kortere TTFT og højere TPS (tid til første token og tokens pr. sekund) gennem optimeringer, der er tilpasset den enkelte arbejdsbelastning, og samplacering med LLM-arbejdsbelastninger. elephant-1 og joey-1 kan eftertrænes via Baseten Training Jobs, og virksomheden har udgivet en vejledning i finjustering på GitHub.

Vægtene er åbne under MIT-licensen. Til selvhosting installerer modelkortets installationsscript et versionsfastlåst serving-runtime, OneJev med en serving-patch, og kræver én CUDA-GPU. Det fremgår af modelkortet, at anmodninger, der overskrider grænserne for den trænede længde, afvises i stedet for at blive afkortet.