Baseten brengt Joey-1 uit, een beslismodel met 2B parameters en open gewichten

Baseten bracht op 29 oktober 2026 joey-1 uit, een beslismodel met 2B parameters dat is ontwikkeld door het interne onderzoekslab Base Labs. Het model kost $0.01 per miljoen tokens en is beschikbaar via Baseten Model APIs en als open gewichten op Hugging Face.

Met joey-1 omvat de familie beslismodellen van Base Labs nu drie formaten. De aankondiging voegt het nieuwe model toe aan mammoth-1 (27B) en elephant-1 (9B), die werden uitgebracht bij de release van de modelfamilie op 21 oktober. Bij die eerdere release omschreef Baseten mammoth-1 als het hoogst gerangschikte model van 208 beslismodellen in de Jev Decision Index, en elephant-1 als het toonaangevende beslismodel met 9B parameters. Alle drie de modellen zijn getraind met dezelfde datamix en gebruiken dezelfde API. Volgens het bedrijf is overstappen tussen de modellen daardoor een wijziging van één regel. Baseten positioneert mammoth-1 voor beslissingen waarbij nauwkeurigheid het belangrijkst is, elephant-1 als de uitgebalanceerde standaardkeuze en joey-1 voor workloads met een hoog volume en strenge latentie-eisen.

In tegenstelling tot generatieve LLM’s genereert een beslismodel geen tekst. Het geeft in één forward pass een label en een betrouwbaarheids score voor dat label terug, waarbij de scores voor alle mogelijke antwoorden samen 1 bedragen. Op basis van een toestand — tekst, eventueel met afbeeldingen — en een reeks vragen geeft joey-1 voor elke optie een gekalibreerde waarschijnlijkheid terug vanuit één prefill met een gedeelde prefix. Het model ondersteunt drie soorten vragen: ja/nee-vragen, een keuze uit benoemde opties en geordende beoordelingsniveaus. In een eerdere publicatie over de modelfamilie noemt Baseten toepassingen van beslismodellen, zoals het sorteren en routeren van tickets, het detecteren van spam en phishing, het toepassen van promptbeveiligingen en het detecteren van jailbreaks, en het routeren van verzoeken tussen kleine LLM’s en grensverleggende LLM’s.

Volgens Baseten is het zinvol om een LLM-workload naar joey-1 over te zetten wanneer het aantal beslissingen zo hoog is dat de kosten per aanroep bepalend zijn voor de projecteconomie, of wanneer een beslissing een voorwaarde is voor een volgende stap en de latentie ervan bij elke respons wordt opgeteld. Als voorbeeld noemt het bedrijf de classificatie van 10 miljoen supporttickets per maand, met ongeveer 500 tokens per ticket: dat komt neer op 5 miljard tokens, waarvoor joey-1 ongeveer $50 per maand kost, tegenover $500 voor mammoth-1. Baseten omschrijft joey-1 als een eerstelijnsmodel, met zwaardere modellen zoals elephant-1 of mammoth-1 als mogelijke vervolgstap wanneer joey-1 onzeker is.

Gerapporteerde latentie en benchmarkresultaten

Baseten rapporteerde dat joey-1 op productieschaal een verzoek van gemiddeld 2.000 tokens afhandelt met een P50-latentie van 20 ms van begin tot eind. Dat is ongeveer 2,5 keer sneller dan elephant-1, dat 49 ms nodig heeft. Het bedrijf omschreef het model ook als 5 keer sneller dan vergelijkbare beslismodellen. Volgens Baseten is joey-1 in interne tests, waarvan de details later volgen, het sterkste beslismodel met 3B of minder parameters.

Volgens de modelkaart behaalde joey-1 een score van 63.30 op de openbare split van Jev Decision Index 0.4, waarmee het model op de 37e plaats van 230 modellen eindigde. Op die split behaalde het bovendien de hoogste score van alle modellen met minder dan 4B parameters. In de tabel met resultaten op de openbare split staan voor elephant-1 72.24, voor Cloudflare Clef 61.71, voor Jev 1.14 60.70 en voor Perplexity Decider Flash v1.2 60.06. Volgens de modelkaart scoort joey-1 op elk geëvalueerd gebied lager dan elephant-1 en op vier van de vijf gebieden hoger dan Jev 1.14: taal, tools en automatisering, retrieval en classificatie, en kunst en menselijke smaak.

Op de interne replica van de Artificial Analysis Decision Index van Base Labs scoort joey-1 volgens de modelkaart 62.9, tegenover 65.9 voor mammoth-1, 65.2 voor elephant-1 en 65 voor d1-ultra. Op Basetens pagina met modelbibliotheek staat dat joey-1 bij de release in oktober 2026 het hoogst scorende 2B-model in Jev Decision Index 0.4 is.

Trainingsgegevens en -methode

Volgens de modelkaart is joey-1 na de voortraining verder getraind op basis van Qwen3.5-2B, met dezelfde datamix en trainingsmethode als elephant-1 en mammoth-1, via Baseten Training Jobs. Het proces bestond uit een volledige fine-tuning van het taalmodel voor beslissingen op basis van tekst en afbeeldingen, terwijl de vision encoder bevroren bleef. Daarbij werd een blok-bidirectioneel aandachtsmasker gebruikt op lagen met volledige aandacht en bedroeg de maximale sequentielengte 16,384 tokens.

De trainingsdataset bestond uit 6.21 miljoen beslisvoorbeelden, verdeeld over een datamix die het lab Mix 8 noemt: 58.3% kernvaardigheden voor besluitvorming, 16.1% veiligheid en onthouding van antwoorden, 16.1% beoordeling en expertisedomeinen, en 9.5% openbare beslisgegevens. De trainingsdoelfunctie combineerde cross-entropie met een Brier-kalibratieterm, waarbij lambda op 1 was ingesteld. Ook bevatte de dataset een getrainde optie ‘Ik weet het niet’ voor gevallen waarin het model onzeker is over zijn antwoord. De trainingsmethode omvatte één epoch van 43,390 stappen, met een piekleersnelheid van 1e-5, de AdamW-optimizer, betawaarden van 0.9 en 0.95 en geen weight decay, een warm-up van 3%, cosinusverval en bf16-precisie. De training draaide op twee nodes met elk acht H100-GPU’s, in totaal 16 GPU’s.

Beschikbaarheid, prijzen en implementatie

joey-1 is beschikbaar via Baseten Model APIs op het endpoint /v1/systemone, onder de model-ID decision-models/baseten-joey-2b-latest. Het bewaren van gegevens is standaard uitgeschakeld. De vermelde prijs is $0.01 per miljoen invoertokens; voor invoertokens uit de cache en uitvoertokens staat een prijs van $0.00 vermeld. In de prijstabel voor de modelfamilie kost elephant-1 $0.035 en mammoth-1 $0.1 per miljoen tokens. In de aankondiging staat dat joey-1 een tiende kost van mammoth-1.

Op Model APIs ondersteunen de beslismodellen een contextvenster van 16k en zijn ze geoptimaliseerd voor workloads met lage latentie. Met dedicated implementaties wordt het volledige contextvenster van 262k beschikbaar en kunnen fijn afgestemde gewichten worden gebruikt. Baseten zegt dat deze implementaties dankzij workload-specifieke optimalisaties en co-locatie met LLM-workloads ook een kortere TTFT en hogere TPS kunnen bieden (tijd tot het eerste token en tokens per seconde). elephant-1 en joey-1 zijn beschikbaar voor post-training via Baseten Training Jobs, en het bedrijf heeft een kookboek voor fine-tuning op GitHub gepubliceerd.

De gewichten zijn beschikbaar onder de MIT-licentie. Voor zelfhosting installeert het installatiescript op de modelkaart een vastgezette servingruntime, OneJev met een servingpatch, en is één CUDA-GPU vereist. Op de modelkaart staat dat verzoeken die de getrainde lengtelimieten overschrijden, worden geweigerd in plaats van afgekapt.