Baseten lancia Joey-1, un modello decisionale da 2B a pesi aperti

Il 29 ottobre 2026 Baseten ha rilasciato joey-1, un modello decisionale da 2B di parametri sviluppato dal suo laboratorio di ricerca interno Base Labs, al prezzo di 0,01 $ per milione di token e disponibile tramite Baseten Model APIs e con pesi aperti su Hugging Face.

Con joey-1, la famiglia di modelli decisionali di Base Labs comprende ora tre dimensioni. L’annuncio affianca il nuovo modello a mammoth-1 (27B) ed elephant-1 (9B), presentati nel rilascio della famiglia del 21 ottobre. In occasione di quel precedente rilascio, Baseten aveva descritto mammoth-1 come il modello decisionale meglio classificato tra i 208 presenti nel Jev Decision Index ed elephant-1 come il principale modello decisionale da 9B. Tutti e tre i modelli sono addestrati sulla stessa miscela di dati e condividono la stessa API; secondo l’azienda, per passare da uno all’altro basta modificare una riga. Baseten propone mammoth-1 per le decisioni in cui la precisione è fondamentale, elephant-1 come opzione predefinita equilibrata e joey-1 per i carichi di lavoro ad alto volume e sensibili alla latenza.

A differenza degli LLM generativi, un modello decisionale non genera testo. In un unico passaggio in avanti restituisce un’etichetta e il relativo punteggio di confidenza; i punteggi di tutte le risposte possibili sommano a 1. Dato uno stato — testo, eventualmente accompagnato da immagini — e un insieme di domande, joey-1 restituisce una probabilità calibrata per ciascuna opzione a partire da un’unica precompilazione con prefisso condiviso. Il modello supporta tre tipi di domande: sì/no, scelta tra opzioni con nome e livelli di valutazione ordinati. Nel precedente articolo sulla famiglia, Baseten elenca tra gli usi dei modelli decisionali la classificazione e l’instradamento dei ticket, il rilevamento di spam e phishing, le protezioni dei prompt e il rilevamento dei jailbreak, nonché l’instradamento delle richieste tra LLM di piccole dimensioni e LLM di frontiera.

Baseten ha dichiarato che trasferire un carico di lavoro LLM a joey-1 è conveniente quando il volume delle decisioni è abbastanza elevato da rendere il costo per chiamata determinante per l’economia del progetto, oppure quando la decisione è un prerequisito per una fase successiva e la sua latenza si aggiunge a quella di ogni risposta. Per esempio, classificare 10 milioni di ticket di assistenza al mese, con circa 500 token ciascuno, equivale a un totale di 5 miliardi di token, che secondo i prezzi dell’azienda costano circa 50 $ al mese con joey-1 contro 500 $ con mammoth-1. Baseten descrive joey-1 come modello di prima linea, con modelli più potenti come elephant-1 o mammoth-1 disponibili come opzione di escalation quando joey-1 non è sicuro.

Latenza dichiarata e risultati dei benchmark

Baseten ha riferito che, su scala di produzione, joey-1 elabora una richiesta media di 2.000 token con una latenza end-to-end P50 di 20 ms, circa 2,5 volte più velocemente di elephant-1, che impiega 49 ms; l’azienda ha inoltre descritto il modello come 5 volte più veloce dei modelli decisionali comparabili. Baseten ha dichiarato che, secondo i test interni, i cui dettagli saranno pubblicati in seguito, joey-1 è il modello decisionale più performante tra quelli con 3B di parametri o meno.

La scheda del modello riporta che joey-1 ha ottenuto un punteggio di 63,30 nella partizione pubblica del Jev Decision Index 0.4, classificandosi al 37° posto su 230 modelli e registrando il punteggio più alto tra i modelli con meno di 4B di parametri in quella partizione. La tabella della partizione pubblica nella scheda riporta i punteggi di elephant-1 (72,24), Cloudflare Clef (61,71), Jev 1.14 (60,70) e Perplexity Decider Flash v1.2 (60,06). Secondo la scheda, joey-1 ottiene un punteggio inferiore a elephant-1 in ogni area valutata e superiore a Jev 1.14 in quattro delle cinque: linguaggio, strumenti e automazione, recupero e classificazione, arti e gusto umano.

Sulla replica interna di Base Labs dell’Artificial Analysis Decision Index, la scheda riporta un punteggio di 62,9 per joey-1, inferiore a quello di mammoth-1 (65,9), elephant-1 (65,2) e d1-ultra (65). La pagina della libreria dei modelli di Baseten afferma che, al momento del rilascio nell’ottobre 2026, joey-1 è il miglior modello da 2B nel Jev Decision Index 0.4.

Dati e ricetta di addestramento

Secondo la scheda del modello, joey-1 è stato sottoposto a post-addestramento a partire da Qwen3.5-2B, utilizzando la stessa miscela di dati e la stessa ricetta di elephant-1 e mammoth-1, tramite Baseten Training Jobs. Il processo è consistito in un fine-tuning completo del modello linguistico su decisioni basate su testo e immagini, mantenendo congelato l’encoder visivo e utilizzando una maschera di attenzione bidirezionale a blocchi nei livelli con attenzione completa, con una lunghezza massima della sequenza di 16.384 token.

Il set di dati di addestramento comprendeva 6,21 milioni di esempi decisionali, suddivisi nella miscela che il laboratorio chiama Mix 8: 58,3% competenze decisionali di base, 16,1% sicurezza e astensione, 16,1% valutazione e ambiti specialistici e 9,5% dati decisionali pubblici. L’obiettivo di addestramento combinava la cross-entropia con un termine di calibrazione di Brier, con lambda impostato a 1, e includeva un’opzione «Non lo so» appresa durante l’addestramento, da usare nei casi in cui il modello non è sicuro della risposta. La ricetta prevedeva un’epoca di 43.390 passaggi, un tasso di apprendimento massimo di 1e-5 con l’ottimizzatore AdamW, valori beta di 0,9 e 0,95 e nessun decadimento dei pesi, un riscaldamento del 3%, un decadimento coseno e precisione bf16, su due nodi con otto GPU H100 ciascuno, per un totale di 16 GPU.

Disponibilità, prezzi e distribuzione

joey-1 è disponibile su Baseten Model APIs tramite l’endpoint /v1/systemone, con l’ID modello decision-models/baseten-joey-2b-latest e la conservazione dei dati disattivata per impostazione predefinita. Il prezzo indicato è di 0,01 $ per milione di token in ingresso; per gli input memorizzati nella cache e gli output è indicato un prezzo di 0,00 $. La tabella dei prezzi della famiglia indica 0,035 $ per elephant-1 e 0,1 $ per mammoth-1 ogni milione di token; nell’annuncio, Baseten afferma che joey-1 costa un decimo di mammoth-1.

Nelle Model APIs, i modelli decisionali supportano una finestra di contesto di 16k e sono ottimizzati per carichi di lavoro a bassa latenza. Le implementazioni dedicate sbloccano l’intera finestra di contesto di 262k e supportano pesi sottoposti a fine-tuning; Baseten ha dichiarato che, grazie a ottimizzazioni specifiche per i carichi di lavoro e alla co-localizzazione con i carichi di lavoro LLM, possono anche garantire TTFT e TPS più rapidi (rispettivamente, tempo al primo token e token al secondo). elephant-1 e joey-1 sono disponibili per il post-training tramite Baseten Training Jobs e l’azienda ha pubblicato su GitHub una guida pratica al fine-tuning.

I pesi sono aperti con licenza MIT. Per l’hosting autonomo, lo script di configurazione della scheda del modello installa un ambiente di serving a versione bloccata, OneJev con una patch per il serving, e richiede una GPU CUDA. La scheda specifica che le richieste che superano i limiti di lunghezza previsti durante l’addestramento vengono rifiutate anziché troncate.