Baseten lance Joey-1, un modèle de décision à poids ouverts de 2B

Le 29 octobre 2026, Baseten a lancé joey-1, un modèle de décision de 2 milliards de paramètres développé par son laboratoire de recherche interne Base Labs. Proposé au prix de 0,01 $ par million de jetons, il est disponible via les API de modèles de Baseten et en poids ouverts sur Hugging Face.

Avec joey-1, la famille de modèles de décision de Base Labs compte désormais trois tailles. L’annonce présente le nouveau modèle aux côtés de mammoth-1 (27B) et elephant-1 (9B), lancés avec la famille le 21 octobre. Lors de cette précédente sortie, Baseten avait présenté mammoth-1 comme le modèle le mieux classé parmi 208 modèles de décision dans le Jev Decision Index, et elephant-1 comme le modèle de décision 9B le mieux classé. Les trois modèles sont entraînés sur le même mélange de données et utilisent la même API, ce qui, selon l’entreprise, permet de passer de l’un à l’autre en modifiant une seule ligne de code. Baseten destine mammoth-1 aux décisions pour lesquelles la précision est primordiale, elephant-1 à un usage général équilibré et joey-1 aux charges de travail à fort volume et sensibles à la latence.

Contrairement aux grands modèles de langage génératifs (LLM), un modèle de décision ne génère pas de texte. En une seule passe avant, il renvoie une étiquette et un score de confiance associé, les scores de toutes les réponses possibles totalisant 1. À partir d’un état — du texte, éventuellement accompagné d’images — et d’un ensemble de questions, joey-1 renvoie, grâce à un préremplissage à préfixe partagé, une probabilité calibrée pour chaque option. Le modèle prend en charge trois types de questions : oui/non, choix parmi des options nommées et niveaux de notation ordonnés. Dans sa précédente publication sur la famille, Baseten cite plusieurs cas d’utilisation des modèles de décision, notamment le tri et l’acheminement des tickets, la détection du spam et de l’hameçonnage, la mise en place de garde-fous pour les prompts et la détection des tentatives de jailbreak, ainsi que l’acheminement des requêtes entre de petits LLM et des LLM de pointe.

Baseten a indiqué que le transfert d’une charge de travail LLM vers joey-1 est intéressant lorsque le volume de décisions est suffisamment élevé pour que le coût par appel détermine la viabilité économique du projet, ou lorsque la décision constitue un préalable à une étape ultérieure et que sa latence s’ajoute à celle de chaque réponse. À titre d’exemple, classer 10 millions de tickets d’assistance par mois, à raison d’environ 500 jetons chacun, représente au total 5 milliards de jetons. Selon les tarifs indiqués par l’entreprise, ce volume coûte environ 50 $ par mois avec joey-1, contre 500 $ avec mammoth-1. Baseten présente joey-1 comme un modèle de première ligne, avec des modèles plus puissants, tels qu’elephant-1 ou mammoth-1, pouvant prendre le relais lorsque joey-1 n’est pas sûr de sa réponse.

Latence et résultats de référence annoncés

Baseten a indiqué qu’à l’échelle de production, joey-1 traite une requête moyenne de 2 000 jetons avec une latence de bout en bout de 20 ms au 50e percentile (P50), soit environ 2,5 fois plus rapidement qu’elephant-1, qui affiche 49 ms. L’entreprise affirme également que le modèle est 5 fois plus rapide que des modèles de décision comparables. Elle a précisé que, selon ses tests internes — dont les détails seront communiqués ultérieurement —, joey-1 est le modèle de décision le plus performant parmi ceux qui comptent 3B paramètres ou moins.

La fiche du modèle indique que joey-1 a obtenu un score de 63,30 sur la partie publique du Jev Decision Index 0.4, ce qui le place au 37e rang sur 230 modèles. Il y a également enregistré le meilleur score parmi les modèles de moins de 4B paramètres sur cette partie. Le tableau consacré à la partie publique dans la fiche attribue un score de 72,24 à elephant-1, de 61,71 à Cloudflare Clef, de 60,70 à Jev 1.14 et de 60,06 à Perplexity Decider Flash v1.2. Selon la fiche, joey-1 obtient un score inférieur à celui d’elephant-1 dans tous les domaines évalués, mais supérieur à celui de Jev 1.14 dans quatre des cinq domaines : langage, outils et automatisation, recherche d’information et classification, arts et goût humain.

Sur la réplique interne, par Base Labs, de l’Artificial Analysis Decision Index, la fiche attribue à joey-1 un score de 62,9, inférieur à ceux de mammoth-1 (65,9), d’elephant-1 (65,2) et de d1-ultra (65). La page de la bibliothèque de modèles de Baseten indique qu’à son lancement, en octobre 2026, joey-1 est le meilleur modèle 2B du Jev Decision Index 0.4.

Données et méthode d’entraînement

Selon la fiche du modèle, joey-1 a fait l’objet d’un post-entraînement à partir de Qwen3.5-2B, en utilisant le même mélange de données et la même méthode qu’elephant-1 et mammoth-1, au moyen de Baseten Training Jobs. Le processus consistait à effectuer un ajustement fin complet du modèle de langage sur des décisions portant sur du texte et des images, tout en gardant l’encodeur visuel gelé. Il utilisait un masque d’attention bidirectionnelle par blocs sur les couches à attention complète et une longueur de séquence maximale de 16 384 jetons.

Le jeu de données d’entraînement comprenait 6,21 millions d’exemples de décision, répartis selon un mélange que le laboratoire appelle Mix 8 : 58,3 % de compétences décisionnelles fondamentales, 16,1 % de sécurité et d’abstention, 16,1 % de jugement et de domaines experts, et 9,5 % de données publiques de décision. L’objectif d’entraînement combinait l’entropie croisée et un terme de calibration de Brier, avec lambda fixé à 1, et incluait une option « Je ne sais pas » entraînée pour les cas où le modèle n’est pas sûr de sa réponse. La méthode a été appliquée pendant une époque, soit 43 390 étapes, avec un taux d’apprentissage maximal de 1e-5, l’optimiseur AdamW, des valeurs bêta de 0,9 et 0,95 et aucune décroissance des poids, une phase de montée en puissance de 3 %, une décroissance cosinusoïdale et une précision bf16. L’entraînement a été effectué sur deux nœuds équipés chacun de huit GPU H100, soit 16 GPU au total.

Disponibilité, tarifs et déploiement

joey-1 est disponible dans les API de modèles de Baseten via le point de terminaison /v1/systemone, sous l’identifiant de modèle decision-models/baseten-joey-2b-latest. La conservation des données est désactivée par défaut. Le tarif affiché est de 0,01 $ par million de jetons d’entrée ; les entrées mises en cache et les jetons de sortie sont indiqués à 0,00 $. Le tableau des tarifs de la famille indique 0,035 $ par million de jetons pour elephant-1 et 0,1 $ pour mammoth-1. L’annonce précise que joey-1 coûte un dixième du prix de mammoth-1.

Sur Model APIs, les modèles de décision prennent en charge une fenêtre de contexte de 16k et sont optimisés pour les charges de travail à faible latence. Les déploiements dédiés débloquent la fenêtre de contexte complète de 262k et prennent en charge les poids affinés. Baseten indique qu’ils peuvent également réduire le TTFT et augmenter le TPS (temps jusqu’au premier jeton et nombre de jetons par seconde) grâce à des optimisations adaptées à chaque charge de travail et à la colocalisation avec des charges de travail LLM. elephant-1 et joey-1 peuvent être soumis à un entraînement postérieur au préentraînement avec Baseten Training Jobs, et l’entreprise a publié un guide de réglage fin sur GitHub.

Les poids sont publiés sous licence MIT. Pour l’auto-hébergement, le script d’installation de la fiche du modèle installe un environnement d’exécution pour le service, dont la version est épinglée, OneJev avec un correctif de service, et nécessite un GPU CUDA. La fiche précise que les requêtes dépassant les limites de longueur utilisées lors de l’entraînement sont refusées plutôt que tronquées.