Baseten veröffentlicht Joey-1, ein Entscheidungsmodell mit 2 Milliarden Parametern und offenen Gewichten

Baseten hat am 29. Oktober 2026 joey-1 veröffentlicht, ein Entscheidungsmodell mit 2 Milliarden Parametern, das vom hauseigenen Forschungslabor Base Labs entwickelt wurde. Der Preis liegt bei 0,01 $ pro Million Token. Verfügbar ist das Modell über Baseten Model APIs sowie mit offenen Gewichten auf Hugging Face.

Mit joey-1 umfasst die Entscheidungsmodellfamilie von Base Labs nun drei Größen. Die Ankündigung ergänzt die neue Version um mammoth-1 (27B) und elephant-1 (9B), die mit der Veröffentlichung der Modellfamilie am 21. Oktober vorgestellt wurden. Bei der früheren Veröffentlichung bezeichnete Baseten mammoth-1 als das bestplatzierte von 208 Entscheidungsmodellen im Jev Decision Index und elephant-1 als führendes Entscheidungsmodell mit 9 Milliarden Parametern. Alle drei Modelle werden mit derselben Datenmischung trainiert und nutzen dieselbe API. Laut dem Unternehmen lässt sich daher mit einer einzigen Codezeile zwischen ihnen wechseln. Baseten empfiehlt mammoth-1 für Entscheidungen, bei denen Genauigkeit besonders wichtig ist, elephant-1 als ausgewogene Standardoption und joey-1 für Arbeitslasten mit hohem Volumen und strengen Latenzanforderungen.

Anders als generative LLMs erzeugt ein Entscheidungsmodell keinen Text. In einem einzigen Vorwärtsdurchlauf gibt es ein Label und einen Konfidenzwert für dieses Label zurück; die Werte für alle möglichen Antworten summieren sich auf 1. Erhält joey-1 einen Zustand – Text, optional ergänzt durch Bilder – und eine Reihe von Fragen, liefert es für jede Antwortoption eine kalibrierte Wahrscheinlichkeit. Dafür wird ein gemeinsamer Präfix in einem einzigen Prefill verarbeitet. Das Modell unterstützt drei Fragetypen: Ja/Nein-Fragen, die Auswahl aus benannten Optionen und geordnete Bewertungsstufen. In einem früheren Beitrag zur Modellfamilie führt Baseten als Einsatzbereiche für Entscheidungsmodelle unter anderem die Einordnung und Weiterleitung von Tickets, die Erkennung von Spam und Phishing, Schutzmechanismen für Prompts und die Erkennung von Jailbreaks sowie die Weiterleitung von Anfragen zwischen kleinen und hochleistungsfähigen LLMs auf.

Baseten zufolge lohnt es sich, eine LLM-Arbeitslast auf joey-1 umzustellen, wenn das Entscheidungsvolumen so hoch ist, dass die Kosten pro Aufruf die Wirtschaftlichkeit des Projekts bestimmen, oder wenn eine Entscheidung Voraussetzung für einen weiteren Schritt ist und ihre Latenz bei jeder Antwort hinzukommt. Als Beispiel nennt das Unternehmen die Klassifizierung von 10 Millionen Support-Tickets pro Monat mit jeweils rund 500 Token: Das ergibt insgesamt 5 Milliarden Token. Dafür veranschlagt Baseten mit joey-1 etwa 50 $ pro Monat, verglichen mit 500 $ bei mammoth-1. Baseten beschreibt joey-1 als Erstlinienmodell; bei Unsicherheit kann auf größere Modelle wie elephant-1 oder mammoth-1 eskaliert werden.

Berichtete Latenz- und Benchmark-Ergebnisse

Baseten berichtete, dass joey-1 im Produktivbetrieb eine Anfrage mit durchschnittlich 2.000 Token mit einer P50-End-to-End-Latenz von 20 ms verarbeitet. Damit sei es etwa 2,5-mal schneller als elephant-1 mit 49 ms. Das Unternehmen bezeichnete das Modell zudem als fünfmal schneller als vergleichbare Entscheidungsmodelle. Baseten zufolge ist joey-1 in internen Tests, zu denen weitere Details noch folgen sollen, das leistungsstärkste Entscheidungsmodell mit höchstens 3 Milliarden Parametern.

Laut Model Card erzielte joey-1 im öffentlichen Split des Jev Decision Index 0.4 einen Wert von 63,30. Damit belegt es Platz 37 von 230 Modellen und erreicht in diesem Split den höchsten Wert unter den Modellen mit weniger als 4 Milliarden Parametern. In der Tabelle zum öffentlichen Split der Model Card sind für elephant-1 72,24, für Cloudflare Clef 61,71, für Jev 1.14 60,70 und für Perplexity Decider Flash v1.2 60,06 aufgeführt. Der Model Card zufolge schneidet joey-1 in allen bewerteten Bereichen schlechter ab als elephant-1 und in vier von fünf Bereichen besser als Jev 1.14: Sprache, Tools und Automatisierung, Informationsabruf und Klassifizierung sowie Kunst und menschlicher Geschmack.

Auf der internen Replik des Artificial Analysis Decision Index von Base Labs weist die Model Card für joey-1 einen Wert von 62,9 aus. Damit liegt das Modell hinter mammoth-1 mit 65,9, elephant-1 mit 65,2 und d1-ultra mit 65. Laut der Modellbibliotheksseite von Baseten ist joey-1 bei seiner Veröffentlichung im Oktober 2026 das führende 2B-Modell im Jev Decision Index 0.4.

Trainingsdaten und -verfahren

Laut Model Card wurde joey-1 auf Basis von Qwen3.5-2B nachtrainiert. Dabei kamen dieselbe Datenmischung und dasselbe Trainingsverfahren wie bei elephant-1 und mammoth-1 zum Einsatz; das Training lief über Baseten Training Jobs. Das Sprachmodell wurde vollständig anhand von Text- und Bildentscheidungen feinabgestimmt, während der Vision-Encoder eingefroren blieb. Verwendet wurden eine blockweise bidirektionale Aufmerksamkeitsmaske in den Schichten mit vollständiger Aufmerksamkeit und eine maximale Sequenzlänge von 16.384 Token.

Der Trainingsdatensatz umfasste 6,21 Millionen Entscheidungsbeispiele in einer vom Labor als Mix 8 bezeichneten Datenmischung: 58,3 % grundlegende Entscheidungskompetenzen, 16,1 % Sicherheit und Enthaltung, 16,1 % Beurteilung und Fachgebiete sowie 9,5 % öffentliche Entscheidungsdaten. Als Trainingsziel wurden Kreuzentropie und ein Brier-Kalibrierungsterm kombiniert; Lambda wurde auf 1 gesetzt. Außerdem wurde eine Antwortoption „Ich weiß es nicht“ für Fälle trainiert, in denen das Modell unsicher ist. Das Trainingsverfahren umfasste eine Epoche mit 43.390 Schritten und einer maximalen Lernrate von 1e-5. Zum Einsatz kamen der AdamW-Optimierer mit Beta-Werten von 0,9 und 0,95 sowie ohne Gewichtsabnahme, eine Aufwärmphase von 3 %, ein Cosinus-Abfall der Lernrate und bf16-Präzision. Trainiert wurde auf zwei Knoten mit jeweils acht H100-GPUs, also insgesamt 16 GPUs.

Verfügbarkeit, Preise und Bereitstellung

joey-1 ist über den Endpunkt /v1/systemone in Baseten Model APIs verfügbar; die Modell-ID lautet decision-models/baseten-joey-2b-latest. Die standardmäßig aktivierte Datenaufbewahrung ist auf null gesetzt. Der angegebene Preis beträgt 0,01 $ pro Million Eingabe-Token; für zwischengespeicherte Eingabe- und Ausgabe-Token sind jeweils 0,00 $ angegeben. In der Preistabelle der Modellfamilie sind 0,035 $ pro Million Token für elephant-1 und 0,1 $ pro Million Token für mammoth-1 aufgeführt. In der Ankündigung heißt es, joey-1 koste ein Zehntel des Preises von mammoth-1.

Auf Model APIs unterstützen die Entscheidungsmodelle ein Kontextfenster von 16k und sind für Workloads mit geringer Latenz optimiert. Dedizierte Bereitstellungen ermöglichen das volle Kontextfenster von 262k und unterstützen feinabgestimmte Gewichte. Baseten zufolge können sie dank workloadspezifischer Optimierungen und der Ko-Lokation mit LLM-Workloads außerdem eine kürzere TTFT (Time to First Token) und eine höhere TPS (Tokens per Second) erreichen. elephant-1 und joey-1 stehen für das Post-Training über Baseten Training Jobs zur Verfügung. Außerdem hat das Unternehmen ein Kochbuch zur Feinabstimmung auf GitHub veröffentlicht.

Die Gewichte sind unter der MIT-Lizenz offen verfügbar. Für das Selbsthosting installiert das Setup-Skript der Modellkarte eine fest versionierte Serving-Laufzeitumgebung sowie OneJev mit einem Serving-Patch und benötigt eine CUDA-GPU. Laut Modellkarte werden Anfragen abgelehnt, wenn sie die trainierten Längenlimits überschreiten, statt abgeschnitten zu werden.