Baseten uvádí Joey-1, rozhodovací model se 2B otevřenými vahami

Společnost Baseten 29. října 2026 uvedla model joey-1, rozhodovací model se 2B parametry vyvinutý její vlastní výzkumnou laboratoří Base Labs. Cena činí 0,01 $ za milion tokenů a model je dostupný prostřednictvím Baseten Model APIs i jako model s otevřenými vahami na Hugging Face.

Model joey-1 rozšiřuje rodinu rozhodovacích modelů Base Labs na tři velikosti. Oznámení představuje nový model po boku modelů mammoth-1 (27B) a elephant-1 (9B), které byly uvedeny v rámci představení rodiny 21. října. Při tomto dřívějším uvedení Baseten označil mammoth-1 za nejlépe hodnocený z 208 rozhodovacích modelů v žebříčku Jev Decision Index a elephant-1 za přední rozhodovací model s 9B parametry. Všechny tři modely jsou trénovány na stejné směsi dat a používají stejné API; podle společnosti tak lze mezi nimi přepnout změnou jediného řádku. Baseten doporučuje mammoth-1 pro rozhodování, u něhož je nejdůležitější přesnost, elephant-1 jako vyváženou výchozí volbu a joey-1 pro úlohy s vysokým objemem požadavků citlivé na latenci.

Na rozdíl od generativních LLM rozhodovací model negeneruje text. V jediném průchodu vpřed vrátí štítek a míru jistoty pro tento štítek; součet skóre všech možných odpovědí je 1. Zadáte-li stav — text, případně doplněný obrázky — a sadu otázek, joey-1 vrátí kalibrovanou pravděpodobnost každé možnosti na základě jediného předvyplnění se sdíleným prefixem. Model podporuje tři typy otázek: ano/ne, výběr z pojmenovaných možností a uspořádané úrovně hodnocení. V dřívějším příspěvku o této rodině Baseten uvádí mezi možnými způsoby využití rozhodovacích modelů třídění a směrování tiketů, detekci spamu a phishingu, ochranu promptů a detekci jailbreaků i směrování požadavků mezi malými a špičkovými LLM.

Baseten uvedl, že přesun úlohy LLM na joey-1 se vyplatí, pokud je objem rozhodování natolik vysoký, že náklady na jeden požadavek určují ekonomickou výhodnost projektu, nebo pokud je rozhodnutí předpokladem dalšího kroku a jeho latence se přičítá ke každé odpovědi. Například klasifikace 10 milionů požadavků na podporu měsíčně při přibližně 500 tokenech na každý z nich představuje celkem 5 miliard tokenů. Společnost tuto zátěž oceňuje na přibližně 50 $ měsíčně při použití joey-1 oproti 500 $ při použití mammoth-1. Baseten popisuje joey-1 jako model první volby; pokud si není jistý, lze jako další stupeň nasadit výkonnější modely, například elephant-1 nebo mammoth-1.

Uváděné výsledky latence a benchmarků

Baseten uvedl, že při produkčním nasazení zpracuje joey-1 požadavek o průměrné délce 2 000 tokenů s koncovou latencí P50 20 ms. Je to přibližně 2,5× rychleji než u elephant-1, jehož latence činí 49 ms; společnost zároveň označila model za 5× rychlejší než srovnatelné rozhodovací modely. Podle Basetenu je joey-1 na základě interního testování, jehož podrobnosti budou zveřejněny později, nejsilnějším rozhodovacím modelem s nejvýše 3B parametry.

Podle karty modelu dosáhl joey-1 ve veřejné části testu Jev Decision Index 0.4 skóre 63,30, což jej řadí na 37. místo z 230 modelů. V této části testu zároveň zaznamenal nejvyšší skóre ze všech modelů s méně než 4B parametry. Tabulka veřejné části testu v kartě uvádí skóre 72,24 pro elephant-1, 61,71 pro Cloudflare Clef, 60,70 pro Jev 1.14 a 60,06 pro Perplexity Decider Flash v1.2. Podle karty dosahuje joey-1 ve všech hodnocených oblastech nižšího skóre než elephant-1 a ve čtyřech z pěti oblastí vyššího skóre než Jev 1.14: v jazyce, nástrojích a automatizaci, vyhledávání a klasifikaci a umění a lidském vkusu.

Podle karty dosahuje joey-1 na interní kopii žebříčku Artificial Analysis Decision Index vytvořené Base Labs skóre 62,9; zaostává tak za modely mammoth-1 se skóre 65,9, elephant-1 se skóre 65,2 a d1-ultra se skóre 65. Na stránce knihovny modelů Base Labs se uvádí, že v době uvedení v říjnu 2026 je joey-1 nejlepším modelem s 2B parametry v žebříčku Jev Decision Index 0.4.

Trénovací data a postup

Podle karty modelu byl joey-1 dodatečně natrénován z modelu Qwen3.5-2B pomocí stejné směsi dat a stejného postupu jako elephant-1 a mammoth-1; trénování proběhlo prostřednictvím Baseten Training Jobs. Šlo o úplné doladění jazykového modelu pro rozhodování nad textem a obrázky, přičemž vizuální kodér zůstal zmrazený. V plně pozornostních vrstvách byla použita obousměrná bloková maska pozornosti a maximální délka sekvence činila 16 384 tokenů.

Trénovací datová sada obsahovala 6,21 milionu příkladů rozhodování ve směsi, kterou laboratoř nazývá Mix 8: 58,3 % tvořily základní dovednosti rozhodování, 16,1 % bezpečnost a zdržení se odpovědi, 16,1 % hodnocení a odborné oblasti a 9,5 % veřejně dostupná data pro rozhodování. Cílová funkce kombinovala křížovou entropii s kalibrační složkou Brierova skóre, přičemž hodnota lambda byla nastavena na 1. Zahrnovala také natrénovanou možnost „Nevím“ pro případy, kdy si model svou odpovědí není jistý. Trénování zahrnovalo jednu epochu o 43 390 krocích, maximální rychlost učení 1e-5, optimalizátor AdamW s hodnotami beta 0,9 a 0,95 a bez útlumu vah, tříprocentní zahřívací fázi, kosinový pokles rychlosti učení a přesnost bf16. Probíhalo na dvou uzlech, z nichž každý měl osm grafických procesorů H100, tedy celkem na 16 grafických procesorech.

Dostupnost, cena a nasazení

Model joey-1 je dostupný v Baseten Model APIs prostřednictvím koncového bodu /v1/systemone pod ID modelu decision-models/baseten-joey-2b-latest; ve výchozím nastavení je zapnuté nulové uchovávání dat. Uvedená cena činí 0,01 $ za milion vstupních tokenů; cachované vstupní a výstupní tokeny jsou uvedeny za 0,00 $. Cenová tabulka rodiny uvádí cenu 0,035 $ za milion tokenů pro elephant-1 a 0,1 $ za milion tokenů pro mammoth-1. V oznámení se uvádí, že joey-1 stojí desetinu ceny mammoth-1.

V rámci Model APIs podporují rozhodovací modely kontextové okno o velikosti 16k a jsou optimalizovány pro úlohy s nízkou latencí. Vyhrazená nasazení zpřístupňují celé kontextové okno o velikosti 262k a podporují doladěné váhy; Baseten uvedl, že díky optimalizacím specifickým pro danou úlohu a společnému umístění s úlohami LLM mohou také zajistit nižší TTFT a vyšší TPS (dobu do prvního tokenu a počet tokenů za sekundu). Modely elephant-1 a joey-1 jsou k dispozici pro následný trénink v rámci Baseten Training Jobs a společnost zveřejnila na GitHubu příručku k dolaďování.

Váhy jsou volně dostupné pod licencí MIT. Skript pro nastavení na kartě modelu při vlastním hostování nainstaluje připnuté běhové prostředí pro obsluhu modelu, OneJev s opravou pro obsluhu modelu, a vyžaduje jednu GPU CUDA. Karta uvádí, že požadavky přesahující limity délky, na kterou byl model natrénován, jsou odmítnuty, nikoli zkráceny.