Baseten випускає Joey-1 — модель для ухвалення рішень із 2B параметрів і відкритими вагами

29 жовтня 2026 року Baseten випустила joey-1 — модель для ухвалення рішень із 2B параметрів, розроблену власною дослідницькою лабораторією компанії Base Labs. Її ціна становить $0.01 за мільйон токенів. Модель доступна через Baseten Model APIs, а її ваги відкрито опубліковані на Hugging Face.

З появою joey-1 сімейство моделей для ухвалення рішень від Base Labs тепер налічує три моделі різного розміру. В оголошенні нову модель представлено поряд із mammoth-1 (27B) та elephant-1 (9B), випущеними в межах жовтневого випуску сімейства моделей 21 жовтня. Під час того попереднього випуску Baseten назвала mammoth-1 найкращою серед 208 моделей для ухвалення рішень за рейтингом Jev Decision Index, а elephant-1 — провідною моделлю для ухвалення рішень із 9B параметрів. Усі три моделі навчені на однаковій суміші даних і використовують той самий API. За словами компанії, для переходу з однієї моделі на іншу достатньо змінити один рядок коду. Baseten позиціонує mammoth-1 як модель для рішень, де точність має першорядне значення, elephant-1 — як збалансований варіант за замовчуванням, а joey-1 — для великого обсягу запитів і робочих навантажень, чутливих до затримки.

На відміну від генеративних великих мовних моделей (LLM), модель для ухвалення рішень не генерує текст. За один прямий прохід вона повертає мітку та оцінку впевненості для неї; сума оцінок для всіх можливих відповідей дорівнює 1. Отримавши стан — текст, за потреби із зображеннями, — і набір запитань, joey-1 за один етап префілу зі спільним префіксом повертає відкалібровану ймовірність для кожного варіанта. Модель підтримує три типи запитань: із відповіддю «так» або «ні», вибір із кількох названих варіантів і впорядковані рівні оцінювання. У попередній публікації Baseten про сімейство моделей наведено такі сценарії використання моделей для ухвалення рішень: первинне сортування й маршрутизація запитів до служби підтримки, виявлення спаму та фішингу, захисні обмеження для промптів і виявлення спроб зламати захист, а також маршрутизація запитів між малими й передовими LLM.

За словами Baseten, перенести робоче навантаження LLM на joey-1 доцільно, коли обсяг запитів на ухвалення рішень достатньо великий, щоб вартість одного виклику визначала економічну доцільність проєкту, або коли ухвалення рішення є необхідною передумовою наступного етапу, а затримка додається до часу відповіді на кожен запит. Наприклад, класифікація 10 мільйонів звернень до служби підтримки на місяць, кожне приблизно по 500 токенів, становить загалом 5 мільярдів токенів. За тарифами компанії, на joey-1 це коштує близько $50 на місяць, тоді як на mammoth-1 — $500. Baseten описує joey-1 як модель першої лінії, а потужніші моделі, як-от elephant-1 або mammoth-1, можна залучати як наступний рівень, коли joey-1 не впевнена у відповіді.

Заявлені показники затримки та результати тестування

За даними Baseten, у виробничому масштабі joey-1 обробляє запит обсягом 2 000 токенів із середньою наскрізною затримкою P50 у 20 мс — приблизно у 2,5 раза швидше за elephant-1, для якої цей показник становить 49 мс. Компанія також назвала модель у 5 разів швидшою за зіставні моделі для ухвалення рішень. За словами компанії, у внутрішньому тестуванні, подробиці якого буде оприлюднено пізніше, joey-1 показала найкращі результати серед моделей для ухвалення рішень із 3B або меншою кількістю параметрів.

Згідно з карткою моделі, joey-1 набрала 63.30 бала на відкритій вибірці Jev Decision Index 0.4, посіла 37-ме місце серед 230 моделей і показала найвищий результат на цій вибірці серед моделей із менш ніж 4B параметрів. У таблиці відкритої вибірки в картці наведено такі результати: elephant-1 — 72.24, Cloudflare Clef — 61.71, Jev 1.14 — 60.70, а Perplexity Decider Flash v1.2 — 60.06. За даними картки, joey-1 поступається elephant-1 у кожній оціненій категорії та випереджає Jev 1.14 у чотирьох із п’яти: мова, інструменти й автоматизація, пошук інформації та класифікація, мистецтво й людський смак.

За результатами внутрішньої копії Artificial Analysis Decision Index від Base Labs, наведеними в картці, joey-1 набрала 62.9 бала, поступившись mammoth-1 із 65.9 бала, elephant-1 із 65.2 бала та d1-ultra з 65 балами. На сторінці бібліотеки моделей Baseten зазначено, що на момент випуску в жовтні 2026 року joey-1 була найкращою моделлю з 2B параметрів за Jev Decision Index 0.4.

Дані та методика навчання

Згідно з карткою моделі, joey-1 пройшла постнавчання на основі Qwen3.5-2B із тією самою сумішшю даних і за тією самою методикою, що й elephant-1 та mammoth-1; процес виконувався за допомогою Baseten Training Jobs. Мовну модель повністю донавчили на завданнях ухвалення рішень на основі тексту й зображень, залишивши візуальний енкодер замороженим. Для шарів із повною увагою використовували маску уваги з двонапрямленим блоком, а максимальна довжина послідовності становила 16 384 токени.

Навчальний набір містив 6.21 мільйона прикладів для ухвалення рішень. Лабораторія називає використану суміш даних Mix 8: 58.3% — базові навички ухвалення рішень, 16.1% — безпека та утримання від відповіді, 16.1% — оцінювання й експертні галузі та 9.5% — відкриті дані для ухвалення рішень. Цільова функція навчання поєднувала перехресну ентропію з компонентом калібрування за оцінкою Браєра, де lambda дорівнювала 1. Також модель навчали відповідати «Я не знаю» у випадках, коли вона не впевнена у відповіді. Навчання тривало одну епоху й охопило 43 390 кроків; пікова швидкість навчання становила 1e-5. Використовували оптимізатор AdamW, значення beta 0.9 і 0.95, без затухання ваг, із 3% розігріву, косинусним спаданням швидкості навчання та точністю bf16. Обчислення виконували на двох вузлах, кожен із вісьмома графічними процесорами H100, — загалом на 16 графічних процесорах.

Доступність, ціни та розгортання

Модель joey-1 доступна в Baseten Model APIs через кінцеву точку /v1/systemone з ідентифікатором моделі decision-models/baseten-joey-2b-latest; за замовчуванням зберігання даних вимкнено. Заявлена ціна становить $0.01 за мільйон вхідних токенів, а для кешованих вхідних токенів і вихідних токенів указано ціну $0.00. У таблиці цін на моделі сімейства для elephant-1 зазначено $0.035, а для mammoth-1 — $0.1 за мільйон токенів. В оголошенні зазначено, що joey-1 коштує одну десяту від ціни mammoth-1.

В API моделей моделі для ухвалення рішень підтримують контекстне вікно на 16k і оптимізовані для робочих навантажень із низькою затримкою. Виділені розгортання забезпечують доступ до повного контекстного вікна на 262k і підтримку ваг, донавчених під конкретні завдання; Baseten повідомила, що завдяки оптимізаціям для конкретних робочих навантажень і розміщенню поруч із навантаженнями LLM вони також можуть скоротити час до першого токена (TTFT) і збільшити кількість токенів за секунду (TPS). Моделі elephant-1 і joey-1 доступні для подальшого навчання в Baseten Training Jobs, а компанія опублікувала на GitHub посібник із донавчання.

Ваги доступні за ліцензією MIT. Для самостійного розгортання скрипт налаштування з картки моделі встановлює середовище виконання для обслуговування із зафіксованою версією та OneJev із патчем для обслуговування; також потрібен один графічний процесор CUDA. У картці зазначено, що запити, довші за обмеження довжини, на яких навчали модель, відхиляються, а не обрізаються.