Baseten выпустила Joey-1 — модель принятия решений с открытыми весами и 2 млрд параметров

29 октября 2026 года Baseten выпустила joey-1 — модель принятия решений с 2 млрд параметров, разработанную собственной исследовательской лабораторией Base Labs. Стоимость составляет $0,01 за миллион токенов. Модель доступна через Baseten Model APIs, а её веса опубликованы на Hugging Face.

С выходом joey-1 линейка моделей принятия решений Base Labs теперь включает модели трёх размеров. В анонсе новую модель представили вместе с mammoth-1 (27B) и elephant-1 (9B), выпущенными в рамках представления семейства моделей 21 октября. Тогда Baseten описала mammoth-1 как лидера рейтинга из 208 моделей принятия решений в Jev Decision Index, а elephant-1 — как ведущую модель принятия решений с 9 млрд параметров. Все три модели обучены на одной и той же смеси данных и используют один API, поэтому, по словам компании, переключение между ними требует изменения всего одной строки кода. Baseten рекомендует mammoth-1 для задач, где важнее всего точность, elephant-1 — как сбалансированный вариант по умолчанию, а joey-1 — для больших нагрузок, чувствительных к задержкам.

В отличие от генеративных больших языковых моделей, модель принятия решений не генерирует текст. За один прямой проход она возвращает метку и оценку уверенности в ней; сумма оценок для всех возможных ответов равна 1. Получив состояние — текст, при необходимости вместе с изображениями, — и набор вопросов, joey-1 за один предварительный проход с общим префиксом возвращает откалиброванную вероятность для каждого варианта. Модель поддерживает три типа вопросов: с ответом «да» или «нет», с выбором одного из названных вариантов и с упорядоченными уровнями оценки. В более ранней публикации Baseten о семействе перечислены такие сценарии использования моделей принятия решений, как сортировка и маршрутизация обращений, выявление спама и фишинга, защита промптов и обнаружение попыток обхода защит, а также маршрутизация запросов между небольшими и передовыми большими языковыми моделями.

По словам Baseten, переход на joey-1 оправдан, если объём задач принятия решений достаточно велик и стоимость одного вызова определяет экономику проекта либо если такое решение служит необходимым условием для следующего этапа, а его задержка добавляется к задержке каждого ответа. Например, классификация 10 миллионов обращений в службу поддержки в месяц при объёме около 500 токенов на каждое даёт в сумме 5 миллиардов токенов. По расчётам компании, обработка такого объёма с помощью joey-1 обойдётся примерно в $50 в месяц, а с помощью mammoth-1 — в $500. Baseten описывает joey-1 как модель первой линии; если она не уверена в ответе, можно передать задачу более крупной модели, например elephant-1 или mammoth-1.

Заявленные показатели задержки и результаты тестирования

По данным Baseten, при работе в производственном масштабе joey-1 обрабатывает запрос объёмом в среднем 2 000 токенов со сквозной задержкой P50 в 20 мс — примерно в 2,5 раза быстрее elephant-1, у которого этот показатель составляет 49 мс. Компания также заявила, что joey-1 в 5 раз быстрее сопоставимых моделей принятия решений. По словам Baseten, во внутренних тестах, подробности которых будут опубликованы позднее, joey-1 показала наилучший результат среди моделей принятия решений с 3 млрд параметров или меньше.

Согласно карточке модели, в открытом разделе Jev Decision Index 0.4 joey-1 набрала 63,30 балла, заняла 37-е место среди 230 моделей и показала наивысший результат среди моделей с числом параметров менее 4 млрд. В таблице результатов открытого раздела карточки указаны следующие баллы: elephant-1 — 72,24, Cloudflare Clef — 61,71, Jev 1.14 — 60,70 и Perplexity Decider Flash v1.2 — 60,06. Согласно карточке, joey-1 уступает elephant-1 во всех оценённых областях, но превосходит Jev 1.14 в четырёх из пяти: в языковых задачах, работе с инструментами и автоматизации, поиске и классификации, а также в искусстве и оценке человеческого вкуса.

Согласно карточке модели, во внутренней реплике Artificial Analysis Decision Index компании Base Labs результат joey-1 составляет 62,9 балла — ниже, чем у mammoth-1 (65,9), elephant-1 (65,2) и d1-ultra (65). На странице библиотеки моделей Baseten указано, что на момент выпуска в октябре 2026 года joey-1 занимает первое место среди моделей с 2 млрд параметров в Jev Decision Index 0.4.

Данные и методика обучения

Согласно карточке модели, joey-1 прошла дополнительное обучение на основе Qwen3.5-2B с использованием той же смеси данных и методики, что и elephant-1 с mammoth-1; обучение проводилось с помощью Baseten Training Jobs. Языковую модель полностью дообучили на текстовых и визуальных задачах принятия решений, оставив визуальный кодировщик замороженным. На слоях с полным вниманием использовалась блочная двунаправленная маска внимания, а максимальная длина последовательности составляла 16 384 токена.

Обучающий набор включал 6,21 млн примеров принятия решений и представлял собой смесь, которую лаборатория называет Mix 8: 58,3% — базовые навыки принятия решений, 16,1% — безопасность и воздержание от ответа, 16,1% — оценивание и экспертные области, 9,5% — открытые данные для принятия решений. Целевая функция обучения сочетала перекрёстную энтропию со слагаемым калибровки по Бриеру; λ было равно 1. В неё также включили обученный вариант ответа «Я не знаю» для случаев, когда модель не уверена в ответе. Обучение проходило в течение одной эпохи и включало 43 390 шагов. Пиковая скорость обучения составляла 1e-5; использовался оптимизатор AdamW с коэффициентами beta 0,9 и 0,95, без затухания весов, с разогревом на 3%, косинусным снижением скорости обучения и точностью bf16. Обучение проводилось на двух узлах, каждый из которых был оснащён восемью графическими процессорами H100, — всего на 16 графических процессорах.

Доступность, цены и развёртывание

joey-1 доступна через Baseten Model APIs по адресу /v1/systemone с идентификатором модели decision-models/baseten-joey-2b-latest; по умолчанию включено нулевое хранение данных. Указанная цена составляет $0,01 за миллион входных токенов; для кэшированных входных данных и выходных токенов указана цена $0,00. В таблице цен на модели семейства указана стоимость elephant-1 — $0,035, а mammoth-1 — $0,1 за миллион токенов. В анонсе говорится, что joey-1 стоит в десять раз дешевле mammoth-1.

В Model APIs модели для принятия решений поддерживают контекстное окно размером 16k и оптимизированы для задач с низкой задержкой. Выделенные развертывания обеспечивают контекстное окно полного размера — 262k — и поддержку дообученных весов; Baseten сообщила, что благодаря оптимизациям для конкретных рабочих нагрузок и размещению рядом с задачами на базе LLM они также обеспечивают более высокие показатели TTFT и TPS (времени до первого токена и количества токенов в секунду). Модели elephant-1 и joey-1 доступны для постобучения с помощью Baseten Training Jobs, а компания опубликовала на GitHub руководство по тонкой настройке.

Веса открыты по лицензии MIT. Для самостоятельного размещения установочный скрипт из карточки модели устанавливает зафиксированную версию среды выполнения для обслуживания модели — OneJev с патчем для обслуживания — и требует наличия одного графического процессора CUDA. В карточке отмечается, что запросы, превышающие ограничения на длину, установленную при обучении, отклоняются, а не обрезаются.