Together AI запускает сервис Together Post-Training для создания специализированных моделей

19 октября 2026 года Together AI запустила Together Post-Training — сервис для создания специализированных моделей с помощью циклов обучения с подкреплением и контролируемого дообучения, параметры которых задают пользователи. В течение первых шести недель начальная цена составит 9 долларов за GPU-час использования B200.

Модели на старте, цены и ранний доступ

Сервис предназначен для создания специализированных моделей как на основе вознаграждений из среды с помощью обучения с подкреплением (RL), так и на основе данных для контролируемого дообучения (SFT). Клиенты задают цикл обучения, включая данные, среды и агентные контуры, а также могут добавлять такие этапы, как ведение журналов или внешняя оценка производительности. При этом Together совместно оптимизирует базовые системы и инфраструктуру, чтобы повысить качество моделей и скорость обучения. По словам Together, компания создала этот сервис, поскольку инфраструктура для RL становится всё сложнее, а многие компании, которым могло бы быть полезно дообучение моделей, не начинают работу или прекращают её из-за нагрузки, связанной с инфраструктурой.

На старте сервис предлагает модели с открытыми весами Muse Spark Open, GLM 5.3, Kimi K3 и Qwen 3.8-27B. Together сообщила, что в ближайшие недели расширит выбор, добавив как передовые большие языковые модели, так и эффективные модели меньшего размера. В течение первых шести недель сервис будет доступен по сниженной цене — 9 долларов за GPU-час использования B200.

За несколько месяцев до запуска Together предоставила ранний доступ избранной группе организаций. Адит Джайн, исследователь из Collinear AI, сообщил, что его команда сотрудничает с компанией с момента запуска бета-версии Post-Training в апреле 2026 года.

Выделенные ресурсы моделей и оплата за GPU-минуты

Все эксперименты выполняются на том, что Together называет ресурсами моделей: выделенных одному клиенту ресурсах GPU, которые не конкурируют за приоритет с запросами других пользователей. Каждый ресурс модели может включать один или несколько сеансов обучения; каждый сеанс соответствует отдельному эксперименту с одной и той же базовой моделью, например эксперименту с одним набором адаптеров LoRA. По словам Together, выделенные ресурсы также позволяют выполнять дообучение всех весов, выходящее за рамки LoRA, при адаптации моделей к масштабным задачам, требующим обширных знаний.

Каждый сеанс включает экземпляр Trainer, отвечающий за прямой и обратный проходы и обновление весов, а также экземпляры Generator, выполняющие развертывания траекторий на основе политики. Для контролируемого дообучения ресурс модели можно запустить без генераторов, чтобы сократить расходы. Пользователи сами решают, когда передавать параметры Trainer генератору; также поддерживается асинхронное обучение с подкреплением, позволяющее эффективно использовать GPU обоих компонентов, особенно при длительном развертывании траекторий агентами.

Пользователи могут выполнять обучение LoRA, в том числе запускать несколько адаптеров LoRA, совместно использующих ресурсы одного GPU, а также проводить эксперименты с полным набором весов для некоторых моделей. Сервис поддерживает стандартные функции потерь, включая перекрёстную энтропию, GRPO, CISPO и DPPO. Кроме того, пользователи могут локально вычислять собственную целевую функцию обучения и передавать её градиенты в Trainer.

Согласно документации по постобучению, основной интерфейс SDK включает метод create, который выделяет ресурс модели (единицу тарификации), и метод create_session, который добавляет к нему сеанс обучения. Затем для каждого шага вызываются методы: sample_batch — для генерации ответов, которые будут оцениваться; forward_backward — для вычисления функции потерь и обратного распространения градиентов; optim_step — для обновления весов; weights_sync — для публикации новых весов в репликах генератора. При SFT и DPO методы sample_batch и weights_sync не используются, поскольку в этих режимах ответы не генерируются.

Оплата за ресурсы моделей взимается за каждую GPU-минуту. По словам Together, при увеличении масштаба экспериментов общая стоимость обучения становится ниже, чем при оплате за токены. В документации этот сервис сравнивается со стандартным сервисом компании для дообучения: в нём оплата взимается за каждый обработанный токен, а обучение выполняется как задача, которая завершается без возможности вмешательства в её ход. Пользователи сервиса постобучения могут просматривать метрики каждого шага, менять скорость обучения, перемешивать данные заново или останавливать запуск по собственным условиям.

Стабильность обучения и путь к развёртыванию

По словам Together, сервис устраняет множество причин расхождения политик между движками обучения и инференса: даже небольшие численные расхождения при одинаковых весах могут привести к снижению эффективности или срыву запуска RL. Для этого используются стандартные методы, такие как Rollout Routing Replay, а также оптимизации, разработанные в ходе исследований стабильности обучения компании. В компании также сообщили, что движки генерации траекторий используют те же оптимизации, что и стек обслуживания моделей: интеллектуальное кэширование и маршрутизация для многоходовых агентов, а также оптимизированный параллелизм и упаковка последовательностей ускоряют этапы как SFT, так и RL.

После обучения компания теперь поддерживает обслуживание адаптеров multi-LoRA в Dedicated Model Inference. Это позволяет пользователям переключать адаптеры в рамках одного развёртывания на GPU вместо создания отдельного производственного развёртывания для каждого запуска. По словам Together, каждый контрольный снимок обучения сохраняет качество при обслуживании модели, даже если перейти от выборки с multi-LoRA к объединённому инференсу с точностью FP4.

В документации описан рабочий процесс, включающий обучение, оценку и подготовку к эксплуатации: обучить несколько адаптеров на одной замороженной базовой модели, подключить варианты к одному развёртыванию multi-LoRA и сравнить их, указывая в каждом запросе другой адаптер, а затем развернуть лучший вариант в объединённом режиме в отдельном развёртывании. Для GLM-5.3 и Kimi-K3 перед инференсом FP4 адаптеры необходимо предварительно подготовить.

Подключение, переход с Tinker и первые пользователи

Для начала работы нужны последняя версия Together SDK и документация. Together опубликовала сборники рецептов в репозитории post-training-cookbook на GitHub. В них рассматриваются обучение GRPO на бенчмарке GSM8K, DPO с пользовательской функцией потерь и обучение нескольких адаптеров LoRA в рамках одного и того же ресурса модели. В документации этот сборник описан как библиотека Python с готовыми циклами обучения; в блокнотах пошагово разбираются GRPO, SFT и обучение нескольких адаптеров для одного ресурса модели с помощью асинхронных вызовов SDK. Для команд, уже работающих с API Tinker, предусмотрен путь миграции: достаточно заменить одну строку импорта на import together.post_training.tinker as tinker, как подробно описано в руководстве по миграции.

Среди пользователей, получивших ранний доступ, Энтони Ли, заместитель директора по анализу данных в Deel, отметил, что контроль и гибкость платформы позволили его команде начать проводить реальные эксперименты с обучением с подкреплением всего за пару часов и запускать до пяти таких экспериментов одновременно, используя те же ресурсы GPU. Оливер Норман, инженер-основатель Jack & Jill, рассказал, что его команда дообучила модель, предсказывающую, с какими кандидатами захочет встретиться менеджер по найму, — это ключевой этап поиска, выполняемого рекрутинговым агентом Jill. Используя модель с открытым исходным кодом, команда достигла качества закрытой модели при офлайн-оценке, причем обслуживать ее обходится значительно дешевле. По словам Нормана, инженеры Together, работающие непосредственно с клиентами, написали скрипты, благодаря которым команда получила первые результаты.

Джайн из Collinear AI отметил, что благодаря простому самостоятельному подключению было легко запустить полномасштабные эксперименты с агентным обучением с подкреплением. Инженеры Together, работающие непосредственно с клиентами, сопровождают их на всех этапах дообучения — от выбора модели с открытым исходным кодом и каркаса агента до подготовки данных и сред обучения, оценки и запуска оптимизированной конечной точки.