Together AI запускає Together Post-Training — сервіс для створення спеціалізованих моделей

19 жовтня 2026 року Together AI запустила Together Post-Training — сервіс для створення спеціалізованих моделей за допомогою циклів навчання з підкріпленням і контрольованого донавчання, які визначають самі користувачі. Протягом перших шести тижнів діятиме спеціальна ціна — $9 за GPU-годину використання B200.

Моделі на старті, ціни та ранній доступ

Сервіс призначений для створення спеціалізованих моделей як на основі винагороди від середовища за допомогою навчання з підкріпленням (RL), так і на основі даних для контрольованого донавчання (SFT). Клієнти самі визначають цикл навчання, зокрема дані, середовища й агентні фреймворки, і можуть додавати такі етапи, як ведення журналу або зовнішнє оцінювання. Водночас Together спільно оптимізує базові системи й інфраструктуру, щоб підвищити якість моделей і швидкість навчання. За словами Together, компанія створила сервіс, оскільки інфраструктура для RL стає дедалі складнішою, а багато компаній, які могли б отримати користь від донавчання, або взагалі не починають його, або зупиняються через тягар, пов’язаний з інфраструктурою.

На момент запуску сервіс пропонує моделі з відкритими вагами Muse Spark Open, GLM 5.3, Kimi K3 і Qwen 3.8-27B. Together повідомила, що в найближчі тижні розширить вибір, додавши як передові великі мовні моделі, так і ефективніші моделі меншого розміру. Протягом перших шести тижнів сервіс пропонуватимуть за зниженою ціною — $9 за GPU-годину використання B200.

До запуску Together протягом останніх кількох місяців надала ранній доступ обмеженій групі організацій. Адіт Джейн, дослідник Collinear AI, розповів, що його команда співпрацює з компанією відтоді, як у квітні 2026 року розпочалося бета-тестування її сервісу Post-Training.

Виділені ресурси моделей та оплата за хвилини роботи GPU

Усі експерименти запускаються на Model Resources — так Together називає виділені ресурси GPU для одного клієнта, які не конкурують із запитами інших користувачів на пріоритетне обслуговування. Кожен такий ресурс може містити одну або кілька навчальних сесій, кожна з яких відповідає окремому експерименту на тій самій базовій моделі, наприклад із використанням одного набору адаптерів LoRA. За словами Together, виділення ресурсів також дає змогу виконувати повновагове донавчання, не обмежуючись LoRA, коли моделі адаптують до масштабних завдань, що потребують глибоких знань.

Кожна сесія містить екземпляр тренера, який відповідає за прямий і зворотний проходи та оновлення ваг, а також екземпляри генератора, що формують траєкторії на основі політики. Для контрольованого донавчання ресурс моделі може запускатися без генераторів, щоб зменшити витрати. Користувачі самі визначають, коли параметри тренера передаються генератору. Також підтримується асинхронне навчання з підкріпленням, що дає змогу ефективно використовувати обчислювальні ресурси GPU обох компонентів, особливо під час тривалих агентних циклів взаємодії.

Користувачі можуть запускати навчання з LoRA, зокрема використовувати кілька адаптерів LoRA, які спільно задіюють ресурси GPU, а також проводити повновагові експерименти з окремими моделями. Сервіс підтримує стандартні функції втрат, зокрема перехресну ентропію, GRPO, CISPO і DPPO. Крім того, користувачі можуть локально обчислити власну цільову функцію навчання та передати її градієнти тренеру.

Згідно з документацією з донавчання, основний інтерфейс SDK містить метод create, який виділяє ресурс моделі (одиницю оплати), і метод create_session, який додає до нього навчальну сесію. Далі виконуються виклики для кожного кроку: sample_batch генерує завершення для оцінювання, forward_backward обчислює функцію втрат і поширює градієнти у зворотному напрямку, optim_step оновлює ваги, а weights_sync передає нові ваги реплікам генератора. SFT і DPO не використовують sample_batch і weights_sync, оскільки не вибирають згенеровані продовження.

Оплата за ресурси моделей нараховується за хвилину роботи GPU. За словами Together, щойно експерименти масштабуються, загальні витрати на навчання стають нижчими, ніж за тарифікації за токенами. У документації цю модель порівнюють зі стандартним сервісом донавчання компанії, де плата стягується за кожен оброблений токен, а завдання виконується до завершення без можливості керувати ним у процесі. Користувачі сервісу донавчання можуть переглядати метрики для кожного кроку, змінювати швидкість навчання, перемішувати дані або зупиняти запуск за власною логікою.

Стабільність навчання та шлях до розгортання

Together повідомила, що сервіс усуває численні джерела розбіжностей між політиками в рушіях навчання та інференсу: незначні числові відмінності за однакових ваг можуть призвести до гірших результатів навчання з підкріпленням або навіть зірвати його. Для цього використовуються стандартні методи, зокрема Rollout Routing Replay, а також оптимізації, розроблені в межах досліджень стабільності навчання компанії. За словами компанії, рушії формування траєкторій використовують ті самі оптимізації, що й інфраструктура обслуговування моделей. Інтелектуальне кешування та маршрутизація для агентів, які ведуть багатокроковий діалог, а також оптимізовані паралельне виконання й пакування послідовностей прискорюють кроки як SFT, так і RL.

Після навчання компанія тепер підтримує обслуговування адаптерів multi-LoRA у Dedicated Model Inference: користувачі можуть перемикати адаптери в межах одного розгортання на GPU, не створюючи окреме робоче розгортання для кожного запуску. Together повідомила, що кожен контрольний знімок навчання зберігає свою якість під час обслуговування навіть після переходу від генерації з multi-LoRA до інференсу з об’єднаними вагами в точності FP4.

У документації описано послідовність роботи: навчити кілька адаптерів на одній незмінній базовій моделі, підключити кандидатні адаптери до одного розгортання multi-LoRA та порівняти їх, указуючи в кожному запиті інший адаптер, а потім розгорнути найкращий у режимі об’єднаних ваг у власному розгортанні. Для GLM-5.3 і Kimi-K3 адаптери спершу потрібно підготувати для інференсу FP4.

Онбординг, міграція з Tinker і перші користувачі

Щоб почати роботу, потрібні найновіша версія Together SDK і документація. Together опублікувала кулінарні книги в репозиторії post-training-cookbook на GitHub. У них описано навчання GRPO на тесті GSM8K, реалізацію DPO як спеціальної функції втрат і навчання кількох адаптерів LoRA в межах одного ресурсу моделі. У документації кулінарну книгу описано як бібліотеку Python із готовими циклами навчання, а в її ноутбуках покроково розглянуто GRPO, SFT і навчання кількох адаптерів в одній моделі за допомогою асинхронних викликів SDK. Для команд, які вже працюють із Tinker API, передбачено шлях міграції, що полягає в заміні одного рядка імпорту на import together.post_training.tinker as tinker, докладно описаній у посібнику з міграції.

Серед користувачів із раннім доступом Ентоні Лі, асоційований директор із науки про дані в Deel, сказав, що контроль і гнучкість платформи дали його команді змогу вже за кілька годин почати проводити реальні експерименти з RL і запускати до п’яти таких експериментів одночасно на тих самих ресурсах GPU. Олівер Норманд, інженер-засновник Jack & Jill, розповів, що його команда провела посттренування моделі, яка прогнозує, з якими кандидатами захоче зустрітися менеджер із найму. Це ключовий етап пошуку, який виконує рекрутинговий агент Jill компанії. За його словами, під час офлайнового оцінювання відкрита модель досягла якості моделі із закритим вихідним кодом, хоча її обслуговування обходиться значно дешевше. Він також зазначив, що інженери Together, які працюють безпосередньо з клієнтами, написали скрипти, завдяки яким команда отримала перші результати.

Джайн із Collinear AI сказав, що завдяки простому самостійному онбордингу було легко запустити повномасштабні експерименти з агентним RL. Інженери Together, які працюють безпосередньо з клієнтами, супроводжують їх на всіх етапах посттренування: від вибору відкритої моделі й агентного каркаса до підготовки даних і середовищ для навчання, оцінювання та розгортання оптимізованої кінцевої точки.