Together AI spouští službu Together Post-Training pro vlastní modely

Společnost Together AI 19. října 2026 spustila službu Together Post-Training pro tvorbu vlastních modelů pomocí cyklů posilovaného učení a supervizovaného dolaďování, které definují uživatelé. Prvních šest týdnů nabízí zaváděcí cenu 9 USD za GPU-hodinu využití B200.

Modely dostupné při spuštění, ceny a přednostní přístup

Služba je určena k tvorbě vlastních modelů jak na základě odměn z prostředí prostřednictvím posilovaného učení (RL), tak na základě supervizních dat prostřednictvím supervizovaného dolaďování (SFT). Zákazníci určují trénovací cyklus včetně dat, prostředí a agentních frameworků a mohou přidávat kroky, jako je zaznamenávání údajů nebo externí srovnávací testování. Společnost Together přitom společně optimalizuje základní systémy a infrastrukturu, aby zvýšila kvalitu modelů a rychlost trénování. Uvedla, že službu vytvořila proto, že infrastruktura pro RL je stále složitější a mnoho společností, které by mohly z následného trénování těžit, s ním kvůli nárokům na infrastrukturu vůbec nezačne, případně začne, ale nedokáže pokračovat.

Služba se při spuštění nabízí s modely s otevřenými vahami Muse Spark Open, GLM 5.3, Kimi K3 a Qwen 3.8-27B. Společnost Together uvedla, že v nadcházejících týdnech rozšíří nabídku o špičkové velké jazykové modely i efektivní menší modely. Prvních šest týdnů bude služba dostupná za sníženou cenu 9 USD za GPU-hodinu využití B200.

Ještě před spuštěním poskytla společnost Together v uplynulých několika měsících přednostní přístup vybrané skupině organizací. Adit Jain, výzkumník ve společnosti Collinear AI, uvedl, že jeho tým se společností spolupracoval od spuštění beta verze její služby Post-Training v dubnu 2026.

Vyhrazené prostředky pro modely a účtování po minutách využití GPU

Všechny experimenty probíhají na prostředcích pro modely, které Together označuje jako Model Resources: jde o kapacity GPU vyhrazené jedinému zákazníkovi, o jejichž přednostní využití nesoutěží požadavky ostatních uživatelů. Každý prostředek pro model může zahrnovat jednu nebo více trénovacích relací; každá relace odpovídá jedinému experimentu se stejným základním modelem, například experimentu s jednou sadou adaptérů LoRA. Společnost Together uvedla, že vyhrazené kapacity umožňují také dolaďování všech vah, nejen pomocí LoRA, při úpravách modelů pro rozsáhlé úlohy náročné na znalosti.

Každá relace zahrnuje instanci trenéru, která zajišťuje dopředné a zpětné průchody i aktualizace vah, a instance generátoru, které provádějí rollouty podle politiky. Při supervizovaném dolaďování lze prostředek pro model spustit bez generátorů, a ušetřit tak náklady. Uživatelé rozhodují, kdy se parametry trenéru předají generátoru. Podporováno je také asynchronní RL, které umožňuje intenzivně využívat GPU obou komponent, zejména při dlouhých rolloutech agentů.

Uživatelé mohou trénovat pomocí LoRA, a to i s několika adaptéry LoRA sdílejícími stejnou kapacitu GPU, a také provádět experimenty s úpravou všech vah u vybraných modelů. Služba podporuje běžné ztrátové funkce včetně cross-entropy, GRPO, CISPO a DPPO. Uživatelé mohou také lokálně vypočítat vlastní trénovací cíl a odeslat jeho gradienty trenéru.

Podle dokumentace k následnému trénování nabízí hlavní rozhraní SDK metodu create, která zřídí prostředek pro model (jednotku, za kterou se účtuje), a metodu create_session, která k němu připojí trénovací relaci. Následují volání pro jednotlivé kroky: sample_batch vytvoří dokončení, která se následně ohodnotí; forward_backward vypočítá ztrátu a provede zpětnou propagaci gradientů; optim_step aktualizuje váhy a weights_sync předá nové váhy replikám generátoru. SFT a DPO vynechávají sample_batch a weights_sync, protože negenerují dokončení.

Za prostředky pro modely se účtuje po minutách využití GPU. Společnost Together uvedla, že jakmile experimenty dosáhnou většího rozsahu, celkové náklady na trénování klesnou pod úroveň cen založených na počtu tokenů. Dokumentace srovnává tento model účtování se standardní službou společnosti pro dolaďování, která účtuje za zpracované tokeny a spouští úlohu, jež běží až do dokončení bez možnosti zasahovat do jejího průběhu. Uživatelé služby pro následné trénování mohou kontrolovat metriky jednotlivých kroků, měnit rychlost učení, znovu promíchat data nebo běh zastavit podle vlastní logiky.

Stabilita trénování a cesta k nasazení

Společnost Together uvedla, že služba odstraňuje řadu zdrojů odchylek politiky mezi trénovacími a inferenčními enginy. Drobné číselné rozdíly mohou i při použití stejných vah způsobit, že běh RL dosáhne horších výsledků nebo se zhroutí. Služba využívá standardní techniky, jako je Rollout Routing Replay, spolu s optimalizacemi vycházejícími z výzkumu stability trénování společnosti. Podle společnosti využívají její rollout enginy stejné optimalizace jako infrastruktura pro obsluhu modelů: inteligentní ukládání do mezipaměti a směrování pro agenty s více tahy i optimalizované paralelní zpracování a balení sekvencí urychlují kroky SFT i RL.

Po dokončení trénování nyní společnost podporuje obsluhu adaptérů multi-LoRA v rámci služby Dedicated Model Inference. Uživatelé tak mohou adaptéry měnit v rámci jediného nasazení na GPU, aniž by museli pro každý běh spouštět samostatné produkční nasazení. Společnost Together uvedla, že kvalita každého trénovacího kontrolního bodu zůstane při obsluze zachována i po přechodu od vzorkování s multi-LoRA k inferenci se sloučenými vahami v přesnosti FP4.

Dokumentace popisuje pracovní postup zahrnující trénování, vyhodnocení a přípravu k produkčnímu nasazení: natrénovat několik adaptérů vůči jednomu zmrazenému základnímu modelu, připojit kandidátní adaptéry k jedinému nasazení multi-LoRA a porovnávat je tak, že se v každém požadavku uvede jiný adaptér, a poté vítězný adaptér nasadit ve sloučeném režimu v samostatném nasazení. U modelů GLM-5.3 a Kimi-K3 je nutné adaptéry před inferencí FP4 nejprve připravit.

Začlenění nových uživatelů, migrace z Tinkeru a první uživatelé

Začít lze s nejnovější verzí Together SDK a dokumentací. Together zveřejnil na GitHubu sbírku ukázkových postupů v repozitáři post-training-cookbook. Obsahuje postupy pro trénování metodou GRPO na benchmarku GSM8K, DPO implementované jako vlastní ztrátovou funkci a trénování několika adaptérů LoRA v rámci téhož modelového prostředku. Dokumentace popisuje tuto sbírku jako knihovnu Pythonu s hotovými trénovacími smyčkami; její notebooky ukazují postupy GRPO, SFT a trénování více adaptérů na jednom modelovém prostředku pomocí asynchronních volání SDK. Týmům, které už používají API Tinker, nabízí migrační postup, při němž se jeden řádek importu nahradí import together.post_training.tinker as tinker, jak je podrobně popsáno v průvodci migrací.

Anthony Li, zástupce ředitele datové vědy ve společnosti Deel, která patřila mezi první uživatele s předběžným přístupem, uvedl, že díky míře kontroly a flexibilitě platformy mohl jeho tým začít provádět skutečné experimenty s RL během několika hodin a souběžně spustit až pět experimentů s RL při využití stejné kapacity GPU. Oliver Normand, zakládající inženýr ve společnosti Jack & Jill, řekl, že jeho tým po trénování modelu, který předpovídá, se kterými kandidáty se bude chtít manažer náboru setkat — což je klíčový krok při vyhledávání, které provádí náborový agent Jill této společnosti — dosáhl při offline vyhodnocování kvality modelu s uzavřeným zdrojovým kódem pomocí modelu s otevřeným zdrojovým kódem, jehož provoz je výrazně levnější. Dodal, že inženýři společnosti Together nasazení přímo u zákazníků napsali skripty, díky nimž tým dosáhl prvních výsledků.

Jain ze společnosti Collinear AI uvedl, že díky bezproblémovému samostatnému zahájení používání bylo snadné spustit agentické trénovací běhy RL v plném rozsahu. Inženýři společnosti Together nasazení přímo u zákazníků spolupracují se zákazníky v průběhu celého životního cyklu následného trénování: od výběru modelu s otevřeným zdrojovým kódem a agentního prostředí přes přípravu dat a trénovacích prostředí až po vyhodnocování a nasazení optimalizovaného koncového bodu.