Together AI lanserar Together Post-Training-tjänst för anpassade modeller

Den 19 oktober 2026 lanserade Together AI Together Post-Training, en tjänst för att bygga anpassade modeller med användardefinierade träningsloopar för förstärkningsinlärning och övervakad finjustering. Under de första sex veckorna är introduktionspriset 9 dollar per GPU-timme med B200.

Lanseringsmodeller, priser och tidig åtkomst

Tjänsten är utformad för att bygga anpassade modeller både utifrån belöningar från miljöer via förstärkningsinlärning (RL) och utifrån övervakningsdata via övervakad finjustering (SFT). Kunderna definierar träningsloopen, inklusive data, miljöer och agentbaserade ramverk, och kan lägga till steg som loggning eller extern benchmarkning, medan Together samoptimerar de underliggande systemen och infrastrukturen för att förbättra modellkvaliteten och träningshastigheten. Together uppgav att företaget byggde tjänsten eftersom infrastrukturen för RL blir alltmer komplex och många företag som skulle kunna dra nytta av efterträning antingen aldrig kommer i gång eller börjar men fastnar på grund av infrastrukturens komplexitet.

Tjänsten lanseras med modeller med öppna vikter: Muse Spark Open, GLM 5.3, Kimi K3 och Qwen 3.8-27B. Together uppgav att utbudet under de kommande veckorna ska utökas till att omfatta både ledande stora språkmodeller och mindre, effektiva modeller. Under de första sex veckorna erbjuds tjänsten till det reducerade priset 9 dollar per GPU-timme med B200.

Inför lanseringen gav Together en utvald grupp organisationer tidig åtkomst under de senaste månaderna. Adit Jain, forskare på Collinear AI, uppgav att hans team hade samarbetat med företaget sedan betaversionen av dess Post-Training-tjänst lanserades i april 2026.

Dedikerade modellresurser och debitering per GPU-minut

Alla experiment körs på det som Together kallar Model Resources: GPU-resurser som tilldelas en enda kund, utan konkurrens från andra användares förfrågningar om prioritet. Varje Model Resource kan innehålla en eller flera Training Sessions, där varje session motsvarar ett enskilt experiment med samma basmodell, till exempel en uppsättning LoRA-adaptrar. Together uppgav att de dedikerade resurstilldelningarna också gör det möjligt att utföra finjustering av hela modellens vikter, utöver LoRA, när modeller anpassas för omfattande, kunskapsintensiva uppgifter.

Varje session innehåller en Trainer-instans som ansvarar för framåt- och bakåtpass samt uppdateringar av vikterna, och dessutom Generator-instanser som utför rollout-körningar utifrån policyn. Vid övervakad finjustering kan en modellresurs starta utan några generatorer för att spara kostnader. Användarna avgör när tränarens parametrar skickas till generatorn, och asynkron RL stöds för att utnyttja båda komponenternas GPU-kapacitet effektivt, särskilt vid långa agentbaserade rollout-körningar.

Användarna kan träna med LoRA, bland annat genom att låta flera LoRA-adaptrar dela på samma GPU-kapacitet, samt genomföra experiment med hela modellens vikter för utvalda modeller. Tjänsten stöder vanliga förlustfunktioner, däribland korsentropi, GRPO, CISPO och DPPO. Användarna kan också beräkna ett anpassat träningsmål lokalt och skicka dess gradienter till Trainer.

Enligt dokumentationen om efterträning består det huvudsakliga SDK-gränssnittet av en create-metod som tillhandahåller en modellresurs (den debiterade enheten) och en create_session-metod som kopplar en träningssession till den. Därefter följer anrop för varje steg: sample_batch för att generera kompletteringar som ska poängsättas, forward_backward för att beräkna förlusten och bakåtpropagera gradienter, optim_step för att uppdatera vikterna och weights_sync för att publicera nya vikter till generatorreplikor. SFT och DPO hoppar över sample_batch och weights_sync eftersom de inte samplar några kompletteringar.

Modellresurser debiteras per GPU-minut, och Together uppgav att de totala träningskostnaderna blir lägre än med tokenbaserad prissättning så snart experimenten skalas upp. I dokumentationen jämförs tjänsten med företagets vanliga finjusteringstjänst, som debiteras per behandlad token och körs som ett jobb utan möjlighet att ingripa innan det är färdigt. Användare av efterträningstjänsten kan granska mätvärden för varje steg, ändra inlärningshastigheten, blanda om data eller stoppa en körning utifrån egen logik.

Stabil träning och vägen till driftsättning

Together uppgav att tjänsten eliminerar många orsaker till policyförskjutning mellan tränings- och inferensmotorer. Små numeriska avvikelser trots identiska vikter kan annars göra att en RL-körning presterar sämre eller kollapsar. Tjänsten använder standardmetoder som Rollout Routing Replay tillsammans med optimeringar från företagets forskning om träningsstabilitet. Företaget uppgav att dess rollout-motorer bygger på samma optimeringar som dess inferensstack, med intelligent cachning och routning för agenter med flera turer samt optimerad parallellism och sekvenspackning som snabbar upp både SFT- och RL-steg.

Efter träningen stöder företaget nu inferens med multi-LoRA-adaptrar i Dedicated Model Inference, så att användarna kan byta adaptrar i en enda GPU-driftsättning i stället för att starta en separat produktionsdriftsättning för varje körning. Together uppgav att varje träningskontrollpunkt behåller sin kvalitet vid inferens, även efter övergången från sampling med flera LoRA-adaptrar till sammanslagen inferens med FP4-precision.

Dokumentationen beskriver ett arbetsflöde för träning, utvärdering och produktionssättning: träna flera adaptrar mot en och samma frysta basmodell, koppla kandidaterna till en enda multi-LoRA-driftsättning och jämför dem genom att ange en annan adapter i varje förfrågan, och driftsätt sedan den bästa i sammanslaget läge i en egen driftsättning. För GLM-5.3 och Kimi-K3 måste adaptrarna först genomgå ett förberedelsesteg för FP4-inferens.

Introduktion, migrering från Tinker och tidiga användare

För att komma igång krävs den senaste versionen av Together SDK och dokumentationen. Together publicerade kodrecept i GitHub-arkivet post-training-cookbook, med exempel på GRPO-träning på GSM8K-benchmarken, DPO implementerat som en anpassad förlustfunktion och träning av flera LoRA-adaptrar i samma modellresurs. Dokumentationen beskriver kodrecepten som ett Python-bibliotek med färdiga loopar, vars notebook-dokument visar hur man använder SDK:ns asynkrona anrop för GRPO, SFT och träning av flera adaptrar i en och samma modellresurs. För team som redan använder Tinker API finns en migreringsväg som innebär att en importrad ersätts med import together.post_training.tinker as tinker, vilket beskrivs i en migreringsguide.

Bland användarna med tidig åtkomst sa Anthony Li, biträdande chef för datavetenskap på Deel, att plattformens kontroll och flexibilitet gjorde att teamet kunde börja köra verkliga RL-experiment inom ett par timmar och köra upp till fem RL-experiment samtidigt på samma GPU-kapacitet. Oliver Normand, grundande ingenjör på Jack & Jill, sa att teamet eftertränade en modell som förutsäger vilka kandidater en rekryterande chef vill träffa – ett centralt steg i sökningen som företagets rekryteringsagent Jill utför – och att modellen uppnådde samma kvalitet som en modell med sluten källkod i offlineutvärderingar, samtidigt som den var betydligt billigare att köra. Han sa också att Togethers kundnära ingenjörer skrev skripten som gav teamet dess första resultat.

Jain på Collinear AI sa att den smidiga självbetjäningen gjorde det enkelt att starta fullskaliga körningar av agentbaserad RL. Togethers kundnära ingenjörer samarbetar med kunderna genom hela efterträningsprocessen, från valet av en öppen modell och en agentmiljö till data och träningsmiljöer, utvärderingar och driftsättning av en optimerad API-slutpunkt.