Together AI lanceert Together Post-Training-service voor aangepaste modellen

Together AI lanceerde op 19 oktober 2026 Together Post-Training, een service voor het bouwen van aangepaste modellen met door gebruikers gedefinieerde reinforcement-learning- en supervised-fine-tuningloops. De introductieprijs bedraagt $9 per GPU-uur aan B200-gebruik gedurende de eerste zes weken.

Modellen bij lancering, prijzen en vroege toegang

De service is bedoeld om aangepaste modellen te bouwen op basis van zowel beloningen uit de omgeving via RL als supervisiedata via SFT. Klanten bepalen de trainingsloop, waaronder de data, omgevingen en agentische harnesses, en kunnen stappen toevoegen, zoals logging of externe benchmarking. Together optimaliseert ondertussen de onderliggende systemen en infrastructuur gezamenlijk voor modelkwaliteit en trainingssnelheid. Together zei dat het de service heeft ontwikkeld omdat RL-infrastructuur steeds complexer wordt en veel bedrijven die baat zouden kunnen hebben bij post-training er nooit aan beginnen, of er wel aan beginnen maar vastlopen door de belasting van de infrastructuur.

De service gaat van start met open-weightmodellen Muse Spark Open, GLM 5.3, Kimi K3 en Qwen 3.8-27B. Together zei dat het aanbod de komende weken wordt uitgebreid met zowel geavanceerde LLM’s als efficiënte kleinere modellen. Gedurende de eerste zes weken kost de service het verlaagde tarief van $9 per GPU-uur aan B200-gebruik.

In de afgelopen maanden gaf Together een selecte groep organisaties al vroeg toegang tot de service, voorafgaand aan de lancering. Adit Jain, onderzoeker bij Collinear AI, zei dat zijn team al sinds de lancering van de Post-Training-bèta in april 2026 met het bedrijf samenwerkte.

Toegewezen modelresources en facturering per GPU-minuut

Alle experimenten draaien op wat Together Model Resources noemt: GPU-capaciteit die aan één klant is toegewezen, zonder concurrentie van verzoeken van andere gebruikers om voorrang. Elke Model Resource kan één of meerdere Training Sessions bevatten. Elke sessie staat voor één experiment op hetzelfde basismodel, bijvoorbeeld met één set LoRA-adapters. Volgens Together maken de toegewezen resources het ook mogelijk om modellen volledig fijn te stemmen, dus verder te gaan dan LoRA, wanneer ze worden aangepast voor grote, kennisintensieve taken.

Elke sessie bevat een Trainer-instantie die verantwoordelijk is voor de voorwaartse en achterwaartse stappen en het bijwerken van de gewichten, naast Generator-instanties die roll-outs van het beleid uitvoeren. Bij supervised fine-tuning kan een modelresource zonder generators worden gestart om kosten te besparen. Gebruikers bepalen wanneer de parameters van de Trainer naar de Generator worden verstuurd. Asynchrone RL wordt ondersteund om beide componenten intensief te benutten, vooral tijdens lange agentische roll-outs.

Gebruikers kunnen LoRA-training uitvoeren, waarbij meerdere LoRA-adapters dezelfde GPU-capaciteit delen, en voor bepaalde modellen experimenten met volledige gewichten uitvoeren. De service ondersteunt standaard verliesfuncties, waaronder cross-entropy, GRPO, CISPO en DPPO. Gebruikers kunnen ook lokaal een aangepast trainingsdoel berekenen en de gradiënten ervan naar de Trainer sturen.

Volgens de documentatie over post-training bestaat de belangrijkste SDK-interface uit een create-methode, die een modelresource aanmaakt (de eenheid waarvoor wordt gefactureerd), en een create_session-methode, die daar een trainingssessie aan koppelt. Daarna volgen aanroepen per stap: sample_batch om aanvullingen te genereren die kunnen worden beoordeeld, forward_backward om het verlies te berekenen en gradiënten terug te propagateren, optim_step om de gewichten bij te werken en weights_sync om nieuwe gewichten naar replicakopieën van de Generator te publiceren. SFT en DPO slaan sample_batch en weights_sync over, omdat ze geen aanvullingen genereren.

Voor modelresources wordt per GPU-minuut gefactureerd. Volgens Together dalen de totale trainingskosten onder die van tokengebaseerde prijzen zodra experimenten opschalen. De documentatie vergelijkt dit model met de standaardservice voor fijnstemming van het bedrijf, waarbij per verwerkt token wordt gefactureerd en een taak zonder tussentijdse controle doorloopt tot deze is voltooid. Gebruikers van post-training kunnen statistieken per stap bekijken, de leersnelheid wijzigen, data opnieuw schudden of een run op basis van hun eigen logica stopzetten.

Trainingsstabiliteit en de weg naar implementatie

Together zei dat de service tal van oorzaken van beleidsdrift tussen trainings- en inferentie-engines wegneemt. Kleine numerieke verschillen kunnen er namelijk voor zorgen dat een RL-run ondermaats presteert of vastloopt, zelfs wanneer de gewichten identiek zijn. Daarvoor gebruikt de service standaardtechnieken, zoals Rollout Routing Replay, naast optimalisaties uit het onderzoek van het bedrijf naar trainingsstabiliteit. Volgens Together maken de roll-out-engines gebruik van dezelfde optimalisaties als de servingstack. Intelligente caching en routering voor agents met meerdere beurten, samen met geoptimaliseerde parallellisatie en het verpakken van sequenties, versnellen zowel SFT- als RL-stappen.

Na de training ondersteunt het bedrijf nu het aanbieden van multi-LoRA-adapters via Dedicated Model Inference. Gebruikers kunnen daarmee adapters binnen één GPU-implementatie wisselen, in plaats van voor elke run een afzonderlijke productie-implementatie te starten. Volgens Together behoudt elk trainingscheckpoint zijn kwaliteit tijdens het gebruik, zelfs nadat is overgeschakeld van multi-LoRA-sampling naar samengevoegde inferentie met FP4-precisie.

De documentatie beschrijft een workflow voor trainen, evalueren en klaarmaken voor productie: train verschillende adapters op één bevroren basismodel, koppel de kandidaten aan één implementatie met meerdere LoRA-adapters en vergelijk ze door in elk verzoek een andere adapter op te geven. Implementeer vervolgens de beste kandidaat in samengevoegde modus op een eigen implementatie. Voor GLM-5.3 en Kimi-K3 moeten adapters eerst een voorbereidingsstap doorlopen voor FP4-inferentie.

Aan de slag, migratie van Tinker en eerste gebruikers

Om aan de slag te gaan, hebt u de nieuwste Together SDK en de documentatie nodig. Together publiceerde codevoorbeelden in een repository met de naam post-training-cookbook op GitHub. Deze behandelen GRPO-training op de GSM8K-benchmark, DPO geïmplementeerd als een aangepaste lossfunctie en het trainen van meerdere LoRA-adapters binnen dezelfde modelresource. De documentatie beschrijft de cookbook als een Python-bibliotheek met kant-en-klare loops. De notebooks daarin laten zien hoe u GRPO, SFT en training met meerdere adapters op één modelresource uitvoert met behulp van de asynchrone aanroepen van de SDK. Voor teams die al met de Tinker API werken, is er een migratiepad waarbij één importregel wordt vervangen door import together.post_training.tinker as tinker, zoals nader toegelicht in een migratiehandleiding.

Anthony Li, adjunct-directeur data science bij Deel, een van de gebruikers met vroege toegang, zei dat de controle en flexibiliteit van het platform zijn team in staat stelden binnen een paar uur echte RL-experimenten uit te voeren en maximaal vijf RL-experimenten tegelijk met dezelfde GPU-capaciteit te draaien. Oliver Normand, oprichter en engineer bij Jack & Jill, zei dat zijn team een model verder had getraind dat voorspelt welke kandidaten een personeelsmanager wil ontmoeten. Dit is een cruciale stap in de zoektocht die de wervingsagent Jill van het bedrijf uitvoert. Met een opensourcemodel, dat aanzienlijk goedkoper is om te gebruiken, evenaarde het team bij offline evaluaties de kwaliteit van een gesloten model. Hij zei dat de forward-deployed engineers van Together de scripts schreven waarmee de eerste resultaten van het team werden behaald.

Jain van Collinear AI zei dat de naadloze zelfbediening het eenvoudig maakte om grootschalige agentische RL-runs te starten. De forward-deployed engineers van Together werken gedurende de volledige post-trainingcyclus samen met klanten: van de selectie van een open model en een agent-harness tot data en trainingsomgevingen, evaluaties en het uitrollen van een geoptimaliseerd endpoint.