Together AI lanserer Together Post-Training-tjeneste for spesialtilpassede modeller

Together AI lanserte 19. oktober 2026 Together Post-Training, en tjeneste for å bygge spesialtilpassede modeller ved hjelp av brukerdefinerte løkker for forsterkningslæring og overvåket finjustering, med en introduksjonspris på 9 dollar per GPU-time med B200-bruk de første seks ukene.

Lanseringsmodeller, priser og tidlig tilgang

Tjenesten er utviklet for å bygge spesialtilpassede modeller både på grunnlag av belønninger fra miljøer via RL og på grunnlag av overvåkingsdata via SFT. Kundene definerer treningsløkken, inkludert data, miljøer og rammeverk for agentbaserte systemer, og kan legge til trinn som logging eller ekstern referansemåling. Samtidig optimaliserer Together de underliggende systemene og infrastrukturen i fellesskap for å forbedre modellkvaliteten og treningshastigheten. Together sier at selskapet bygget tjenesten fordi infrastrukturen for RL blir stadig mer kompleks, og mange selskaper som kunne hatt nytte av ettertrening, aldri kommer i gang eller starter, men må gi opp på grunn av infrastrukturbyrden.

Tjenesten lanseres med modellene med åpne vekter Muse Spark Open, GLM 5.3, Kimi K3 og Qwen 3.8-27B. Together sier at selskapet vil utvide utvalget i løpet av de kommende ukene, slik at det omfatter både banebrytende store språkmodeller og effektive, mindre modeller. De første seks ukene tilbys tjenesten til redusert pris: 9 dollar per GPU-time med B200-bruk.

Før lanseringen ga Together en utvalgt gruppe organisasjoner tidlig tilgang i løpet av de siste månedene. Adit Jain, forsker ved Collinear AI, sa at teamet hans hadde samarbeidet med selskapet siden betaversjonen av Post-Training ble lansert i april 2026.

Dedikerte modellressurser og fakturering per GPU-minutt

Alle eksperimenter kjøres på det Together kaller Model Resources: GPU-ressurser som er dedikert til én enkelt kunde, uten konkurranse fra andre brukeres forespørsler om prioritet. Hver Model Resource kan romme én eller flere Training Sessions, og hver økt tilsvarer ett enkelt eksperiment på den samme grunnmodellen, for eksempel ett sett med LoRA-adaptere. Together sier at de dedikerte GPU-ressursene også gjør det mulig å utføre finjustering av alle modellvektene, utover LoRA, når modeller tilpasses omfattende, kunnskapsintensive oppgaver.

Hver økt inneholder en Trainer-instans som har ansvar for fremover- og bakoverpasseringer samt oppdatering av vekter, i tillegg til Generator-instanser som genererer forløp fra policyen. Ved overvåket finjustering kan en modellressurs starte uten generatorer for å spare kostnader. Brukerne bestemmer når parametrene fra Trainer sendes til Generator, og asynkron RL støttes for å utnytte begge komponentenes GPU-kapasitet effektivt, særlig under lange agentbaserte forløp.

Brukerne kan kjøre LoRA-trening, blant annet med flere LoRA-adaptere som deler den samme GPU-kapasiteten, samt eksperimenter der alle vektene finjusteres, for utvalgte modeller. Tjenesten støtter vanlige tapsfunksjoner, blant annet kryssentropi, GRPO, CISPO og DPPO. Brukerne kan også beregne et egendefinert treningsmål lokalt og sende gradientene til Trainer.

Ifølge dokumentasjonen for ettertrening består SDK-ets viktigste grensesnitt av en create-metode, som klargjør en modellressurs (faktureringsenheten), og en create_session-metode, som knytter en treningsøkt til ressursen. Deretter følger kall for hvert trinn: sample_batch genererer fullføringer som skal vurderes, forward_backward beregner tapet og tilbakepropagerer gradienter, optim_step oppdaterer vektene, og weights_sync publiserer nye vekter til generatorreplikaer. SFT og DPO hopper over sample_batch og weights_sync fordi de ikke genererer fullføringer.

Modellressurser faktureres per GPU-minutt, og Together sier at de samlede treningskostnadene blir lavere enn med tokenbasert prising så snart eksperimentene skaleres opp. Dokumentasjonen sammenligner modellen med selskapets vanlige finjusteringstjeneste, som faktureres per behandlet token og kjøres som en jobb helt til den er fullført, uten mulighet for styring underveis. Brukere av ettertreningstjenesten kan kontrollere måltall for hvert trinn, endre læringsraten, stokke om på dataene eller stoppe en kjøring basert på egen logikk.

Stabil trening og veien til utrulling

Together sier at tjenesten eliminerer en rekke årsaker til policyavvik mellom trenings- og inferensmotorer. Små numeriske avvik kan oppstå selv med identiske vekter og føre til at en RL-kjøring gir dårligere resultater enn forventet eller bryter sammen. Dette oppnås ved hjelp av standardteknikker som Rollout Routing Replay, kombinert med optimaliseringer fra selskapets forskning på treningsstabilitet. Selskapet sier at motorene for generering av forløp bygger på de samme optimaliseringene som betjeningsstakken, med intelligent bufring og ruting for agenter med flere samtalerunder, samt optimalisert parallellisering og pakketering av sekvenser som gjør både SFT- og RL-trinn raskere.

Etter treningen støtter selskapet nå betjening av flere LoRA-adaptere i Dedicated Model Inference. Dermed kan brukerne bytte mellom adaptere i én enkelt GPU-distribusjon i stedet for å starte en separat produksjonsdistribusjon for hver kjøring. Together sier at hvert treningssjekkpunkt beholder kvaliteten i betjening, også etter overgang fra sampling med flere LoRA-adaptere til sammenslått inferens med FP4-presisjon.

Dokumentasjonen beskriver en arbeidsflyt for trening, evaluering og klargjøring til produksjon: Tren flere adaptere mot én frosset grunnmodell, knytt kandidatene til én enkelt distribusjon med flere LoRA-adaptere, og sammenlign dem ved å angi en annen adapter i hver forespørsel. Distribuer deretter den beste kandidaten i sammenslått modus i sin egen distribusjon. For GLM-5.3 og Kimi-K3 må adapterne først gjennom et klargjøringstrinn for FP4-inferens.

Oppstart, migrering fra Tinker og tidlige brukere

For å komme i gang trenger du den nyeste versjonen av Together SDK og dokumentasjonen. Together publiserte kodeoppskrifter i et repository for ettertrening på GitHub, med eksempler på GRPO-trening på GSM8K-benchmarken, DPO implementert som et egendefinert tapsmål og trening av flere LoRA-adaptere innenfor samme modellressurs. Dokumentasjonen beskriver kodeoppskriftene som et Python-bibliotek med ferdiglagde løkker, der notatbøkene viser hvordan man bruker SDK-ens asynkrone kall til GRPO, SFT og trening med flere adaptere på én modellressurs. For team som allerede bruker Tinker API, finnes det en migreringsløsning som erstatter én importlinje med import together.post_training.tinker as tinker, nærmere beskrevet i en migreringsveiledning.

Blant brukerne med tidlig tilgang sa Anthony Li, assisterende direktør for datavitenskap hos Deel, at plattformens kontrollmuligheter og fleksibilitet gjorde det mulig for teamet hans å begynne med reelle RL-eksperimenter i løpet av et par timer og kjøre opptil fem samtidige RL-eksperimenter på samme GPU-kapasitet. Oliver Normand, grunnlegger og ingeniør hos Jack & Jill, sa at teamet hans ettertrente en modell som forutsier hvilke kandidater en ansettelsesansvarlig vil ønske å møte – et sentralt trinn i søket som selskapets rekrutteringsagent Jill utfører – og oppnådde samme kvalitet som en proprietær modell i offline-evalueringer med en åpen kildekodemodell som er betydelig billigere å kjøre. Han sa at Together-ingeniører som jobber direkte med kundene, skrev skriptene som ga teamet de første resultatene.

Jain fra Collinear AI sa at sømløs selvbetjening gjorde det enkelt å sette i gang RL-kjøringer med agentbasert læring i full skala. Togethers ingeniører som jobber direkte med kundene, samarbeider med dem gjennom hele ettertreningsløpet – fra valg av en åpen modell og et agentrammeverk til data og treningsmiljøer, evalueringer og lansering av et optimalisert endepunkt.