Together AI julkaisee Together Post-Training -palvelun mukautettujen mallien rakentamiseen

Together AI julkaisi 19. lokakuuta 2026 Together Post-Training -palvelun, jossa mukautettuja malleja rakennetaan käyttäjän määrittelemillä vahvistusoppimisen ja valvotun hienosäädön koulutussilmukoilla. Ensimmäisten kuuden viikon ajan B200-GPU:n käyttötunti maksaa tarjoushintaan 9 dollaria.

Julkaisumallit, hinnoittelu ja ennakkokäyttö

Palvelu on suunniteltu mukautettujen mallien rakentamiseen sekä vahvistusoppimisen (RL) avulla ympäristöstä saatavien palkkioiden perusteella että valvotun hienosäädön (SFT) avulla ohjausdatan perusteella. Asiakkaat määrittävät koulutussilmukan, johon kuuluvat data, ympäristöt ja agenttikehykset, ja voivat lisätä siihen vaiheita, kuten lokituksen tai ulkoisen vertailuanalyysin. Together optimoi samalla yhdessä taustalla olevat järjestelmät ja infrastruktuurin mallin laadun ja koulutusnopeuden parantamiseksi. Togetherin mukaan se rakensi palvelun, koska RL-infrastruktuuri monimutkaistuu ja monet jälkikoulutuksesta hyötyvät yritykset eivät koskaan aloita sitä tai aloittavat mutta keskeyttävät infrastruktuurin aiheuttaman kuormituksen vuoksi.

Palvelu julkaistaan avoimilla painoilla varustettujen mallien Muse Spark Open, GLM 5.3, Kimi K3 ja Qwen 3.8-27B kanssa. Togetherin mukaan valikoimaa laajennetaan lähiviikkoina kattamaan sekä huipputason suuret kielimallit että tehokkaat pienemmät mallit. Ensimmäisten kuuden viikon ajan palvelun alennettu hinta on 9 dollaria B200-GPU:n käyttötunnilta.

Ennen julkaisua Together tarjosi viime kuukausien aikana ennakkokäyttöoikeuden valikoidulle joukolle organisaatioita. Collinear AI:n tutkija Adit Jain kertoi, että hänen tiiminsä oli tehnyt yhteistyötä yrityksen kanssa siitä lähtien, kun Post-Training-palvelun beetaversio julkaistiin huhtikuussa 2026.

Asiakkaalle varatut malliresurssit ja GPU-minuuttiperusteinen laskutus

Kaikki kokeet suoritetaan Togetherin malliresursseiksi kutsumissa ympäristöissä: GPU-resurssit varataan yhdelle asiakkaalle, eikä muiden käyttäjien pyyntöjen tarvitse kilpailla niiden käyttövuorosta. Kuhunkin malliresurssiin voidaan liittää yksi tai useita koulutusistuntoja. Kukin istunto vastaa yhtä koetta samalla perusmallilla, esimerkiksi kokeilua, jossa käytetään yhtä LoRA-sovittimien joukkoa. Togetherin mukaan resurssien varaaminen yksittäiselle asiakkaalle mahdollistaa myös kaikkien mallipainojen hienosäädön LoRA:n lisäksi, kun malleja mukautetaan laajoihin, paljon tietoa vaativiin tehtäviin.

Jokaisessa istunnossa on Trainer-instanssi, joka vastaa eteenpäin- ja taaksepäinlaskennan vaiheista sekä painojen päivityksistä, ja sen rinnalla Generator-instansseja, jotka suorittavat toimintajaksoja toimintapolitiikan mukaisesti. Valvotussa hienosäädössä malliresurssi voidaan käynnistää ilman generaattoreita kustannusten säästämiseksi. Käyttäjät päättävät, milloin Trainerin parametrit lähetetään generaattorille, ja asynkronista vahvistusoppimista tuetaan kummankin komponentin suuren GPU-käyttöasteen varmistamiseksi erityisesti pitkien agenttien toimintajaksojen aikana.

Käyttäjät voivat suorittaa LoRA-koulutusta siten, että useat LoRA-sovittimet jakavat saman GPU-kapasiteetin, sekä tehdä kaikkien painojen kokeita valikoiduilla malleilla. Palvelu tukee tavallisia häviöfunktioita, kuten ristientropiaa, GRPO:ta, CISPO:a ja DPPO:ta. Käyttäjät voivat myös laskea mukautetun koulutustavoitteen paikallisesti ja lähettää sen gradientit Trainerille.

Jälkikoulutuksen dokumentaation mukaan SDK:n keskeiseen rajapintaan kuuluvat create-metodi, joka varaa malliresurssin (laskutettavan yksikön), ja create_session-metodi, joka liittää siihen koulutusistunnon. Tämän jälkeen käytetään vaihekohtaisia kutsuja: sample_batch luo pisteytettäviä täydennyksiä, forward_backward laskee häviön ja suorittaa gradienttien takaisinsyötön, optim_step päivittää painot ja weights_sync julkaisee uudet painot generaattorireplikoille. SFT ja DPO ohittavat sample_batch- ja weights_sync-kutsut, koska niissä ei näytteistetä täydennyksiä.

Malliresursseista laskutetaan GPU-minuuttien mukaan. Togetherin mukaan koulutuksen kokonaiskustannukset jäävät tokeniperusteista hinnoittelua pienemmiksi heti, kun kokeiden mittakaava kasvaa. Dokumentaatiossa mallia verrataan yhtiön tavanomaiseen hienosäätöpalveluun, jossa laskutus perustuu käsiteltyihin tokeneihin ja koulutus suoritetaan työnä loppuun ilman mahdollisuutta ohjata sitä kesken ajon. Jälkikoulutuksen aikana käyttäjät voivat tarkastella vaihekohtaisia mittareita, muuttaa oppimisnopeutta, sekoittaa datan uudelleen tai pysäyttää suorituksen omien ehtojensa perusteella.

Koulutuksen vakaus ja siirtyminen tuotantoon

Togetherin mukaan palvelu poistaa useita koulutus- ja päättelymoottorien välisiä toimintapolitiikan ajautumisen lähteitä. Vaikka painot ovat samat, pienet numeeriset erot voivat saada RL-ajon tuottamaan heikompia tuloksia tai epäonnistumaan. Palvelussa käytetään tähän tavallisia menetelmiä, kuten Rollout Routing Replayta, sekä Togetherin koulutuksen vakautta koskevasta tutkimuksesta johdettuja optimointeja. Yhtiön mukaan toimintajaksojen suoritusmoottorit hyödyntävät samoja optimointeja kuin sen mallien tarjoilupino: älykäs välimuistin käyttö ja reititys tukevat monivuorovaikutteisia agentteja, ja optimoitu rinnakkaisuus sekä sekvenssien pakkaaminen nopeuttavat sekä SFT- että RL-vaiheita.

Koulutuksen jälkeen yhtiö tukee nyt useiden LoRA-sovittimien käyttämistä Dedicated Model Inference -palvelussa. Näin käyttäjät voivat vaihtaa sovittimia yhdessä GPU-käyttöönotossa sen sijaan, että jokaiselle ajolle käynnistettäisiin erillinen tuotantokäyttöönotto. Togetherin mukaan kukin koulutuksen tarkistuspiste säilyttää laatunsa mallia tarjottaessa, vaikka siirryttäisiin usean LoRA-sovittimen näytteistyksestä yhdistettyyn päättelyyn FP4-tarkkuudella.

Dokumentaatiossa kuvataan työnkulku, jossa malli koulutetaan, arvioidaan ja viedään tuotantoon: ensin koulutetaan useita sovittimia yhtä jäädytettyä perusmallia vasten, sitten ehdokkaat liitetään yhteen usean LoRA-sovittimen käyttöönottoon ja niitä verrataan nimeämällä kussakin pyynnössä eri sovitin. Lopuksi paras vaihtoehto otetaan käyttöön yhdistetyssä tilassa omassa käyttöönotossaan. GLM-5.3– ja Kimi-K3-mallien sovittimet on ensin valmisteltava FP4-päättelyä varten.

Käyttöönotto, Tinkeristä siirtyminen ja ensimmäiset käyttäjät

Aloittaminen edellyttää Together SDK:n uusinta versiota ja dokumentaatiota. Together julkaisi GitHubissa post-training-cookbook-repositorion, jonka keittokirjat käsittelevät GRPO-koulutusta GSM8K-vertailutestillä, mukautettuna häviöfunktiona toteutettua DPO:ta sekä useiden LoRA-sovittimien kouluttamista saman malliresurssin sisällä. Dokumentaation mukaan keittokirja on Python-kirjasto, joka sisältää valmiita silmukoita. Sen muistikirjoissa käydään SDK:n asynkronisten kutsujen avulla läpi GRPO, SFT ja usean sovittimen koulutus yhdellä malliresurssilla. Tiimeille, joilla on jo käytössä Tinker API, on tarjolla siirtymäpolku, jossa yksi import-rivi korvataan import together.post_training.tinker as tinker, kuten siirtymisoppaassa kuvataan.

Anthony Li, Deel-yhtiön datatieteen apulaisjohtaja ja yksi ennakkojulkaisun käyttäjistä, kertoi alustan hallinnan ja joustavuuden ansiosta, että hänen tiiminsä pystyi aloittamaan todellisten RL-kokeiden ajamisen parissa tunnissa ja ajamaan samalla GPU-kapasiteetilla enintään viittä RL-koetta samanaikaisesti. Jack & Jillin perustajainsinööri Oliver Normand kertoi, että hänen tiiminsä jälkikoulutti mallin ennustamaan, ketkä hakijoista rekrytointipäällikkö haluaa tavata. Tämä on keskeinen vaihe yrityksen Jill-rekrytointiagentin tekemässä haussa. Tiimi saavutti suljetun lähdekoodin mallin laatutason offline-arvioinneissa käyttämällä avoimen lähdekoodin mallia, jonka tarjoaminen on huomattavasti edullisempaa. Normandin mukaan Togetherin asiakasrajapinnassa työskentelevät insinöörit kirjoittivat skriptit, joilla tiimi sai aikaan ensimmäiset tuloksensa.

Collinear AI:n Jainin mukaan saumattoman omatoimisen käyttöönoton ansiosta laajamittaisten agenttisen RL:n ajojen käynnistäminen oli helppoa. Togetherin asiakasrajapinnassa työskentelevät insinöörit tekevät yhteistyötä asiakkaiden kanssa koko jälkikoulutuksen elinkaaren ajan avoimen mallin ja agenttikehikon valinnasta dataan ja koulutusympäristöihin sekä arviointeihin ja optimoidun päätepisteen julkaisuun.