Together AI lancerer tjenesten Together-eftertræning til specialtilpassede modeller

Together AI lancerede den 19. oktober 2026 Together-eftertræning, en tjeneste til at bygge specialtilpassede modeller gennem brugerdefinerede forløb med forstærkningslæring og superviseret finjustering. Introduktionsprisen er 9 USD pr. GPU-time med B200 i de første seks uger.

Modeller ved lanceringen, priser og tidlig adgang

Tjenesten er udviklet til at bygge specialtilpassede modeller både ud fra belønninger fra miljøet via RL og ud fra superviseringsdata via SFT. Kunderne definerer træningsforløbet, herunder data, miljøer og agentbaserede kørselsrammer, og kan tilføje trin som logning eller ekstern benchmarking, mens Together i fællesskab optimerer de underliggende systemer og infrastrukturen med henblik på modelkvalitet og træningshastighed. Together oplyste, at virksomheden udviklede tjenesten, fordi infrastrukturen til RL bliver stadig mere kompleks, og fordi mange virksomheder, der kunne få gavn af eftertræning, enten aldrig går i gang eller går i stå på grund af infrastrukturbyrden.

Ved lanceringen omfatter tjenesten open-weight-modellerne Muse Spark Open, GLM 5.3, Kimi K3 og Qwen 3.8-27B. Together oplyste, at udvalget i de kommende uger vil blive udvidet til at omfatte både førende store sprogmodeller og effektive mindre modeller. I de første seks uger tilbydes tjenesten til en reduceret pris på 9 USD pr. GPU-time med B200.

Inden lanceringen gav Together en udvalgt gruppe organisationer tidlig adgang i løbet af de foregående måneder. Adit Jain, forsker hos Collinear AI, sagde, at hans team havde samarbejdet med virksomheden, siden betaversionen af dens eftertræningstjeneste blev lanceret i april 2026.

Dedikerede modelressourcer og afregning pr. GPU-minut

Alle eksperimenter kører på det, Together kalder modelressourcer: GPU-ressourcer, der er afsat til én enkelt kunde, så kundens anmodninger ikke skal konkurrere med andre brugeres om prioritet. Hver modelressource kan rumme en eller flere træningssessioner, hvor hver session svarer til ét enkelt eksperiment på den samme basismodel, for eksempel med ét sæt LoRA-adaptere. Together oplyste, at de dedikerede ressourcer også gør det muligt at finjustere alle modelvægte – ud over LoRA – når modeller tilpasses til omfattende, videnstunge opgaver.

Hver session indeholder en trænerinstans, der står for fremadpassager, tilbagepropagering og vægtopdateringer, samt generatorinstanser, der udfører rollouts ud fra policyen. Ved superviseret finjustering kan en modelressource starte uden generatorer for at spare omkostninger. Brugerne bestemmer, hvornår trænerens parametre sendes til generatoren, og asynkron RL understøttes for at sikre høj GPU-udnyttelse af begge komponenter, især under lange agentbaserede rollout-forløb.

Brugerne kan træne med LoRA, herunder lade flere LoRA-adaptere dele den samme GPU-kapacitet, og de kan også udføre eksperimenter med alle modelvægte for udvalgte modeller. Tjenesten understøtter almindelige tabsfunktioner, herunder cross-entropy, GRPO, CISPO og DPPO, og brugerne kan også beregne et brugerdefineret træningsmål lokalt og sende dets gradienter til træneren.

Ifølge dokumentationen om eftertræning består SDK’ets primære grænseflade af en create-metode, der klargør en modelressource (den afregnede enhed), og en create_session-metode, der knytter en træningssession til den. Derefter følger kald for hvert trin: sample_batch genererer fuldførelser, der kan bedømmes; forward_backward beregner tabet og tilbagepropagerer gradienterne; optim_step opdaterer vægtene; og weights_sync offentliggør nye vægte til generatorreplikaer. SFT og DPO springer sample_batch og weights_sync over, fordi de ikke genererer fuldførelser.

Modelressourcer afregnes pr. GPU-minut, og Together oplyste, at de samlede træningsomkostninger bliver lavere end ved tokenbaseret prissætning, så snart eksperimenterne skaleres op. Dokumentationen sammenligner tjenesten med virksomhedens almindelige finjusteringstjeneste, hvor der afregnes pr. behandlet token, og som kører som et job, der fortsætter til afslutning uden mulighed for at gribe ind undervejs. Brugere af eftertræning kan undersøge målinger for hvert trin, ændre læringsraten, blande dataene på ny eller stoppe en kørsel ud fra deres egen logik.

Stabil træning og vejen til udrulning

Together oplyste, at tjenesten fjerner en række årsager til policy-afvigelser mellem trænings- og inferensmotorer. Små numeriske forskelle mellem motorer, selv når de bruger identiske vægte, kan få et RL-forløb til at præstere dårligere eller bryde sammen. Det sker ved hjælp af standardteknikker som Rollout Routing Replay samt optimeringer baseret på virksomhedens forskning i træningsstabilitet. Virksomheden oplyste, at dens rollout-motorer bruger de samme optimeringer som dens stack til modelafvikling, med intelligent caching og routing til agenter med flere samtalerunder samt optimeret parallelisering og sekvenspakning, der accelererer både SFT- og RL-trin.

Efter træningen understøtter virksomheden nu afvikling med flere LoRA-adaptere i Dedicated Model Inference. Det gør det muligt for brugerne at skifte adaptere i én enkelt GPU-udrulning i stedet for at starte en separat produktionsudrulning for hvert træningsforløb. Together oplyste, at hvert træningskontrolpunkt bevarer sin kvalitet under afvikling, også efter skift fra sampling med flere LoRA-adaptere til inferens med sammenlagte adaptere i FP4-præcision.

Dokumentationen beskriver et forløb fra træning over evaluering til klargøring til produktion: Træn flere adaptere mod én fastfrosset basismodel, knyt kandidaterne til én enkelt udrulning med flere LoRA-adaptere, og sammenlign dem ved at angive en anden adapter i hver anmodning. Udrul derefter vinderen i sammenlagt tilstand i sin egen udrulning. For GLM-5.3 og Kimi-K3 skal adaptere først gennem et klargøringstrin til FP4-inferens.

Introduktion, migrering fra Tinker og de første brugere

For at komme i gang skal man bruge den nyeste Together SDK og dokumentationen. Together har udgivet kodeopskrifter i et repository med navnet post-training-cookbook på GitHub, som dækker GRPO-træning på GSM8K-benchmarken, DPO implementeret som et brugerdefineret loss samt træning af flere LoRA-adaptere inden for samme modelressource. Dokumentationen beskriver kodeopskrifterne som et Python-bibliotek med færdige træningsforløb, hvis notebooks gennemgår GRPO, SFT og træning af flere adaptere på én modelressource ved hjælp af SDK’ets asynkrone kald. For teams, der allerede har en opsætning med Tinker API, findes der en migreringsvej, hvor én importlinje erstattes med import together.post_training.tinker as tinker, beskrevet i en migreringsvejledning.

Blandt brugerne med tidlig adgang sagde Anthony Li, associeret direktør for datavidenskab hos Deel, at platformens kontrol og fleksibilitet gjorde det muligt for hans team at begynde at køre reelle RL-eksperimenter inden for et par timer og at køre op til fem samtidige RL-eksperimenter på den samme GPU-kapacitet. Oliver Normand, stiftende ingeniør hos Jack & Jill, sagde, at hans team eftertrænede en model, der forudsiger, hvilke kandidater en ansættelsesansvarlig vil ønske at møde – et centralt trin i den søgning, som virksomhedens rekrutteringsagent Jill udfører – og opnåede samme kvalitet som en lukket model i offlineevalueringer med en open source-model, der er betydeligt billigere at køre. Han sagde, at Togethers ingeniører, der arbejder direkte med kunderne, skrev de scripts, som gav teamet dets første resultater.

Jain fra Collinear AI sagde, at problemfri selvbetjening ved opstart gjorde det nemt at sætte agentbaserede RL-kørsler i fuld skala i gang. Togethers ingeniører, der arbejder direkte med kunderne, samarbejder med dem gennem hele eftertræningsforløbet – fra valg af en open source-model og et agentrammeværk til data, træningsmiljøer, evalueringer og lancering af et optimeret endepunkt.