Together AI uruchamia usługę Together do potreningowego dostrajania modeli niestandardowych

19 października 2026 r. Together AI uruchomiło potreningowe dostrajanie Together — usługę służącą do budowania niestandardowych modeli z wykorzystaniem zdefiniowanych przez użytkownika pętli uczenia ze wzmocnieniem i nadzorowanego dostrajania, w cenie promocyjnej 9 USD za godzinę wykorzystania GPU B200 przez pierwszych sześć tygodni.

Modele dostępne na start, ceny i wczesny dostęp

Usługa ma służyć do budowania niestandardowych modeli zarówno na podstawie nagród ze środowiska, z wykorzystaniem RL, jak i danych nadzorujących, z wykorzystaniem SFT. Klienci definiują pętlę treningową, w tym dane, środowiska i środowiska uruchomieniowe dla agentów, a także mogą dodawać etapy, takie jak rejestrowanie danych czy zewnętrzne testy porównawcze. Together wspólnie optymalizuje przy tym bazowe systemy i infrastrukturę pod kątem jakości modeli oraz szybkości treningu. Firma poinformowała, że stworzyła tę usługę, ponieważ infrastruktura RL staje się coraz bardziej złożona, a wiele firm, które mogłyby skorzystać z dostrajania potreningowego, w ogóle nie rozpoczyna takich prac albo zaczyna, lecz nie jest w stanie ich kontynuować z powodu obciążenia związanego z infrastrukturą.

Usługa debiutuje z modelami o otwartych wagach: Muse Spark Open, GLM 5.3, Kimi K3 i Qwen 3.8-27B. Together poinformowało, że w nadchodzących tygodniach rozszerzy ofertę o czołowe modele LLM oraz wydajne modele o mniejszych rozmiarach. Przez pierwszych sześć tygodni usługa będzie dostępna w obniżonej cenie 9 USD za godzinę wykorzystania GPU B200.

Przed uruchomieniem usługi Together zapewniło wczesny dostęp wybranej grupie organizacji w ciągu ostatnich kilku miesięcy. Adit Jain, badacz z Collinear AI, powiedział, że jego zespół współpracuje z firmą od czasu uruchomienia wersji beta usługi Post-Training w kwietniu 2026 r.

Dedykowane zasoby modelowe i rozliczanie za minuty pracy GPU

Wszystkie eksperymenty są uruchamiane w ramach tego, co Together nazywa Model Resources: zasobów GPU przydzielonych wyłącznie jednemu klientowi, bez rywalizacji o priorytet z żądaniami innych użytkowników. Każdy Model Resource może obejmować jedną lub kilka Training Sessions, z których każda odpowiada pojedynczemu eksperymentowi na tym samym modelu bazowym, na przykład z jednym zestawem adapterów LoRA. Together poinformowało, że dedykowane przydziały zasobów umożliwiają również pełne dostrajanie wag, wykraczające poza LoRA, podczas dostosowywania modeli do zadań wymagających rozległej wiedzy.

Każda sesja obejmuje instancję Trainer, odpowiedzialną za przebiegi w przód i wstecz oraz aktualizowanie wag, a także instancje Generator, które wykonują przebiegi na podstawie polityki. W przypadku nadzorowanego dostrajania zasób modelu może rozpocząć pracę bez żadnych generatorów, co pozwala ograniczyć koszty. Użytkownicy decydują, kiedy parametry trenera są przesyłane do generatora. Obsługiwane jest również asynchroniczne RL, które pozwala utrzymać wysokie wykorzystanie GPU przez oba komponenty, zwłaszcza podczas długich przebiegów agentowych.

Użytkownicy mogą trenować modele metodą LoRA, w tym uruchamiać wiele adapterów LoRA współdzielących tę samą moc obliczeniową GPU, a także prowadzić eksperymenty z pełnymi wagami w przypadku wybranych modeli. Usługa obsługuje standardowe funkcje straty, w tym entropię krzyżową, GRPO, CISPO i DPPO. Użytkownicy mogą również lokalnie obliczyć własny cel treningowy i przesłać jego gradienty do komponentu Trainer.

Zgodnie z dokumentacją dotyczącą dostrajania potreningowego, główny interfejs SDK obejmuje metodę create, która tworzy zasób modelu (jednostkę rozliczeniową), oraz metodę create_session, która przypisuje do niego sesję treningową. Następnie wykonywane są wywołania dla poszczególnych kroków: sample_batch generuje uzupełnienia tekstu do oceny, forward_backward oblicza funkcję straty i propaguje gradienty wstecz, optim_step aktualizuje wagi, a weights_sync publikuje nowe wagi w replikach generatora. W przypadku SFT i DPO pomija się sample_batch i weights_sync, ponieważ metody te nie generują uzupełnień tekstu.

Zasoby modelowe są rozliczane za każdą minutę pracy GPU. Together poinformowało, że gdy eksperymenty osiągają większą skalę, łączny koszt treningu spada poniżej kosztu naliczanego na podstawie liczby tokenów. Dokumentacja porównuje tę usługę ze standardową usługą dostrajania firmy, rozliczaną za przetworzony token i realizowaną jako zadanie, które trwa do końca bez możliwości ingerencji w jego przebieg. Użytkownicy usługi dostrajania potreningowego mogą sprawdzać wskaźniki po każdym kroku, zmieniać współczynnik uczenia, przetasowywać dane lub zatrzymać przebieg na podstawie własnej logiki.

Stabilność treningu i ścieżka wdrożenia

Together poinformowało, że usługa eliminuje liczne źródła rozbieżności polityki między silnikami treningowymi a silnikami wnioskowania. Niewielkie różnice numeryczne, występujące mimo użycia identycznych wag, mogą sprawić, że przebieg RL przyniesie gorsze wyniki lub zakończy się załamaniem. W tym celu stosowane są standardowe techniki, takie jak Rollout Routing Replay, oraz optymalizacje opracowane w ramach badań firmy nad stabilnością treningu. Firma poinformowała, że jej silniki generujące przebiegi korzystają z tych samych optymalizacji co jej stos do obsługi modeli. Inteligentne buforowanie i kierowanie ruchem dla agentów wieloturowych, a także zoptymalizowane przetwarzanie równoległe i pakowanie sekwencji przyspieszają zarówno kroki SFT, jak i RL.

Po zakończeniu treningu firma obsługuje teraz serwowanie adapterów multi-LoRA w ramach Dedicated Model Inference, dzięki czemu użytkownicy mogą przełączać adaptery w jednym wdrożeniu na GPU zamiast uruchamiać osobne wdrożenie produkcyjne dla każdego przebiegu. Together poinformowało, że każdy punkt kontrolny treningu zachowuje swoją jakość podczas serwowania, nawet po przejściu od próbkowania multi-LoRA do wnioskowania ze scalonymi adapterami w precyzji FP4.

Dokumentacja opisuje proces obejmujący trening, ewaluację i przygotowanie do wdrożenia produkcyjnego: należy wytrenować kilka adapterów względem jednego zamrożonego modelu bazowego, dołączyć je do jednego wdrożenia multi-LoRA i porównać, wskazując inny adapter w każdym żądaniu, a następnie wdrożyć najlepszy wariant w trybie scalonym, w ramach osobnego wdrożenia. W przypadku GLM-5.3 i Kimi-K3 adaptery muszą najpierw przejść etap przygotowania do wnioskowania w precyzji FP4.

Wdrożenie, migracja z Tinker i pierwsi użytkownicy

Aby rozpocząć, potrzebne są najnowsza wersja Together SDK i dokumentacja. Together opublikowało w serwisie GitHub zestawy przepisów w repozytorium post-training-cookbook. Obejmują one trenowanie GRPO na benchmarku GSM8K, DPO zaimplementowane jako niestandardowa funkcja straty oraz trenowanie wielu adapterów LoRA w ramach tego samego zasobu modelu. Dokumentacja opisuje zestaw przepisów jako bibliotekę Pythona zawierającą gotowe pętle, a dołączone do niej notebooki pokazują, jak za pomocą asynchronicznych wywołań SDK przeprowadzić trenowanie GRPO, SFT i wielu adapterów w ramach jednego zasobu modelu. W przypadku zespołów, które już korzystają z API Tinker, ścieżka migracji polega na zastąpieniu jednej linii importu za pomocą import together.post_training.tinker as tinker, co szczegółowo opisano w przewodniku migracyjnym.

Anthony Li, zastępca dyrektora ds. data science w Deel i jeden z użytkowników wczesnego dostępu, powiedział, że kontrola i elastyczność platformy pozwoliły jego zespołowi rozpocząć rzeczywiste eksperymenty z uczeniem ze wzmocnieniem w ciągu kilku godzin oraz prowadzić jednocześnie nawet pięć takich eksperymentów przy wykorzystaniu tej samej mocy obliczeniowej GPU. Oliver Normand, inżynier założyciel w Jack & Jill, powiedział, że jego zespół przeprowadził post-trening modelu przewidującego, których kandydatów menedżer ds. rekrutacji będzie chciał poznać — to kluczowy etap wyszukiwania realizowanego przez rekrutacyjnego agenta Jill firmy. W testach offline model open source dorównał jakością modelowi o zamkniętym kodzie źródłowym, a jego udostępnianie jest znacznie tańsze. Dodał, że inżynierowie Together pracujący bezpośrednio z klientami napisali skrypty, dzięki którym zespół uzyskał pierwsze wyniki.

Jain z Collinear AI powiedział, że płynny proces samodzielnego wdrożenia ułatwił uruchomienie pełnoskalowych eksperymentów z agentowym uczeniem ze wzmocnieniem. Inżynierowie Together pracujący bezpośrednio z klientami wspierają ich na każdym etapie post-treningu — od wyboru modelu open source i platformy dla agentów, przez przygotowanie danych i środowisk treningowych oraz ewaluację, aż po wdrożenie zoptymalizowanego endpointu.