Together AI, 맞춤형 모델을 위한 Together Post-Training 서비스 출시

Together AI는 2026년 10월 19일, 사용자가 정의한 강화 학습 및 지도 미세 조정 루프를 통해 맞춤형 모델을 구축하는 서비스인 Together Post-Training을 출시했다. 출시 후 첫 6주 동안 B200 사용량에 대해 GPU 시간당 9달러의 도입 가격이 적용된다.

출시 모델, 가격 및 얼리 액세스

이 서비스는 RL을 통한 환경 보상과 SFT를 통한 지도 데이터로 맞춤형 모델을 구축하도록 설계됐다. 고객은 데이터, 환경, 에이전트형 하네스를 포함해 학습 루프를 정의할 수 있으며, 로깅이나 외부 벤치마킹 같은 단계를 추가할 수도 있다. 한편 Together는 모델 품질과 학습 속도를 높이기 위해 기반 시스템과 인프라를 공동 최적화한다. Together는 RL 인프라가 점점 복잡해지고, 후학습의 혜택을 볼 수 있는 많은 기업이 인프라 부담 때문에 시작조차 하지 못하거나 시작한 뒤 중단하기 때문에 이 서비스를 만들었다고 밝혔다.

이 서비스는 오픈 웨이트 모델인 Muse Spark Open, GLM 5.3, Kimi K3, Qwen 3.8-27B로 출시된다. Together는 향후 몇 주 안에 최첨단 LLM과 효율적인 소형 모델을 모두 포함하도록 선택지를 확대할 예정이라고 밝혔다. 출시 후 첫 6주 동안은 B200 사용량에 대해 GPU 시간당 9달러의 할인 가격으로 서비스를 제공한다.

출시에 앞서 Together는 지난 몇 달 동안 일부 조직을 선정해 얼리 액세스를 제공했다. Collinear AI의 연구원 Adit Jain은 2026년 4월 Post-Training 베타가 출시된 이후 자사 팀이 Together와 협력해 왔다고 말했다.

전용 모델 리소스와 GPU 분 단위 요금

모든 실험은 Together가 모델 리소스라고 부르는 환경에서 실행된다. 모델 리소스란 단일 고객에게 전용으로 할당된 GPU 자원으로, 다른 사용자의 요청과 우선순위를 두고 경쟁하지 않는다. 각 모델 리소스에는 하나 이상의 학습 세션을 둘 수 있으며, 각 세션은 동일한 기본 모델에서 실행되는 단일 실험에 해당한다. 예를 들어, 하나의 LoRA 어댑터 세트를 사용할 수 있다. Together는 전용 할당 방식 덕분에 대규모 지식 집약적 작업에 맞춰 모델을 조정할 때 LoRA를 넘어 전체 가중치 미세 조정도 수행할 수 있다고 밝혔다.

각 세션에는 순전파와 역전파, 가중치 업데이트를 담당하는 Trainer 인스턴스와 정책에서 롤아웃을 실행하는 Generator 인스턴스가 포함된다. 지도 미세 조정의 경우 비용을 절감하기 위해 모델 리소스에 생성기를 하나도 두지 않고 시작할 수 있다. Trainer의 매개변수를 언제 Generator로 보낼지는 사용자가 결정하며, 두 구성 요소의 GPU 활용률을 높이기 위해 비동기 RL도 지원한다. 이는 특히 에이전트형 롤아웃이 길게 이어질 때 유용하다.

사용자는 LoRA 학습을 실행할 수 있으며, 여기에는 동일한 GPU 용량을 공유하는 여러 LoRA 어댑터를 사용하는 방식도 포함된다. 일부 모델에서는 전체 가중치를 사용하는 실험도 가능하다. 이 서비스는 교차 엔트로피, GRPO, CISPO, DPPO 등 표준 손실 함수를 지원하며, 사용자는 맞춤형 학습 목적 함수를 로컬에서 계산한 뒤 그 그래디언트를 Trainer로 보낼 수도 있다.

후학습 문서에 따르면, 주요 SDK 인터페이스는 모델 리소스(요금이 부과되는 단위)를 생성하는 create 메서드와 여기에 학습 세션을 연결하는 create_session 메서드로 구성된다. 이어지는 단계별 호출은 점수 산정을 위한 완성 결과를 생성하는 sample_batch, 손실을 계산하고 그래디언트를 역전파하는 forward_backward, 가중치를 업데이트하는 optim_step, 그리고 새로운 가중치를 Generator 복제본에 배포하는 weights_sync다. SFT와 DPO는 완성 결과를 샘플링하지 않으므로 sample_batch와 weights_sync를 건너뛴다.

모델 리소스에는 GPU 분 단위로 요금이 부과된다. Together는 실험 규모가 커지면 토큰 기반 요금보다 전체 학습 비용이 낮아진다고 밝혔다. 문서에서는 이 서비스를 회사의 표준 미세 조정 서비스와 비교한다. 표준 서비스는 처리된 토큰 수를 기준으로 요금을 부과하고, 실행 중 제어할 수 없이 완료될 때까지 진행되는 작업으로 운영된다. 반면 후학습 사용자는 단계별 지표를 확인하고, 학습률을 변경하고, 데이터를 재배열하거나, 자체 로직에 따라 실행을 중단할 수 있다.

학습 안정성과 배포 경로

Together는 학습 엔진과 추론 엔진 사이에서 정책이 달라지는 여러 원인을 이 서비스가 제거한다고 밝혔다. 가중치가 동일하더라도 미세한 수치 차이로 RL 실행의 성능이 떨어지거나 학습이 붕괴할 수 있기 때문이다. 이를 위해 Rollout Routing Replay 같은 표준 기법과 자체 학습 안정성 연구에서 얻은 최적화를 활용한다. 회사는 롤아웃 엔진이 자사의 서빙 스택과 동일한 최적화를 적용하며, 다중 턴 에이전트를 위한 지능형 캐싱 및 라우팅과 최적화된 병렬 처리 및 시퀀스 패킹을 통해 SFT와 RL 단계의 속도를 모두 높인다고 밝혔다.

학습이 끝난 뒤에는 Dedicated Model Inference에서 다중 LoRA 어댑터 서빙을 지원한다. 따라서 사용자는 실행마다 별도의 프로덕션 배포를 시작하는 대신, 하나의 GPU 배포 안에서 어댑터를 전환할 수 있다. Together는 다중 LoRA 샘플링에서 FP4 정밀도를 사용하는 병합 추론으로 전환한 뒤에도 각 학습 체크포인트의 품질이 서빙 환경에서 유지된다고 밝혔다.

문서에는 학습, 평가, 프로덕션 배포로 이어지는 워크플로가 설명돼 있다. 먼저 동결된 기본 모델 하나를 기준으로 여러 어댑터를 학습한 다음, 후보 어댑터를 하나의 다중 LoRA 배포에 연결하고 각 요청에서 서로 다른 어댑터를 지정해 비교한다. 그런 다음 가장 우수한 어댑터를 별도의 배포 환경에 병합 모드로 배포한다. GLM-5.3과 Kimi-K3의 경우, FP4 추론을 위해 어댑터를 먼저 준비 단계에 거쳐야 한다.

온보딩, Tinker 마이그레이션 및 초기 사용자

시작하려면 최신 Together SDK와 문서가 필요하다. Together는 GitHub의 post-training-cookbook 저장소에 요리책을 공개했다. 여기에는 GSM8K 벤치마크를 대상으로 한 GRPO 학습, 사용자 지정 손실로 구현한 DPO, 동일한 모델 리소스에서 여러 LoRA 어댑터를 학습하는 방법이 담겨 있다. 문서에서는 이 요리책을 미리 작성된 루프를 제공하는 Python 라이브러리로 설명하며, 노트북을 통해 SDK의 비동기 호출을 사용해 하나의 모델 리소스에서 GRPO, SFT, 다중 어댑터 학습을 진행하는 방법을 안내한다. Tinker API를 이미 설정해 사용 중인 팀을 위한 마이그레이션 경로에서는 import 문 한 줄을 다른 import 문 한 줄로 교체하며 import together.post_training.tinker as tinker자세한 내용은 마이그레이션 가이드에 설명되어 있다.

얼리 액세스 사용자 중 한 명인 Deel의 데이터 과학 부문 부디렉터 Anthony Li는 플랫폼의 제어 기능과 유연성 덕분에 팀이 몇 시간 만에 실제 RL 실험을 시작하고, 동일한 GPU 용량에서 최대 5개의 RL 실험을 동시에 실행할 수 있었다고 말했다. Jack & Jill의 창립 엔지니어 Oliver Normand는 팀이 채용 담당자가 만나고 싶어 할 후보자를 예측하는 모델을 후속 학습시켰다고 밝혔다. 이는 회사의 채용 에이전트 Jill이 수행하는 검색의 핵심 단계다. 또한 오프라인 평가에서 오픈 소스 모델을 사용해 비공개 소스 모델과 동등한 품질을 달성했으며, 해당 오픈 소스 모델은 운영 비용이 훨씬 저렴하다고 말했다. 아울러 Together의 고객 현장 배치 엔지니어들이 팀의 첫 결과를 만들어 낸 스크립트를 작성했다고 덧붙였다.

Collinear AI의 Jain은 원활한 셀프 온보딩 덕분에 에이전트형 RL 작업을 대규모로 실행하기 쉬웠다고 말했다. Together의 고객 현장 배치 엔지니어들은 오픈 모델과 에이전트 하니스 선정부터 데이터와 학습 환경, 평가, 최적화된 엔드포인트 출시까지 후속 학습의 전 과정에서 고객과 협력한다.