Baseten, 사후 학습용 Serverless Loops 정식 출시

Baseten은 2026년 11월 6일 Serverless Loops를 정식 출시했다고 발표하며, 공개 모델의 지도 미세 조정과 강화 학습을 위한 관리형 SDK를 모든 사용자에게 개방했다. 이 서비스는 토큰 사용량에 따라 학습 비용을 청구하며, 체크포인트에서 Baseten Dedicated Inference로 바로 이어지는 경로를 제공한다.

Loops는 역할 분담을 기반으로 한다. 사용자는 학습 신호를 제공하고, Baseten은 GPU, 커널, 모델 아키텍처와 분산 학습 백엔드를 운영한다. Python SDK는 기본 모델의 가중치를 고정한 상태에서 LoRA 어댑터를 학습한다. 사용자는 기본 모델, LoRA 랭크, 학습률, 손실 함수, 데이터 또는 환경, 알고리즘을 선택하고, Baseten은 학습기, 샘플러, 가중치 동기화와 지원 인프라를 운영한다.

기존 스크립트를 이전하는 팀을 위해 호환성 패키지는 Tinker 임포트와 핵심 학습 및 샘플링 호출을 그대로 지원한다. 마이그레이션 가이드에 따르면 인증 방식을 Baseten API 키로 바꾸고, 체크포인트는 페이지 단위로 제공되는 파일 URL로 반환하며, 이미지 입력은 인라인 방식으로 제공해야 한다. 또한 모델 계열별 LoRA 모듈 적용 범위를 고정한다. 학습 API는 호환되지만, 인프라에 따라 달라지는 세부 사항 몇 가지는 팀에서 조정해야 한다.

서버리스 모델 및 요금

서버리스 모델 카탈로그에는 다음 세 가지 모델이 포함된다. Qwen/Qwen3.6-35B-A3B 그리고 zai-org/GLM-5.3-Flash 텍스트와 비전 작업을 지원하며, zai-org/GLM-5.3 텍스트 전용이다. 각 모델의 최대 시퀀스 길이는 262,144토큰이다. GLM-5.3의 긴 컨텍스트 구성은 지원하지 않는다 cross_entropy 또는 dpo 손실. 전용 모드는 더 다양한 모델 카탈로그를 지원하고 GPU 사용 시간에 따라 요금을 청구하며, 복제본, 웜 재사용 및 스팟 용량을 제어하는 기능을 추가로 제공한다.

서버리스 실행은 GPU를 예약하지 않고 공유 용량을 사용하며, 학습과 샘플링에 사용된 토큰에 요금을 부과한다. 결과를 확인하거나 보상 함수를 변경하거나 유휴 상태로 보낸 시간에는 토큰 요금이 부과되지 않는다. 기본 모드 선택에서는 지원되지 않는 모델, LoRA 랭크 또는 시퀀스 길이를 요청하거나, 실행에서 다른 실행의 배포를 재사용할 경우 전용 용량으로 전환될 수 있다. 범위를 서버리스로 설정하면 지원되지 않는 요청은 대신 실패 처리된다.

모델 사용이 허용되더라도 용량이 반드시 제공되는 것은 아니다. 워크스페이스별 접근 권한, GPU 부족, 조직의 학습기 한도로 인해 실행이 차단될 수 있다. 따라서 토큰당 과금 모델에는 공개된 카탈로그 외에도 실제 용량에 따른 제약이 있다.

체크포인트 및 프로덕션 추론

빠른 시작 가이드에서는 네 가지 핵심 작업을 소개한다. forward_backward 손실 및 그래디언트 계산에 사용하고, optim_step 어댑터를 업데이트하며, sample 생성에 사용하고, save_state 재개 가능한 학습에 사용한다. 샘플러 가중치를 게시하면 배포 가능한 체크포인트와 해당 체크포인트에 고정된 샘플링 클라이언트가 생성된다. 별도의 save_state 작업은 모델과 옵티마이저 상태를 보존한다. 서버리스 용량이 시작되는 동안 첫 샘플링 요청에 몇 분이 걸릴 수 있으므로, 짧은 실험에서는 이를 고려해야 한다.

샘플러 체크포인트는 학습된 LoRA 어댑터를 불러온 기본 모델로 배포된다. 체크포인트는 실행이 끝난 뒤에도 유지되며, 배포 시 기본 가중치를 다운로드하므로 Hugging Face 액세스 토큰을 사용해 CLI, REST API 또는 대시보드에서 배포할 수 있다. 이렇게 생성된 OpenAI 호환 엔드포인트는 활성 상태인 동안 GPU 사용 요금을 부과한다. 배포를 삭제하면 체크포인트는 그대로 두고 GPU 요금만 중단할 수 있다. Loops 실행을 비활성화해도 배포는 삭제되지 않는다.

정식 출시를 위해 Baseten은 일시적인 네트워크 오류와 GPU 장애에 대한 처리 기능을 개선하고, 시작 오버헤드를 줄였으며, 학습기와 샘플러 간 가중치 전송 속도를 높였다. Baseten은 이러한 변경으로 동시에 처리할 수 있는 고객 워크로드가 늘었으며, 자사의 프로덕션 추론 스택이 매일 150억 건이 넘는 요청을 처리한다고 밝혔다. 프로덕션 경로에는 자동 확장, 배포 관리와 추론 지표가 포함되며, 사용자는 Hugging Face Safetensors 형식으로 가중치를 다운로드할 수 있다.

검증 및 초기 고객 워크로드

Baseten은 소매, 항공, 은행 업무를 아우르는 τ-bench 작업으로 수치 테스트와 종단 간 강화 학습 실험을 진행하고, 이후 학습에 사용되지 않은 어려운 작업으로 평가해 서비스를 검증했다고 밝혔다. τ-bench 프로젝트는 에이전트가 기업 분야별로 사용자와 대화하고, 도구를 호출하고, 지식을 검색하고, 정책을 따를 수 있는지를 평가하는 벤치마크를 설명한다. 결과는 검증 가능한 데이터베이스 결과와 대조해 확인한다.

Baseten에 따르면 NVIDIA는 텍스트 및 비전 작업을 위해 Nemotron Super 3.5 VL을 사후 학습해 의도 분류 정확도를 76.8%에서 94%로 높였고, 영수증 정보 추출에서 검증 F1 점수 87%를 달성했다. 이 작업에는 시각적 객체 수 세기를 위한 강화 학습도 포함됐다. Datadog은 SRE 에이전트의 학습 아이디어를 시험하기 위해 다중 턴 에이전트형 강화 학습을 활용하고 있으며, Ambience Healthcare는 임상 기록의 오류를 수정하고 의료 용어와 서식을 정확하게 포착하도록 모델을 사후 학습했다.

LangChain Labs는 LangSmith Engine을 위해 에이전트 실행 기록을 바탕으로 모델을 후속 학습하고 있습니다. 여기에는 GitHub 저장소를 읽어 문제를 진단하고 풀 리퀘스트에 올릴 프롬프트나 코드 변경 사항을 작성하는 작업도 포함됩니다. 실패 유형과 심각도에 따라 실행 기록을 분류하거나 기존 이슈에 연결하는 작업에는 더 작은 오픈 웨이트 모델로 전환할 수 있습니다. LangChain의 워크플로는 애플리케이션의 동작이 어떻게 학습 목표가 되는지 보여 주며, 모델 크기와 작업별 특화 수준은 해당 작업에 맞춰 선택됩니다.

고객사 사례는 GA 발표 전에 이미 사용되고 있었음을 보여 주며, 의도된 인프라 순환 구조도 드러냅니다. 애플리케이션 데이터가 학습 입력이 되고, 체크포인트를 평가한 뒤, 선정된 모델이 프로덕션 배포 단계로 나아갑니다. 인프라 팀의 비용 경계도 마찬가지로 분명합니다. 지원되는 서버리스 실행은 GPU 예약 비용과 유휴 시간의 토큰 요금을 피할 수 있지만, 실시간 추론 엔드포인트에는 계속 GPU 요금이 부과됩니다. 서버리스 옵션을 적용할 수 있는 범위는 서버리스 카탈로그와 워크스페이스 용량에 따라 결정됩니다.