Baseten, NVIDIA의 Nemotron Coalition에 추론 전문성 제공

Baseten은 2026년 11월 5일 NVIDIA Nemotron Coalition에 합류했다고 발표했다. 기업 워크로드에서 얻은 인사이트와 사후 학습 및 추론 전문성을 오픈 모델 개발에 제공한다. 이번 가입으로 모델 출시, 강화 학습, 맞춤화, 전용 추론 전반에서 NVIDIA와의 협력이 확대된다.

NVIDIA는 오픈 프런티어 모델을 중심으로 연구, 전문성, 데이터, 컴퓨팅 자원을 한데 모으기 위해 2026년 3월 16일 연합을 출범시켰다. NVIDIA는 출범 발표에서 첫 프로젝트가 Mistral AI와 NVIDIA가 공동 개발하고 NVIDIA DGX Cloud에서 학습시킬 기반 모델이라고 밝혔다. 이 모델은 개발자와 조직이 특정 목적에 맞게 조정할 수 있도록 오픈 소스로 공개되며, 출시 예정인 Nemotron 4 제품군의 기반으로 활용될 예정이다.

Baseten은 Nemotron 3.5 Super VL과 Nemotron 3 Ultra의 출시 초기 파트너였다. 연합에서 맡은 역할은 완성된 모델을 제공하는 데 그치지 않고, 학습 환경과 기업 현장에서 축적된 운영 지식까지 포괄한다. 실무적으로는 구체적인 비즈니스 요구에 맞춰 모델을 조정하는 데 중점을 두며, 배포 품질과 비용, 유연성을 서로 연결된 요소로 다룬다.

실제 운영 워크로드를 위한 학습

이 회사는 복잡한 지시 체계를 다루고, 불필요한 정보를 무시하며, 세부적인 문체 선호를 따르도록 강화 학습 환경을 개발했다. 다른 환경은 복잡한 생물학 데이터 세트의 통계 분석, 수학 정리 증명, 경쟁 게임 플레이를 통해 장기적인 추론과 계획 수립을 다룬다. 이러한 과제는 실제 운영 환경에서 시스템 프롬프트, 도구 정의, 사용자의 후속 요청, 도구 응답, 오류 메시지의 형태로 지시가 전달되는 방식을 반영한다.

멀티모달 작업에는 시각적 이해가 필요한 시각·공간 추론 과제와 여러 차례에 걸친 도구 호출이 추가된다. Baseten은 사후 학습을 통해 전문가 수준의 멀티모달 추론 벤치마크인 MMMU-Pro에서 결과가 개선됐다고 밝혔다. 2026년 10월 5일 제출된 관련 논문은 사전 학습 가중치를 고정한 채 Kimi K2.6의 비전 인코더를 GLM 5.2 및 GLM 5.3에 연결하는 5,000만 개 파라미터의 프로젝터를 설명하고, MMMU-Pro와 BLINK를 사용한 평가 결과를 제시한다.

맞춤화 성과 측정

CodeRabbit의 2026년 8월 11일자 연구 보고서는 NVIDIA 및 Baseten과 함께 Nemotron 3.5 Lightning을 코드 리뷰 라우팅에 맞게 조정한 프로젝트를 소개한다. 이 프로젝트는 지도 미세 조정에 이어 검증 가능한 보상을 활용한 강화 학습을 진행했다. 고정된 1,000개 작업 평가에서 정확한 라우팅 일치율은 기준 모델의 75.8%에서 지도 미세 조정 후 80.4%, 보상 학습 후 80.7%로 높아졌다. 우연에 따른 일치를 제외한 일치도를 측정하는 Cohen의 카파 계수는 0.429에서 0.461로, 이어 0.544로 상승했다.

CodeRabbit은 라우팅 일치율이 마지막에 0.3%포인트 변한 것을 통계적으로 결정적인 개선이 아니라 비열등한 결과로 봤다. 짝지은 신뢰 구간이 0을 포함했기 때문이다. 처리량이 포화된 상태를 기준으로 한 추론 비용 비교에서는 비용이 50.4% 줄어드는 것으로 추정됐다. 동일한 평가에 기준 모델을 사용하면 2.34달러가 들었고, Baseten의 A100 한 대를 사용하면 1.16달러가 들었다. 지속 부하와 실제 운영 트래픽에 대한 검증은 이후 단계로 미뤄졌다.

Harvey는 또 다른 맞춤화 사례다. Baseten에 따르면 이 법률 AI 플랫폼은 Baseten에서 Nemotron을 사후 학습해 매일 수만 명의 변호사가 사용하는 전문 워크플로에 적용한다. Harvey와 Baseten이 2026년 9월 8일 발표한 별도의 연구에서는 M&A 데이터룸을 Python 환경에 불러온 뒤 루트 에이전트가 하위 에이전트에 범위가 한정된 검토 작업을 맡기도록 했다. Harvey는 모델 7종을 대상으로 미공개 데이터룸 50개를 평가한 결과, 이 하네스를 적용해 루브릭 기준 통과율 평균이 23.3%에서 62.4%로 상승했다고 밝혔다.

Harvey의 보고서에 따르면 Qwen3.5-122B-A10B 루트 모델에 강화 학습을 적용한 결과, 데이터룸 50개에서 통과율이 29.9%에서 63.0%로 높아졌다. 다만 Harvey는 이 실험을 초기 탐색으로 설명했으며, 거의 완벽한 통과율에 이르기까지는 여전히 상당한 격차가 있다고 밝혔다.

배포와 음성 AI

Baseten Loops는 관리형 강화 학습 워크플로를 전용 추론과 연결하며, 학습된 모델 가중치의 소유권은 고객이 유지한다. Loops는 Nemotron 3.5 Super VL과 Nemotron 3 Ultra를 지원하며, Super VL은 BF16 및 NVFP4 학습에 사용할 수 있다.

양사는 모델 품질과 응답성을 포함해 완전한 애플리케이션 전반에서 Nemotron 기반 음성 에이전트도 평가하고 있다. Baseten의 2026년 8월 4일 음성 인식 벤치마크에 따르면 NVIDIA H100 한 대는 실시간 WebSocket 오디오 스트림을 최대 100개까지 동시에 처리했다. 화자가 말을 마친 시점부터 최종 녹취록을 사용할 수 있을 때까지 걸리는 확정 지연 시간은 스트림 8개일 때 98밀리초에서 100개일 때 138밀리초로 늘었다.

Baseten의 연합 가입은 모델을 조정하는 작업과 그 결과물을 제공하는 데 쓰이는 인프라를 연결한다. 고객 사례는 이 접근 방식의 구체적인 근거를 제공하지만, CodeRabbit의 포화 처리량 추정치와 아직 마무리되지 않은 실제 운영 검증, Harvey의 초기 단계 실험은 그 한계도 보여 준다. 핵심은 측정된 성과가 지속적인 실제 운영 환경에서도 얼마나 유지되는가이다.