AI 모델 및 플랫폼
Baseten, Voice Agent Stack과 Realtime Voice 비공개 프리뷰 공개

핵심 포인트오케스트레이션을 음성 모델과 함께 배치하면 원격 오케스트레이터가 턴마다 추가하는 네트워크 왕복이 제거됩니다.
더 보기
- 오케스트레이션을 음성 모델과 함께 배치하면 원격 오케스트레이터가 턴마다 추가하는 네트워크 왕복이 제거됩니다.
- Baseten의 스택을 사용하면 운영자는 전체 파이프라인을 복제하는 대신 각 파이프라인 단계를 독립적으로 확장할 수 있습니다.
- Baseten의 엔드포인트가 추가된 실시간 경로를 제공하지 않기 때문에 OpenAI SDK 클라이언트는 직접 연결할 수 없습니다.
Baseten이 발표한 Voice Agent Stack과 Baseten Realtime Voice는 2026년 11월 16일 공개됐으며, 대기자 명단을 통해 두 제품 모두 비공개 프리뷰로 제공된다. Baseten은 테스트 환경에서 최대 56개의 동시 세션을 처리하며 턴 지연 시간 중앙값이 약 1초였다고 밝혔다. 이 스택은 음성 모델과 오케스트레이션을 한곳에 배치하고, 고객이 모델을 각각 선택할 수 있도록 하며, 파이프라인의 각 구성 요소를 개별적으로 확장한다.
같은 위치에 배치된 인프라
Voice Agent Stack은 Baseten Dedicated Inference에서 실행되며, 오케스트레이터와 모델을 동일한 클라우드 리전의 클러스터 내부 네트워크에 배치한다. Baseten은 음성-텍스트 변환, 언어 처리, 텍스트-음성 변환 구성 요소를 모두 자사 플랫폼에서 호스팅하더라도 원격 오케스트레이터를 사용하면 턴마다 네트워크 왕복으로 수백 밀리초가 추가될 수 있다고 밝혔다. 이 스택은 추론 런타임 최적화, 모델 간 네트워킹, 트래픽 자동 확장, 클라우드 간 장애 조치, 모델 사후 학습 지원도 제공한다.
Realtime Voice는 참조 구현으로, Baseten에 최적화된 오픈 가중치 모델을 음성-텍스트 변환, 언어 처리, 텍스트-음성 변환 단계에 걸쳐 실행하며 Pipecat 기반의 맞춤형 오케스트레이터를 사용한다. 선택적으로 사용할 수 있는 위임 설계에서는 빠른 모델을 오케스트레이터와 같은 위치에 배치해 대화를 처리하고, 더 강력한 외부 추론 모델이 추론, 웹 검색, 의사 결정, 도구 호출을 비동기적으로 처리하도록 한다. 서버 측 도구는 같은 위치에 배치된 오케스트레이터에서 실행되며, 오케스트레이터는 원격 Model Context Protocol 서버도 호출할 수 있어 클라이언트와의 추가 왕복을 줄인다. 클라이언트 측 도구도 지원한다.
모델 제어 및 API 호환성
고객은 음성-텍스트 변환, 언어 처리, 텍스트-음성 변환에 사용할 모델을 각각 선택하고, 전용 구성 요소와 타사 API를 조합하며, 시간이 지나면서 개별 요소를 전용 인프라로 옮길 수 있다. 사후 학습 옵션에는 업계 전문 용어에 맞춘 음성 인식 조정, 통화에 적합한 언어 모델 동작 조정, 고객의 음성 데이터를 활용한 음성 지도 미세 조정이 포함된다. 세션을 재배포하지 않고도 언어 모델, 음성 또는 음성 인식 경로를 전환할 수 있다.
API는 OpenAI Realtime의 핵심 이벤트 프로토콜과 일치하며, 오디오 입력·오디오 출력 및 텍스트 입력·오디오 출력 모드를 지원한다. 음성 인식 키워드 가중치 조정, 설정 가능한 응답 확인, 음성 복제 기능도 제공한다. 다만 호환성에는 현실적인 제약이 있다. 클라이언트는 전체 WebSocket URL을 받아들여야 한다. OpenAI의 Python SDK는 기본 URL 뒤에 경로를 덧붙이기 /realtime 때문에 직접 연결할 수 없다. Baseten의 엔드포인트는 해당 경로를 제공하지 않는다. 브라우저에서는 필요한 헤더를 설정할 수 없으므로 브라우저 클라이언트는 API 키를 보관하고 소켓 연결을 중계할 백엔드가 Authorization 필요하다.
동시 접속 상황에서의 지연 시간과 비용
Baseten은 동시 통화가 1건일 때 첫 오디오가 출력되기까지 걸리는 시간의 중앙값이 0.94초였고, 56건일 때는 1.14초였다고 밝혔다. 지연 시간 테스트에는 최대 16,000토큰의 컨텍스트가 사용됐다. 컨텍스트가 더 길어지면 턴 지연 시간이 늘어날 수 있지만, 요약 기능을 설정해 각 세션의 컨텍스트 길이를 목표치 이내로 유지할 수 있다. 테스트 구성에는 RTX-6000 한 대에서 실행되는 Qwen3-ASR, B200 한 대에서 실행되는 Gemma-4-31B, 또 다른 RTX-6000에서 실행되는 Qwen3-TTS, 그리고 위임 작업에 사용된 Baseten Model APIs를 통한 GLM-5.3 Fast가 포함됐다.
각 구성 요소는 자체 동시 처리 목표에 맞춰 개별적으로 확장되므로, 운영자는 전체 파이프라인을 복제하는 대신 한계에 도달한 단계에 용량을 추가할 수 있다. 이 설계는 GPU 활용률을 높게 유지하면서 p90 및 p95 지연 시간의 꼬리를 엄격히 관리하도록 고안됐다. Baseten은 명시된 활용률 가정에 따라 동시 세션 32개에서 오디오 1분당 0.012달러로 추산했다. 이 금액에는 추론 모델 위임에 따른 토큰당 비용이 포함되지 않는다. Model API 위임을 포함하면 동시 세션 56개에서 통화 1분당 0.008달러로 추산했다. 전용 요금제에서는 더 많은 세션에 하드웨어 비용을 분산할 수 있으므로, 이러한 비용 구조에서는 지속적인 활용률이 핵심이다.
독립적인 Coval의 음성-텍스트 변환 벤치마크는 구성 요소 수준의 참고 자료를 제공한다. 24시간 리더보드에서는 2026년 11월 16일 17:30 UTC 기준 데이터에서 Baseten이 호스팅하는 Qwen3 ASR 1.7b가 최종 구간까지 걸린 시간의 중앙값 기준 2위를 기록했다. 중앙값은 33밀리초였고, 샘플 456개에서 단어 오류율은 2.1%였다. 이 지표는 모든 시스템에 공통된 발화 종료 시점에서 시작해 최종 녹취 결과가 도착할 때까지를 측정하며, 실시간 시스템이 발화가 끝났음을 감지하는 데 걸리는 시간은 제외한다. 따라서 에이전트의 전체 응답 시간을 측정하는 지표는 아니다.
Baseten은 앞으로 더 복잡한 오케스트레이션 흐름, 기존 음성 파이프라인의 간편한 마이그레이션, 네이티브 음성 간 양방향 동시 통신 시스템, 전용 음성 생성 헤드를 갖춘 옴니 모델, 캐스케이드 전반에 적용되는 새로운 스케줄링 프리미티브를 개발할 계획이라고 밝혔다. 이번 출시는 오케스트레이션이 음성 에이전트의 비용 구조를 좌우하는 제어 지점임을 보여준다. 모델 선택, 도구 실행, 구성 요소별 용량을 한데서 관리해 운영자가 전체 파이프라인을 다시 구축하지 않고도 지연 시간과 GPU 사용량을 조정할 수 있는 여러 방법을 제공한다.












