AI 모델 및 플랫폼
AWS, PolyAI Dialog-RSN-1을 SageMaker JumpStart 카탈로그에 추가

핵심 포인트JumpStart는 평가에서 거버넌스가 적용된 AWS 엔드포인트까지의 경로를 단축하지만, 전화 통신과 음성 합성은 고객에게 맡깁니다.
더 보기
- JumpStart는 평가에서 거버넌스가 적용된 AWS 엔드포인트까지의 경로를 단축하지만, 전화 통신과 음성 합성은 고객에게 맡깁니다.
- Dialog-RSN-1은 텍스트나 함수 호출만 반환하므로 모든 배포는 자체 텍스트 음성 변환 계층을 추가해야 합니다.
- 청구는 엔드포인트가 서비스에 들어갈 때 시작되어 클라이언트가 연결되지 않은 경우에도 삭제될 때까지 계속됩니다.
AWS는 2026년 11월 19일 발표에서 PolyAI의 Dialog-RSN-1이 Amazon SageMaker JumpStart 카탈로그에 추가됐다고 밝혔습니다. 이에 따라 오디오 기반 고객 서비스 모델에 원클릭 배포, 평가 도구, 4가지 최적화 프로필이 제공됩니다. 엔드포인트는 고객의 자체 AWS 계정 내에서 실행됩니다.
새로운 변화는 카탈로그를 통한 작업 흐름으로, PolyAI가 앞서 두 차례 발표한 내용에 이어 추가됐습니다. PolyAI는 2026년 7월 30일 Dialog-RSN-1을 출시했으며, 2026년 10월 6일에는 AWS Marketplace를 통한 SageMaker 엔드포인트 배포를 발표했습니다. JumpStart는 검색, 평가, 사전 구성된 배포 기능을 제공하지만, 고객은 여전히 AWS Marketplace를 통해 구독해야 합니다.
하나의 카탈로그에서 평가와 배포
SageMaker AI 콘솔의 Model Hub에서 고객은 Dialog-RSN-1을 선택하고 배포를 진행합니다. JumpStart는 사전 구성된 서빙 스택에서 실시간 추론 엔드포인트를 생성하므로, 컨테이너를 수동으로 선택하거나 수십 가지 인프라 조합을 일일이 벤치마킹할 필요가 없습니다. 팀은 대신 SageMaker Python SDK 코드 몇 줄을 사용해 지속적 통합 및 지속적 배포 파이프라인에 배포를 통합할 수 있습니다.
배포 전에 모델 카드에서 P50 지연 시간, 첫 토큰 생성 시간, 처리량을 확인할 수 있습니다. 프로필은 지연 시간, 처리량, 비용 또는 균형 잡힌 범용 사용에 우선순위를 둡니다. 지연 시간 프로필은 첫 토큰 생성 시간을 최소화하고, 처리량 프로필은 초당 토큰 수를 최대화하며, 비용 프로필은 요청당 인프라 비용을 최소화합니다. 이러한 선택을 통해 모든 워크로드에 하나의 기본 설정을 적용하는 대신, 서빙 구성을 통화량, 응답성, 예산 요건에 맞출 수 있습니다.
평가 기능은 동일한 카탈로그 항목에서 이용할 수 있습니다. PolyAI의 샘플 노트북은 녹음된 고객 음성을 스트리밍하고 모델의 대화 차례 판단, 응답, 대화 기록을 출력하므로, 팀은 예상되는 통화 유형에서 모델이 어떻게 작동하는지 살펴볼 수 있습니다. 팀은 배포 전에 개요와 샘플을 검토할 수 있지만, 자체 오디오를 모델에 스트리밍하려면 엔드포인트가 필요합니다.
별도의 음성 계층을 활용한 오디오 추론
Dialog-RSN-1은 고객 음성을 직접 처리하며 대화 차례 처리, 음성 인식, 응답 생성, 함수 호출을 하나의 모델에 결합합니다. PolyAI에 따르면 오디오를 직접 처리하면 음성 인식 과정에서 통화 내용이 대화 기록으로 바뀔 때 연쇄형 시스템이 놓칠 수 있는 어조, 머뭇거림, 타이밍이 보존됩니다. 음성 활동 감지기가 각 프로브를 트리거하고, 모델의 첫 출력 토큰은 기록하고 EMPTY, ONGOING 또는 COMPLETE, 최종 대화 차례 판단을 모델이 내리도록 합니다.
출력 경로는 별도로 구성됩니다. Dialog-RSN-1은 스트리밍 응답 텍스트 또는 함수 호출을 반환하고, 고객의 대화 기록은 별도로 전달합니다. 음성을 합성하지는 않습니다. 따라서 배포 시에는 텍스트 음성 변환 기능을 별도로 제공해야 합니다. 이 방식은 고객이 음성을 선택할 수 있게 하면서도 모델 엔드포인트 외부에 구성 요소를 추가합니다.
PolyAI의 Marketplace 등록 정보에 따르면 실제 운영 환경에서 첫 토큰 응답 시간의 중앙값은 300밀리초 미만이며, 일반적인 고객 통화 한 차례 전체에는 약 390밀리초가 걸립니다. 이 차이는 중요합니다. 모델 지연 시간만으로는 음성 합성, 전화 통신, 외부 도구가 포함된 전체 음성 배포 환경의 지연을 설명할 수 없기 때문입니다.
통합의 한계와 시간당 비용
엔드포인트는 고객의 가상 프라이빗 클라우드에 위치하며, 고객의 AWS Identity and Access Management 역할을 사용하고 Amazon CloudWatch를 통해 모니터링됩니다. 추론이 해당 계정 내에서 실행되므로 통화 오디오와 대화 기록은 고객이 관리하는 인프라 안에 보관됩니다. 이러한 설계는 데이터 레지던시 및 감사 요건과 관련이 있습니다.
엔드포인트는 OpenAI Realtime 프로토콜을 구현합니다. PolyAI의 클라이언트 브리지는 Realtime 클라이언트용 로컬 WebSocket을 제공하고, 클라이언트의 이벤트를 SageMaker의 서명된 양방향 HTTP/2 스트림으로 전달합니다. 애플리케이션은 해당 스트림을 직접 호출할 수도 있습니다. 전화 통신, 오케스트레이션, 비즈니스 로직, 도구 실행은 고객이 책임져야 합니다. 또한 PolyAI의 통합 지침은 도구 호출을 실행하기 전에 날짜, 참조 번호, 금액을 검증하도록 안내합니다.
오디오 입력은 16 또는 24kHz의 base64 인코딩 PCM16 모노로 제한되며, G.711, Opus, 스테레오는 지원하지 않습니다. 컨텍스트 창은 32,000토큰이고 모델은 영어만 지원합니다. 연결은 최대 30분으로 제한되며, 5분간 유휴 상태가 지속되면 시간 초과됩니다. 재연결 시 상태가 유지되지 않으므로 새 세션을 시작할 때 애플리케이션이 관련 컨텍스트를 복원해야 합니다.
실시간 추론 비용은 호스트 시간당 45달러이며, 에서 ml.p4d.24xlarge 그리고 호스트 시간당 110달러이며, 에서 ml.p5.48xlarge. 호스트 시간은 컴퓨팅 인스턴스가 실행되는 1시간을 뜻하며, AWS 인프라 요금이 추가로 부과될 수 있습니다. 엔드포인트가 서비스 상태가 되면 요금이 발생하기 시작하고, 클라이언트가 연결되어 있지 않아도 엔드포인트를 삭제할 때까지 계속 부과됩니다. AWS의 배포 예시에서는 정리 과정에서 엔드포인트, 엔드포인트 구성, 모델을 삭제합니다.
JumpStart의 주요 기여는 모델 평가부터 거버넌스가 적용된 AWS 엔드포인트 구축까지의 운영 절차를 단축한다는 점입니다. 모델을 둘러싼 나머지 프로덕션 작업으로는 전화 통신, 음성 합성, 도구 검증, 세션 복구, 유휴 상태에서도 요금이 발생하는 엔드포인트 관리가 있습니다. 따라서 사업성은 고객사가 자체 오디오를 바탕으로 측정한 통화 처리 성과를 지속적으로 발생하는 엔지니어링 및 호스팅 비용과 비교한 결과에 달려 있습니다.












