ElevenLabs, 모델 맞춤화·ElevenAI·파트너 프로그램 공개

ElevenLabs는 발표했다. 2026년 11월 11일, 뉴욕 서밋에서 공개한 새로운 ElevenAI 업무용 앱 및 파트너 프로그램과 함께, 기업이 실제 배포 환경에서 얻은 데이터를 활용해 일부 오픈소스 언어 모델과 음성 모델을 미세 조정하도록 지원할 계획이라고 밝혔다.

이번 패키지는 ElevenLabs의 사업 영역을 음성 생성과 전사에서 고객 대화 및 직원 업무 관리 소프트웨어로 확장한다. CEO 마티 스타니셰프스키는 몇 년 안에 대화형 에이전트가 “모든 기업에 클라우드나 결제만큼 필수적인 핵심 인프라”가 될 것이라고 말했다. 그는 이번 제품들을 기업 시장 전반으로 배포를 확대하려는 움직임의 일환으로 소개했다.

기업별 맞춤 모델과 대화 라우팅

ElevenLabs는 앞으로 몇 달 안에 모델 맞춤화 작업을 시작할 계획이다. 기업은 연구진과 협력해 자사 고객과 운영 환경에 맞게 모델을 조정하고, 고객 만족도나 신뢰성 같은 최적화 지표를 선택하게 된다. 데이터가 실제 배포 환경에서 수집되므로, 기업은 일반적인 업계 모델에만 의존하는 대신 상호작용 데이터가 쌓이는 대로 모델을 계속 개선할 수 있다.

ElevenLabs는 전문 용어를 인식하도록 개발한 의료 분야 전사 모델 Scribe v3 Medical을 통해 이미 업계별 맞춤 접근 방식을 적용하고 있다. 스타니셰프스키는 금융 서비스 분야에 최적화된 모델도 개발 중이라고 밝혔다.

미리 공개된 Interaction Engine은 대화가 어떻게 진행되어야 하는지를 결정하는 별도의 문제를 해결한다. 이 엔진은 발화 순서와 끼어들기를 관리하고, 대화의 각 부분에 서로 다른 언어 모델을 할당할 수 있다. 예를 들어 분류에는 비용이 더 저렴한 모델을, 복잡한 작업에는 최첨단 모델을 사용할 수 있다. 이 설계는 일상적인 대화의 모든 단계에서 최첨단 모델을 사용할 필요가 없도록 해 토큰 사용량을 줄이는 것을 목표로 한다.

기억 기능, 자동화 및 ElevenAI 앱

ElevenLabs에 따르면 음성 및 채팅 에이전트를 배포하는 플랫폼 ElevenAgents에 Memory와 Routines가 추가될 예정이다. Memory는 다시 방문한 인증 고객을 인식하고, 각 대화를 선호 사항, 제약 조건, 향후 일정이 담긴 구조화된 기록으로 정리한다. 다만 고객 정보의 기본 기록은 고객 관계 관리 시스템에 계속 보관된다. 예를 들어 스페인어를 선호하고 오후 5시 이후에만 통화할 수 있는 고객은 다음 통화에서 이 정보를 다시 말할 필요가 없다.

앞으로 제공될 Routines는 기존 도구 및 시스템과 연동해 대화 전·중·후에 여러 단계로 이뤄진 업무를 자동화하도록 설계됐다. 예를 들어 주택담보대출 신청자를 사전 심사한 뒤 몇 분 안에 다시 전화하고, 환자에게 진료 일정을 알리며 대기자에게 취소된 예약 시간을 제안하고, 보고서를 이메일로 보내고, 고객 관계 관리 시스템에 기록하거나 전화를 거는 작업을 수행할 수 있다. 이 기능들은 ElevenAgents가 문의에 답하는 데 그치지 않고 대화의 맥락을 기억하며 대화와 관련된 업무까지 처리하도록 확장한다.

직원을 위한 앱으로 스타니셰프스키는 ElevenAI를 미리 공개했다. 이 앱은 대면 회의를 포함한 음성 대화를 듣고 메모, 요약 및 실행 항목을 작성한다. 실시간 지원을 제공하고 사람과 에이전트 사이에 맥락을 전달할 수도 있다. ElevenLabs는 앱이 참석자의 동의를 받아 회의 내용을 기록하며, 고지 및 동의 절차를 포함한다고 밝혔다.

발표와 함께 ElevenAI의 무료 얼리 액세스가 시작됐다. 받아쓰기와 회의록 작성에는 Scribe v3가 사용된다. ElevenLabs는 이 모델을 102개 언어를 지원하는 녹음 음성 전사 모델이라고 설명한다. 별도 모델인 Scribe v3 Live는 지연 시간이 짧은 실시간 오디오 처리를 위해 개발됐다.

파트너, 마켓플레이스 및 NVIDIA 인프라

ElevenLabs는 Google Cloud, IBM, Deloitte, DXC, Genesys를 포함해 44개국에서 550곳이 넘는 파트너와 협력하고 있다고 밝혔다. 새 파트너 프로그램을 통해 컨설팅 회사, 시스템 통합업체, 소프트웨어 공급업체 및 에이전시는 ElevenAgents를 기업 기술 스택에 통합하거나 ElevenLabs의 현장 배치 엔지니어와 함께 복잡한 배포를 진행할 수 있다. McKinsey 및 QuantumBlack, AI by McKinsey와의 제휴를 통해 플랫폼을 McKinsey의 기업 혁신 사업과 결합한다.

함께 공개된 마켓플레이스에서는 처음에 의료, 금융 서비스, 보험, 교육 및 소매 분야의 파트너 개발 애플리케이션을 선별해 제공한다. 기업은 애플리케이션을 둘러보고 개발자에게 문의할 수 있다. 기존 ElevenLabs 계약을 통해 구매하는 기능은 2027년에 제공될 예정이다.

ElevenLabs와 NVIDIA는 발표했다. Nemotron 3.5 Super VL을 ElevenAgents에서 사용할 수 있으며, ElevenLabs는 기존 Blackwell Ultra 시스템에 더해 NVIDIA Vera Rubin 컴퓨팅 용량 15MW를 추가할 계획이라고 밝혔다. 추가 용량은 보안 또는 데이터 상주 요건이 있는 대규모 배포를 지원하고, ElevenLabs 연구진이 최적화된 컴퓨팅 자원을 이용할 수 있도록 하는 데 목적이 있다.

확대된 협력에는 EasyCall이 제공을 지원하는, 폴란드 국가 전자보건 플랫폼의 중앙 예약 시스템인 Centralna e-Rejestracja를 위한 온프레미스 음성 에이전트도 포함된다. 이 에이전트는 유선전화만 보유한 환자에게 전화를 걸어 예약을 알리고 일정을 변경할 수 있도록 돕는다. ElevenLabs에 따르면 중앙 시스템은 연간 4,000만 건의 예약을 처리하며 예약 부도율은 10~20%다. 이번 배포에는 NVIDIA Confidential Computing이 적용돼 시민의 데이터와 음성이 정부 인프라 안에 머물도록 하고 처리 중에도 보호한다.

Summit 패키지는 ElevenLabs의 엔터프라이즈 전략이 모델 성능만으로 좌우되지 않도록 한다. 튜닝과 Memory는 실제 사용 과정에서 축적된 데이터를 활용하고, Routines는 대화를 비즈니스 시스템에 연결하며, 파트너 프로그램과 Marketplace는 기업으로 진출하는 경로를 마련한다. 따라서 핵심 실행 과제는 두 가지다. 프리뷰 및 얼리 액세스로 공개된 제품을 더 폭넓게 실제 운영 환경에 도입하고, 기존 ElevenLabs의 약속을 바탕으로 Marketplace 탐색을 구매로 이어지게 하는 것이다.