ElevenLabs представляет настройку моделей, ElevenAI и партнерскую программу

11 ноября 2026 года ElevenLabs объявила, что поможет компаниям дообучать выбранные языковые модели с открытым исходным кодом и свои голосовые модели на данных из реальных внедрений. Об этом компания сообщила на своем саммите в Нью-Йорке, где также представила новое приложение ElevenAI для рабочего взаимодействия и партнерскую программу.

Этот пакет решений расширяет сферу деятельности ElevenLabs: помимо генерации речи и транскрибации, компания предлагает программное обеспечение для управления диалогами с клиентами и рабочими процессами сотрудников. Генеральный директор Мати Станишевский заявил, что через несколько лет разговорные агенты станут «критически важной инфраструктурой для каждого предприятия, такой же необходимой, как облачные сервисы или платежные системы». Так он обозначил более масштабный курс на внедрение продуктов в корпоративном секторе.

Модели для конкретных компаний и маршрутизация диалогов

ElevenLabs планирует приступить к настройке моделей в ближайшие месяцы. Компании будут работать с ее исследователями, чтобы адаптировать модели под своих клиентов и условия своей деятельности, выбирая показатели оптимизации, например удовлетворенность клиентов или надежность. Поскольку данные поступают из реальных внедрений, компании смогут и дальше совершенствовать модели по мере накопления взаимодействий, а не полагаться только на общую отраслевую модель.

ElevenLabs уже применяет отраслевой подход в Scribe v3 Medical — модели для транскрибации в сфере здравоохранения, созданной для распознавания специализированной терминологии. По словам Станишевского, компания также разрабатывает модель для финансовых услуг, оптимизированную для этой отрасли.

Предварительно представленная Interaction Engine решает другую задачу: определяет, как должен проходить диалог. Она управляет очередностью реплик и перебиваниями, а также может назначать разные языковые модели для разных частей разговора: более дешевую — для первичной сортировки запросов, а модель передового уровня — для сложных задач. Благодаря такому подходу для обычных диалогов не требуется на каждом этапе использовать модель передового уровня; это также призвано сократить расход токенов.

Память, автоматизация и приложение ElevenAI

ElevenLabs сообщает, что на ее платформе ElevenAgents для развертывания голосовых и чат-агентов появятся функции Memory и Routines. Memory будет распознавать возвращающихся аутентифицированных клиентов и преобразовывать каждый разговор в структурированную запись об их предпочтениях, ограничениях и планируемых событиях. При этом основным источником сведений о клиенте останется система управления взаимоотношениями с клиентами. Например, клиенту, который предпочитает испанский язык и может разговаривать только после 17:00, не придется повторять эти сведения во время следующего звонка.

Функция Routines, которая также появится позднее, предназначена для автоматизации многоэтапных процессов до, во время и после разговоров и будет взаимодействовать с уже используемыми инструментами и системами. Например, она сможет предварительно оценить заявку на ипотеку и перезвонить в течение нескольких минут, напомнить пациентам о визитах и предложить освободившиеся места пациентам из списка ожидания, отправить отчеты по электронной почте, внести запись в систему управления взаимоотношениями с клиентами или инициировать звонки. В совокупности эти функции расширяют возможности ElevenAgents: платформа будет не только отвечать на запросы, но и сохранять контекст и выполнять задачи, связанные с разговором.

Для сотрудников Станишевский представил ElevenAI — приложение, которое прослушивает устные разговоры, в том числе очные встречи, и создает заметки, краткие итоги и списки задач. Оно также может помогать в режиме реального времени и передавать контекст между людьми и агентами. По словам ElevenLabs, приложение записывает итоги встреч с согласия участников и предусматривает механизмы уведомления и получения согласия.

Вместе с анонсом открылся бесплатный ранний доступ к ElevenAI. Для диктовки и создания заметок по итогам встреч используется Scribe v3 — по описанию ElevenLabs, ее модель для транскрибации записанной речи поддерживает 102 языка. Отдельная версия Scribe v3 Live предназначена для обработки аудио в реальном времени с низкой задержкой.

Партнеры, маркетплейс и инфраструктура NVIDIA

По данным ElevenLabs, у компании более 550 партнеров в 44 странах, в том числе Google Cloud, IBM, Deloitte, DXC и Genesys. Новая партнерская программа позволяет консалтинговым компаниям, системным интеграторам, разработчикам программного обеспечения и агентствам встраивать ElevenAgents в корпоративные технологические комплексы или работать с выездными инженерами ElevenLabs над сложными внедрениями. В рамках альянса с McKinsey и QuantumBlack, AI by McKinsey, платформа будет использоваться в проектах McKinsey по трансформации предприятий.

На старте в сопутствующем маркетплейсе представлен отобранный каталог приложений партнеров для здравоохранения, финансовых услуг, страхования, образования и розничной торговли. Компании могут просматривать приложения и связываться с их разработчиками; начать продажи с использованием действующих соглашений с ElevenLabs планируется в 2027 году.

ElevenLabs и NVIDIA объявили, что Nemotron 3.5 Super VL стала доступна в ElevenAgents, а ElevenLabs планирует дополнить существующие системы Blackwell Ultra вычислительными мощностями NVIDIA Vera Rubin объемом 15 МВт. Эти дополнительные мощности предназначены для крупных внедрений с требованиями к безопасности или локализации данных, а также предоставят исследователям ElevenLabs доступ к оптимизированным вычислительным ресурсам.

Расширенное сотрудничество также предусматривает голосового агента, который будет работать в инфраструктуре заказчика, для Centralna e-Rejestracja — центральной системы записи на приём в рамках национальной польской платформы электронного здравоохранения. Внедрению помогает EasyCall. Агент звонит пациентам, у которых есть только стационарные телефоны, чтобы напомнить о приёме и помочь перенести его. По данным ElevenLabs, центральная система обрабатывает 40 миллионов записей на приём в год, а доля неявок составляет от 10% до 20%. При внедрении используется NVIDIA Confidential Computing: эта технология позволяет хранить данные граждан и аудиозаписи в государственной инфраструктуре и защищать их во время обработки.

Пакет анонсов на Summit показывает, что корпоративная стратегия ElevenLabs зависит не только от производительности моделей: настройка и Memory используют данные, накопленные при реальном применении, Routines связывает диалоги с бизнес-системами, а партнёрская программа и Marketplace открывают путь к корпоративным клиентам. Поэтому перед компанией стоят две основные задачи: перевести представленные в предварительной версии продукты и продукты с ранним доступом к более широкому использованию в производственной среде, а также превратить просмотры на Marketplace в покупки за счёт уже существующих обязательств перед ElevenLabs.