ElevenLabs представляє налаштування моделей, ElevenAI та партнерську програму

ElevenLabs оголосила 11 листопада 2026 року, що допомагатиме компаніям доопрацьовувати вибрані мовні моделі з відкритим кодом і власні голосові моделі на основі даних із реальних розгортань. Також на саміті в Нью-Йорку компанія представила новий робочий застосунок ElevenAI та партнерську програму.

Цей пакет розширює діяльність ElevenLabs за межі генерації голосу й транскрибування — до програмного забезпечення для керування розмовами з клієнтами та роботою співробітників. Генеральний директор Маті Станішевський заявив, що за кілька років розмовні агенти стануть «критично важливою інфраструктурою для кожного підприємства — такою ж необхідною, як хмарні сервіси чи платежі», представивши ці продукти як частину ширшого просування компанії на корпоративний ринок.

Моделі для окремих компаній і маршрутизація розмов

ElevenLabs планує розпочати роботу над налаштуванням моделей у найближчі місяці. Компанії співпрацюватимуть із дослідниками ElevenLabs, щоб адаптувати моделі до власних клієнтів і умов роботи, обираючи метрики оптимізації, як-от задоволеність клієнтів або надійність. Оскільки дані надходять із реальних розгортань, компанії зможуть і далі вдосконалювати моделі в міру накопичення взаємодій, а не покладатися лише на загальногалузеву модель.

ElevenLabs уже застосовує галузевий підхід у Scribe v3 Medical — моделі транскрибування для сфери охорони здоров’я, створеній для розпізнавання спеціалізованої термінології. За словами Станішевського, компанія також розробляє фінансову модель, оптимізовану для цієї галузі.

Попередньо представлений Interaction Engine розв’язує інше завдання: визначає, як має відбуватися розмова. Він керує черговістю реплік і перериваннями, а також може призначати різні мовні моделі для різних частин діалогу: дешевшу модель — для первинного сортування запитів, а передову — для складних завдань. Такий підхід дає змогу не використовувати передову модель на кожному етапі звичайної розмови й має обмежити витрати токенів.

Пам’ять, автоматизація та застосунок ElevenAI

ElevenLabs повідомляє, що до ElevenAgents — платформи для розгортання голосових і чат-агентів — додадуть функції Memory і Routines. Memory розпізнаватиме авторизованих клієнтів, які звертаються повторно, і перетворюватиме кожну розмову на структурований запис уподобань, обмежень і майбутніх подій, водночас залишаючи систему управління взаєминами з клієнтами основним джерелом даних про клієнта. Наприклад, клієнту, який віддає перевагу іспанській мові й може розмовляти лише після 17:00, не доведеться повторювати ці відомості під час наступного дзвінка.

Функція Routines, яку також планують запустити, призначена для автоматизації багатокрокових завдань до, під час і після розмов та інтеграції з наявними інструментами й системами. Серед прикладів — попередня оцінка заявки на іпотеку з передзвоном за кілька хвилин, нагадування пацієнтам про візити й пропонування скасованих записів пацієнтам зі списку очікування, надсилання звітів електронною поштою, внесення записів до системи управління взаєминами з клієнтами або здійснення дзвінків. Сукупно ці функції розширюють можливості ElevenAgents: від відповідей на запити до збереження контексту й виконання супутніх розмові завдань.

Для співробітників Станішевський попередньо представив ElevenAI — застосунок, який прослуховує усні розмови, зокрема особисті зустрічі, та створює нотатки, підсумки й перелік завдань. Він також може надавати допомогу в реальному часі й передавати контекст між людьми та агентами. За словами ElevenLabs, застосунок записує нотатки зустрічей за згодою учасників і має механізми повідомлення про запис та отримання згоди.

Разом з оголошенням відкрився безплатний ранній доступ до ElevenAI. Для диктування й нотаток із зустрічей використовується Scribe v3, яку ElevenLabs називає моделлю транскрибування записаного аудіо зі 102 мов; окрема версія Scribe v3 Live призначена для обробки аудіо в реальному часі з малою затримкою.

Партнери, маркетплейс та інфраструктура NVIDIA

За даними ElevenLabs, компанія має понад 550 партнерів у 44 країнах, зокрема Google Cloud, IBM, Deloitte, DXC і Genesys. Нова партнерська програма дає змогу консалтинговим компаніям, системним інтеграторам, постачальникам програмного забезпечення та агенціям інтегрувати ElevenAgents у технологічні комплекси підприємств або працювати з інженерами ElevenLabs, які безпосередньо залучені до впроваджень, над складними проєктами. У межах альянсу з McKinsey та QuantumBlack, AI by McKinsey, платформа поєднується з послугами McKinsey із трансформації підприємств.

На початку в маркетплейсі буде представлено добірку застосунків від партнерів для сфер охорони здоров’я, фінансових послуг, страхування, освіти й роздрібної торгівлі. Підприємства зможуть переглядати застосунки та зв’язуватися з їхніми розробниками; почати купувати їх у межах чинних домовленостей із ElevenLabs планують у 2027 році.

ElevenLabs і NVIDIA оголосили, що Nemotron 3.5 Super VL доступна в ElevenAgents, а ElevenLabs планує додати 15 МВт обчислювальних потужностей NVIDIA Vera Rubin до наявних систем Blackwell Ultra. Додаткові потужності призначені для масштабних розгортань із вимогами до безпеки або локалізації даних, а також нададуть дослідникам ElevenLabs доступ до оптимізованих обчислювальних ресурсів.

Розширена співпраця також охоплює голосового агента, який працюватиме локально, для Centralna e-Rejestracja — центральної системи запису на прийом у національній польській платформі електронної охорони здоров’я; EasyCall підтримуватиме її впровадження. Агент телефонує пацієнтам, які мають лише стаціонарні телефони, щоб нагадати їм про прийоми та допомогти перенести їх. За даними ElevenLabs, центральна система обробляє 40 мільйонів записів на прийом щороку, а частка неявок становить від 10% до 20%; під час розгортання використовується NVIDIA Confidential Computing, щоб дані громадян і аудіо залишалися в межах державної інфраструктури та були захищені під час обробки.

Пакет, представлений на Summit, засвідчує, що корпоративна стратегія ElevenLabs залежить не лише від продуктивності моделей: налаштування та Memory використовують дані, накопичені під час реального використання, Routines пов’язує розмови з бізнес-системами, а партнерська програма й Marketplace відкривають шлях до корпоративних клієнтів. Тож головне завдання впровадження має два аспекти: перевести продукти, представлені в режимі попереднього перегляду та раннього доступу, у ширше виробниче використання, а також перетворити перегляд Marketplace на покупки завдяки вже наявним зобов’язанням ElevenLabs.