Інтерв’ю

Антон Дворкович, генеральний директор та засновник Dubformer – Серія інтерв’ю

Antoine Tardif
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиШтучний інтелект для дубляжу досі не справляється з емоційно автентичним виконанням…
Показати більше
  • Штучний інтелект для дубляжу досі не справляється з емоційно автентичним виконанням, навіть коли мовлення звучить по-людськи.
  • Відкритий бенчмарк VOX-DUB змушує компанії доводити заяви про якість дубляжу вимірюваними доказами.
  • Локалізація за допомогою штучного інтелекту дозволить незалежним творцям досягати глобальної аудиторії, яка колись була доступна лише великим студіям.

Антон Дворкович, генеральний директор та засновник Dubformer, понад десяти років формує перетин штучного інтелекту, мови та мовних технологій. Перед запуском Dubformer у 2023 році він очолював великі ініціативи з машинного навчання та обробки природної мови в Yandex, керуючи продуктами such as Yandex Translate, Yandex Keyboard та голосовим асистентом Alice, кожний з яких обслуговував мільйони користувачів. У Nebius він обіймав посаду керівника штучного інтелекту, просунувши великомасштабну інфраструктуру для інтелектуальних систем. Його досвід управління міжфункціональними командами з понад 100 інженерів, розробників та дослідників став основою для бачення Dubformer – подолання мовних бар’єрів за допомогою передових технологій дублювання.

Dubformer – це стартап з штучним інтелектом, який займається дублюванням, розташований в Амстердамі, і вже обробив понад один мільйон хвилин локалізованого відеоконтенту. Компанія спеціалізується на перекладі та дублюванні відео за допомогою синтетичних голосів, які зберігають емоційний тон, тимінг та індивідуальність мовця, допомагаючи творцям, студіям та підприємствам зробити свій контент глобально доступним. Її платформа використовує глибокі моделі навчання для розпізнавання мови, клонування голосу та перекладу, пропонуючи природні результати, які значно перевершують традиційні інструменти дублювання.

Після того, як ви очолювали команди обробки природної мови та мови в Yandex та обіймали посаду керівника штучного інтелекту в Nebius, що мотивувало вас створити компанію, присвячену штучному інтелекту, та як ці досвіди сформували ваше бачення?

Працюючи в Yandex як керівник обробки природної мови, я розвинув пристрасть до подолання мовних бар’єрів за допомогою технологій. Я став свідком (і брав участь у) революції штучного інтелекту, яка відбулася в машинному перекладі – і тоді я зрозумів, що велика проблема, яка все ще залишається_UNSOLVED, це переклад медіа (аудіо та відео). Коли ви бачите, як текстовий переклад стає майже ідеальним, ви починаєте запитувати: що про історії, які насправді рухають людей? Що про виступи, які роблять вас сміятися чи плакати? Тому ми вирішили взятися за завдання створення технології дублювання штучним інтелектом, і піти далі медійного перекладу, який просто зрозумілий, до того, який насправді приємний. Це саме тому ми запустили Dubformer.

Який конкретний пробіл у локалізації медіа ви визначили, і як ваш досвід у нейронному машинному перекладі та технологіях голосу вплинув на ваш підхід до вирішення цієї проблеми?

Локалізація медіа сьогодні几乎 виконується виключно з допомогою голосових акторів, і це має кілька недоліків: це досить дорого, терміни виконання повільні, і масштабування дуже важке і призводить до великих накладних витрат на управління людьми. Подумайте про це: традиційне ремесло дублювання неймовірне, але ці обмеження означають, що багато проєктів ніколи не будуть дубльовані зовсім. Отже, традиційне дублювання досить хороше, але є багато проєктів, які зараз не дублюються через вищезазначені недоліки. Насправді, 95% контенту доступне лише мовою оригіналу. Це саме той пробіл, який ми адресуємо.

Бенчмарк VOX-DUB – це важливий етап у оцінці якості дублювання. Які висновки ви зробили про стан галузі після участі у цьому бенчмарку?

Результати VOX-DUB показали щось важливе: галузь уже вирішила проблему створення штучних голосових супровідів, які звучать “людськими” для контенту, де емоційний компонент не критичний. Однак дублювання контенту, де емоції справді мають значення, залишається нерозв’язаною проблемою, хоча може здатися, що все вже вирішено. Багато систем можуть виробляти зрозумілі мовлення, але дуже мало з них можуть створити виступи, які відчуваються автентичними та емоційно узгодженими з оригіналом. Ми освоїли читання тексту вголос, але нам ще потрібно навчитися справді виконувати сцени.

Ви говорили про компроміс між вірністю голосу та загальною якістю мовлення. Як ви підходите до балансування цих факторів у ваших системах?

Насправді компроміс часто не між вірністю голосу та якістю, а між глибиною емоційного, інтонаційного та виразного переносу та стабільністю результату. Чим більше ви намагаєтеся перенести, тим вище ризик перенести щось неправильно, особливо оскільки емоції звучать та виражаються по-різному в різних мовах. Що звучить пристрасно в одній мові, може звучати нерівним або навіть шокуюче в іншій. Ми намагаємося знайти баланс між емоційною точністю та природністю, забезпечуючи, щоб результат залишався виразним, але зручним для прослуховування.

На вашу думку, що робить штучне дублювання фундаментально іншим від традиційного тексту-в-мову – як технічно, так і художньо?

Традиційне текст-в-мову зосереджується на простому читанні тексту, зазвичай у нейтральному тоні. Штучне дублювання, особливо у медійній галузі, – це значно складніше завдання, де метою не тільки передати значення, а створити відчуття присутності та справжнього виконання. Емоції, інтонації та природні паузи всі відіграють важливу роль, разом з викликами, такими як міксування, акустична адаптація та синхронізація з рухом губ та ритмом сцени. Художньо штучне дублювання набагато ближче до акторської гри, ніж до читання; система повинна виконувати рядок, а не просто вимовляти його.

Які аспекти оцінювальної структури VOX-DUB ви знаходить найбільш цінними для забезпечення прозорості та підзвітності у локалізації медіа штучним інтелектом?

Що робить VOX-DUB таким цінним для прозорості, це те, що він змушує всіх бути чесними щодо того, що вони можуть насправді доставити. До цієї структури компанії могли робити заяви про якість дублювання без жодного способу підтвердити їх. Критичний прорив полягає в тому, що VOX-DUB вводить перший систематичний каталог помилок дублювання штучним інтелектом через свою комплексну людську оцінку. Це відкритий набір даних створює спільну мову для якості – оригінальні фрагменти мови з перекладами, згенеровані аудіо з декількох систем та людські анотації по п’яти критичних аспектах: вимові, природності, якості звуку, подібності емоцій та подібності голосу. Вперше у нас є стандарт для людської оцінки дублювання з чіткими керівництвами та прикладами. Тепер, коли команди говорять про якість, всі насправді говорять про одну й ту ж річ. Опубліковані результати, які кожен може побачити, створюють справжню підзвітність. Команди повинні підтвердити свої маркетингові заяви даними про виконання по всіх п’яти вимірах якості. Такий відкритий підхід змінює спосіб роботи всієї галузі та створює довіру до творців, які потребують надійних, вимірюваних результатів.

Як ви бачите вплив бенчмарків, таких як VOX-DUB, на темп прогресу у створенні та розповсюдженні багатомовного контенту?

Красиве у тому, що є чіткі бенчмарки, полягає в тому, що вони створюють дорожню карту для всіх, щоб слідувати за нею. Коли команди бачать, чого можна досягти через результати VOX-DUB, це прискорює їх власний розвиток. Замість того, щоб гадати, який виглядає рівень якості, вони мають конкретні цілі, до яких можна прагнути. Я спостерігаю, як компанії стискають свої дорожні карти, оскільки вони можуть побачити докази того, що працює в інших місцях. Це спільне розуміння допомагає всьому полю рухатися швидше разом, що означає, що більш різноманітний контент може досягнути глобальної аудиторії швидше.

Ваша платформа досягла сильних результатів у вимові та природності. Які основні інновації або вибір моделі найбільше внесли до цього?

Це залежить від розуміння того, що дублювання не лише про окремі слова; це про весь екосистему виконання. Дві прориви зробили різницю. По-перше, ми перестали розглядати вимову як чисто технічну та почали розглядати її як емоційну. Люди не говорять ідеально артикульованими складами; вони зминають слова, коли сумують, вони поспішають, коли радуються. Захоплення цієї природної недосконалості було критичним. По-друге, нам потрібно було подумати про весь звуковий пейзаж. Коли хтось говорить у сцені з дощем або в ехо-катедрі, їхній голос природньо адаптується. Наша система навчилася змішуватися з оригінальним акустичним середовищем. Це не були просто технічні покращення. Це було про те, щоб зрозуміти, що робить мовлення людським.

Як ваша платформа поєднує людську експертизу з автоматизацією для доставки професійного дублювання у великих масштабах?

Ми працюємо у тісній співпраці з традиційними студіями дублювання, допомагаючи їм навчати свої команди у нових навичках та нових професіях. Штучний інтелект обробляє переклад, синхронізацію та генерацію голосу, тоді як професійні оглядачі, перекладачі та інженери звуку виконують остаточну перевірку якості через нашу платформу. Цей підхід дозволяє нам підтримувати якість рівня студії, одночасно скорочуючи терміни виконання з тижнів до годин. Автоматизація забезпечує масштабованість, а людська експертиза гарантує художню виразність. Це найкраще з обох світів: машинна ефективність з людською художністю.

З ринком локалізації медіа штучним інтелектом, який росте швидко, яку ширшу роль ви бачите штучному інтелекту у переробці глобальної творчої продукції?

Локалізація медіа штучним інтелектом зробить дублювання доступним для набагато ширшого кола творців та оповідачів. Це дозволить їм поділитися своїми історіями з глобальною аудиторією без втрати емоційної глибини чи культурної автентичності. З часом це призведе до значно більшої різноманітності контенту, відкриваючи двері для нішевих проєктів та спеціалізованих аудиторій, які раніше не могли собі дозволити професійне дублювання. Подумайте про незалежних кінематографістів, творців документальних фільмів, розробників освітнього контенту; вони можуть нарешті досягнути глобальної аудиторії, яка раніше була поза їхнім досяжанням.

Які майбутні вдосконалення чи співробітництва ви найбільш очікуєте, коли дивитеся на наступний етап розвитку?

Що мене найбільш збуджує, це подальше покращення наших можливостей емоційного переносу. Ми зробили хороший прогрес, але все ще є багато місця для покращення у збереженні тих тонких нюансів, які роблять виступи автентичними. Що стосується співробітництва, ми будемо будувати глибші партнерства з традиційними студіями дублювання для створення гібридних робочих процесів, які поєднують найкраще з обох світів. Ці студії мають десятилітній досвід, з яким ми вчимося, тоді як ми надаємо технології для масштабування їхньої художності. Найбільш цікаві співробітництва – це ті, які бачать штучний інтелект не як заміну, а як спосіб о збільшити свої команди та взятися за більш різноманітні проєкти, які вони не могли впоратися раніше. Істинний прорив буде тоді, коли ми зможемо постійно доставляти виступи, які аудиторія забуде, що вони були створені штучним інтелектом. Саме туди ми рухаємося.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Dubformer.

Антуан — далекоглядний лідер і партнер-засновник Unite.AI, якого надихає незмінна пристрасть до формування та просування майбутнього штучного інтелекту й робототехніки. Як підприємець, що заснував кілька компаній, він вірить, що ШІ змінить суспільство так само докорінно, як електрика, і часто із захопленням говорить про потенціал проривних технологій та загального штучного інтелекту (AGI).

Як футуролог, він присвячує себе дослідженню того, як ці інновації формуватимуть наш світ. Він також є засновником Securities.io — платформи, зосередженої на інвестиціях у передові технології, що переосмислюють майбутнє та змінюють цілі галузі.