Интервью

Антон Дворкович, генеральный директор и основатель Dubformer – Интервью

Antoine Tardif
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыИИ-дубляж по-прежнему не справляется с эмоционально достоверной игрой, даже когда речь…
Показать больше
  • ИИ-дубляж по-прежнему не справляется с эмоционально достоверной игрой, даже когда речь звучит по-человечески.
  • Открытый бенчмарк VOX-DUB заставляет компании доказывать заявления о качестве дубляжа измеримыми данными.
  • ИИ-локализация позволит независимым авторам выходить на глобальную аудиторию, которая раньше была доступна только крупным студиям.

Антон Дворкович, генеральный директор и основатель Dubformer, более десяти лет занимается пересечением искусственного интеллекта, языка и речевых технологий. До основания Dubformer в 2023 году он возглавлял крупные проекты по машинному обучению и обработке естественного языка в Yandex, курируя такие продукты, как Yandex Translate, Yandex Keyboard и голосовой помощник Alice, каждый из которых обслуживает миллионы пользователей. В Nebius он занимал должность руководителя отдела искусственного интеллекта, где занимался развитием крупномасштабной инфраструктуры для интеллектуальных систем. Его опыт управления межфункциональными командами из более чем 100 инженеров, разработчиков и исследователей стал основой для видения Dubformer – преодоления языковых барьеров с помощью передовой технологии дубляжа.

Dubformer – это стартап, основанный на искусственном интеллекте, специализирующийся на дубляже, штаб-квартира которого находится в Амстердаме, и который уже обработал более одного миллиона минут локализованного видеоконтента. Компания занимается переводом и дубляжом видео с помощью синтетических голосов, сохраняющих эмоциональный тон, время и индивидуальность диктора, помогая создателям, студиям и предприятиям сделать свой контент доступным во всем мире. Ее платформа использует модели глубокого обучения для распознавания речи, клонирования голоса и перевода, предлагая естественно звучащие результаты, которые значительно превосходят традиционные инструменты дубляжа.

После руководства командами по обработке естественного языка и речи в Yandex и работы в качестве руководителя отдела искусственного интеллекта в Nebius, что мотивировало вас создать компанию, специализирующуюся на дубляже с помощью искусственного интеллекта, и как эти опыт повлияли на ваше видение?

Работая в Yandex в качестве руководителя отдела обработки естественного языка, я развил страсть к преодолению языковых барьеров с помощью технологий. Я стал свидетелем (и принимал участие в) революции искусственного интеллекта, которая произошла в машинном переводе – и тогда я понял, что большая проблема, которая все еще остается в значительной степени нерешенной, – это перевод медиа (аудио- и видеоконтента). Когда вы видите, что перевод текста становится почти идеальным, вы начинаете задаваться вопросом: что насчет историй, которые действительно трогают людей? Что насчет выступлений, которые заставляют вас смеяться или плакать? Поэтому мы решили принять вызов и создать технологию дубляжа с помощью искусственного интеллекта, и пойти дальше медиаперевода, который просто понятен, к тому, который действительно приятен. Это почему мы запустили Dubformer.

Какой конкретный пробел в локализации медиа вы определили, и как ваш опыт в области нейронного машинного перевода и технологий голоса повлиял на ваш подход к решению этой проблемы?

Локализация медиа сегодня几乎 полностью выполняется с помощью голосовых актеров, и это имеет несколько недостатков: это довольно дорого, время ожидания медленное, и масштабирование очень трудное и приводит к большим накладным расходам на управление людьми. Подумайте об этом: традиционный дубляж – это невероятное мастерство, но эти ограничения означают, что многие проекты никогда не будут дублированы. На самом деле, 95% контента доступно только на оригинальном языке. Это пробел, который мы пытаемся решить.

Бенчмарк VOX-DUB – это важный этап в оценке качества дубляжа. Какие выводы вы сделали из участия в этом бенчмарке о текущем состоянии отрасли?

Результаты VOX-DUB показали, что отрасль уже решила проблему создания голосовых оверлеев, которые звучат как человеческие для контента, где эмоциональный компонент не является критическим. Однако дубляж контента, где эмоции действительно имеют значение, остается нерешенной задачей, хотя может показаться, что все уже решено. Многие системы могут производить понятную речь, но очень немногие могут создавать выступления, которые кажутся аутентичными и эмоционально согласованными с оригиналом. Мы освоили чтение текста вслух, но мы все еще учимся, как действительно исполнять сцены.

Вы говорили о компромиссе между верностью голоса и общим качеством речи. Как вы подходите к балансированию этих факторов в ваших системах?

На самом деле, компромисс часто не между верностью голоса и качеством, а между глубиной эмоционального, интонационного и экспрессивного переноса и стабильностью результата. Чем больше вы пытаетесь передать, тем выше риск передачи чего-то неправильно, особенно поскольку эмоции звучат и выражаются по-разному на разных языках. То, что звучит страстно на одном языке, может звучать неестественно или даже резко на другом. Мы стремимся найти баланс между эмоциональной точностью и естественностью, гарантируя, что выходные данные остаются выразительными, но комфортными для прослушивания.

В вашем мнении, что делает дубляж с помощью искусственного интеллекта фундаментально khácным от традиционного текста в речь – как технически, так и художественно?

Традиционный текст в речь фокусируется на простом чтении текста, обычно в нейтральном тоне. Дубляж с помощью искусственного интеллекта, особенно в медиаиндустрии, – это гораздо более сложная задача, где цель состоит не только в передаче смысла, но и в создании ощущения присутствия и真正его выступления. Эмоции, интонации и естественные паузы играют решающую роль, вместе с задачами, такими как микширование, акустическая адаптация и синхронизация с движениями губ и ритмом сцены. Художественно, дубляж с помощью искусственного интеллекта гораздо ближе к актерскому мастерству, чем к чтению; система должна исполнить строку, а не просто произнести ее.

Какие аспекты бенчмарка VOX-DUB вы считаете наиболее ценными для обеспечения прозрачности и подотчетности в локализации медиа с помощью искусственного интеллекта?

То, что делает VOX-DUB таким ценным для прозрачности, – это то, что он заставляет всех быть честными о том, что они могут действительно доставить. До этого бенчмарка компании могли делать заявления о качестве дубляжа без какого-либо способа проверить их. Критический прорыв заключается в том, что VOX-DUB вводит первый систематический каталог ошибок дубляжа с помощью искусственного интеллекта через его комплексную человеческую оценку. Этот открытый набор данных создает общий язык для качества – оригинальные фрагменты речи с переводами, сгенерированные аудио из нескольких систем и человеческие аннотации по пяти критическим аспектам: произношению, естественности, качеству звука, сходству эмоций и сходству голоса. Впервые у нас есть стандарт для человеческой оценки дубляжа с четкими руководствами и примерами. Теперь, когда команды говорят о качестве, все действительно говорят об одном и том же. Опубликованные результаты, которые может увидеть любой, создают реальную подотчетность. Командам необходимо подтвердить свои маркетинговые заявления данными о производительности по всем пяти измерениям качества. Этот вид открытости меняет то, как работает вся отрасль, и создает доверие среди создателей, которым нужны надежные, измеримые результаты.

Как вы видите влияние бенчмарков, таких как VOX-DUB, на темп прогресса в создании и распространении многоязычного контента?

Прекрасная вещь о наличии четких бенчмарков заключается в том, что они создают дорожную карту для всех, чтобы следовать. Когда команды видят, что достижимо через результаты VOX-DUB, это ускоряет их собственные графики разработки. Вместо того, чтобы гадать, как выглядит качество, они имеют конкретные цели, на которые можно направить внимание. Я вижу, как компании сжимают свои графики, потому что они могут увидеть доказательства того, что работает в других местах. Это общее понимание помогает всей области двигаться быстрее вместе, что означает, что более разнообразный контент может достичь глобальной аудитории раньше.

Ваша платформа достигла хороших результатов в произношении и естественности. Какие основные инновации или выбор модели наиболее способствовали этому?

Все сводится к пониманию того, что дубляж – это не только отдельные слова; это вся экосистема выступления. Две прорывные находки сделали разницу. Во-первых, мы перестали рассматривать произношение как чисто техническую задачу и начали рассматривать его как эмоциональную. Люди не говорят идеально артикулированными слогами; они произносят слова с ошибками, когда они грустны, они спешат, когда они возбуждены. Захват этого естественного несовершенства был крайне важен. Во-вторых, нам пришлось подумать о всей звуковой картине. Когда кто-то говорит в сцене с дождем или в эхо-катедрали, его голос естественно адаптируется. Наша система научилась смешиваться с оригинальной акустической средой. Эти не были просто техническими улучшениями. Они были о понимании того, что делает речь похожей на человеческую.

Как ваша платформа сочетает человеческий опыт с автоматизацией, чтобы доставить профессиональный дубляж в масштабе?

Мы тесно сотрудничаем с традиционными студиями дубляжа, помогая их командам освоить новые навыки и появляющиеся профессии. Искусственный интеллект занимается переводом, синхронизацией и генерацией голоса, в то время как профессиональные рецензенты, переводчики и звукорежиссеры выполняют окончательную проверку качества через нашу платформу. Этот подход позволяет нам поддерживать качество студийного уровня, одновременно снижая время ожидания с недель до часов. Автоматизация обеспечивает масштабируемость, а человеческий опыт гарантирует художественное выражение. Это лучшее из обоих миров: машинная эффективность с человеческим мастерством.

С учетом быстрого роста рынка локализации медиа с помощью искусственного интеллекта, какую более широкую роль вы видите для искусственного интеллекта в формировании глобального творческого производства?

Локализация медиа с помощью искусственного интеллекта сделает дубляж доступным для гораздо более широкого круга создателей и рассказчиков. Это позволит им делиться своими историями с глобальной аудиторией без потери эмоциональной глубины или культурной аутентичности. Со временем это приведет к гораздо большему разнообразию контента, открывая двери для нишевых проектов и специализированных аудиторий, которые ранее не могли позволить себе профессиональный дубляж. Подумайте об независимых кинематографистах, создателях документальных фильмов, создателях образовательного контента; они наконец могут достичь глобальной аудитории, которая ранее была недоступна.

Какие предстоящие достижения или сотрудничества вы наиболее взволнованы, когда смотрите на следующий этап развития?

Что меня наиболее взволновало, – это продолжение улучшения наших возможностей по передаче эмоций. Мы добились хорошего прогресса, но все еще есть так много места для улучшения в сохранении тех тонких нюансов, которые делают выступления аутентичными. В сотрудничестве мы строим более глубокие партнерские отношения с традиционными студиями дубляжа, чтобы создать гибридные рабочие процессы, которые объединяют лучшее из обоих миров. Эти студии имеют десятилетия опыта, от которого мы учимся, в то время как мы предоставляем технологию для масштабирования их мастерства. Самые интересные сотрудничества – это те, которые видят искусственный интеллект не как замену, а как способ о дополнить свои команды и взять на себя более разнообразные проекты, которые они не могли выполнить ранее. Реальный прорыв будет тогда, когда мы сможем последовательно доставлять выступления, которые аудитория забывает, что они были созданы с помощью искусственного интеллекта. Это то, куда мы направляемся.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Dubformer.

Антуан — дальновидный лидер и партнёр-основатель Unite.AI, движимый неизменной страстью к формированию и продвижению будущего ИИ и робототехники. Как предприниматель, основавший несколько компаний, он верит, что ИИ изменит общество столь же радикально, как электричество, и часто с воодушевлением говорит о потенциале прорывных технологий и общего искусственного интеллекта (AGI).

Как футуролог, он стремится исследовать, как эти инновации будут формировать наш мир. Кроме того, он основатель Securities.io — платформы, посвящённой инвестициям в передовые технологии, которые переопределяют будущее и преобразуют целые отрасли.