Entrevistas

Anton Dvorkovich, CEO e Fundador da Dubformer – Série de Entrevistas

Antoine Tardif
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveA dublagem por IA ainda falha em apresentações emocionalmente autênticas, mesmo quando…
Ver mais
  • A dublagem por IA ainda falha em apresentações emocionalmente autênticas, mesmo quando a fala soa humana.
  • O benchmark aberto do VOX-DUB obriga as empresas a comprovar as alegações de qualidade de dublagem com evidências mensuráveis.
  • A localização por IA permitirá que criadores independentes alcancem públicos globais antes reservados aos grandes estúdios.

Anton Dvorkovich, CEO e fundador da Dubformer, passou mais de uma década moldando a interseção da IA, linguagem e tecnologias de fala. Antes de lançar a Dubformer em 2023, ele liderou importantes iniciativas de aprendizado de máquina e NLP no Yandex, supervisionando produtos como o Yandex Translate, o Yandex Keyboard e a assistente de voz Alice, cada um atendendo a milhões de usuários. Na Nebius, ele atuou como Chefe de IA, avançando infraestruturas em larga escala para sistemas inteligentes. Sua experiência em gerenciar equipes multifuncionais de mais de 100 engenheiros, desenvolvedores e pesquisadores forneceu a base para a visão da Dubformer — superar as divisões linguísticas por meio de dublagem avançada com IA.

Dubformer é uma startup de dublagem com IA com sede em Amsterdã que já processou mais de um milhão de minutos de conteúdo de vídeo localizado. A empresa se especializa em traduzir e dublar vídeos usando vozes sintéticas que preservam o tom emocional, o tempo e a individualidade do falante, ajudando criadores, estúdios e empresas a tornar seu conteúdo acessível globalmente. Sua plataforma aproveita modelos de aprendizado profundo para reconhecimento de fala, clonagem de voz e tradução, oferecendo resultados naturais que superam amplamente as ferramentas de dublagem tradicionais.

Depois de liderar equipes de NLP e fala no Yandex e atuar como Chefe de IA na Nebius, o que o motivou a construir uma empresa de dublagem com IA dedicada, e como essas experiências moldaram sua visão?

Trabalhando no Yandex como Chefe de NLP, desenvolvi uma paixão por quebrar barreiras linguísticas com tecnologia. Pude testemunhar (e participar) da revolução da IA que aconteceu na tradução de máquina — e então percebi que uma grande lacuna que ainda permanece amplamente sem solução é a tradução de mídia (áudio e vídeo). Quando você vê a tradução de texto se tornando quase perfeita, começa a se perguntar: e as histórias que realmente movem as pessoas? E quais são as performances que fazem você rir ou chorar? Então decidimos enfrentar o desafio de construir tecnologia de dublagem com IA e ir além da tradução de mídia que é apenas compreensível, para aquela que é realmente agradável. É por isso que lançamos a Dubformer.

Qual lacuna específica na localização de mídia você identificou, e como seu background em tradução neural e tecnologias de voz influenciou sua abordagem para resolver isso?

A localização de mídia hoje é feita quase inteiramente com atores de voz, e isso tem várias desvantagens: é bastante caro, os tempos de entrega são lentos e escalá-la é muito difícil e leva a grandes sobrecargas na gestão de pessoas. Pense sobre isso: a artesanato de dublagem tradicional é incrível, mas essas limitações significam que muitos projetos nunca são dublados. Na verdade, 95% do conteúdo está disponível apenas no idioma original. É essa lacuna que estamos abordando.

A VOX-DUB é um marco importante para avaliar a qualidade da dublagem. Quais insights a participação nesse benchmark forneceu sobre onde a indústria está atualmente?

Os resultados da VOX-DUB revelaram algo importante: a indústria já resolveu o problema de fazer que as vozes de IA soem ‘humanas’ para conteúdo onde o componente emocional não é crítico. No entanto, dublar conteúdo onde as emoções realmente importam permanece um desafio não resolvido, mesmo que possa parecer que tudo já está resolvido. Muitos sistemas podem produzir fala compreensível, mas muito poucos podem criar performances que se sentem autênticas e alinhadas emocionalmente com o original. Dominamos a leitura de texto em voz alta, mas ainda estamos aprendendo a realmente performar cenas.

Você falou sobre um trade-off entre fidelidade de voz e qualidade geral de fala. Como você aborda o equilíbrio desses fatores em seus sistemas?

Na realidade, o trade-off frequentemente não é entre fidelidade de voz e qualidade, mas entre a profundidade da transferência emocional, intonacional e expressiva e a estabilidade do resultado. Quanto mais você tenta transferir, maior o risco de levar algo incorretamente, especialmente desde que as emoções soam e são expressas de maneira diferente em diferentes idiomas. O que soa apaixonado em um idioma pode soar não natural ou até chocante em outro. Nossa meta é encontrar um equilíbrio entre precisão emocional e naturalidade, garantindo que a saída permaneça expressiva, mas confortável de ouvir.

Em sua visão, o que torna a dublagem com IA fundamentalmente diferente da fala para texto tradicional — tanto tecnicamente quanto artisticamente?

A fala para texto tradicional se concentra em simplesmente ler o texto, geralmente em um tom neutro. A dublagem com IA, especialmente na indústria de mídia, é uma tarefa muito mais complexa, onde o objetivo não é apenas transmitir significado, mas criar um senso de presença e performance genuína. Emoções, entonações e pausas naturais desempenham um papel crucial, juntamente com desafios como mistura, adaptação acústica e sincronização com movimentos labiais e ritmo de cena. Artisticamente, a dublagem com IA está muito mais próxima da atuação do que da leitura; o sistema precisa performar a linha, não apenas pronunciá-la.

Quais aspectos do framework de avaliação da VOX-DUB você acha mais valiosos para impulsionar a transparência e a responsabilidade na localização de mídia com IA?

O que torna a VOX-DUB tão valiosa para a transparência é que força todos a serem honestos sobre o que realmente podem entregar. Antes desse framework, as empresas podiam fazer alegações sobre a qualidade de dublagem sem qualquer maneira de verificá-las. A quebra importante é que a VOX-DUB introduz o primeiro catálogo sistemático de erros de dublagem com IA por meio de seu benchmark baseado em humanos. Esse conjunto de dados de código aberto cria uma linguagem compartilhada para qualidade — fragmentos de fala originais com traduções, áudio gerado de vários sistemas e anotações humanas em cinco aspectos críticos: pronúncia, naturalidade, qualidade de som, semelhança de emoção e semelhança de voz. Pela primeira vez, temos um padrão para avaliação humana de dublagem com diretrizes e exemplos claros. Agora, quando as equipes falam sobre qualidade, todos estão realmente falando sobre a mesma coisa. Os resultados publicados que qualquer um pode ver criam responsabilidade real. As equipes precisam apoiar suas alegações de marketing com dados de desempenho em todas as cinco dimensões de qualidade. Esse tipo de abertura muda a forma como a indústria inteira opera e constrói confiança com criadores que precisam de resultados confiáveis e mensuráveis.

Como você vê benchmarks como a VOX-DUB influenciando o ritmo do progresso na criação e distribuição de conteúdo multilíngue?

A coisa bonita sobre ter benchmarks claros é que cria um mapa para que todos sigam. Quando as equipes veem o que é alcançável por meio dos resultados da VOX-DUB, acelera seus próprios cronogramas de desenvolvimento. Em vez de adivinhar como a qualidade parece, elas têm metas concretas para mirar. Estou vendo empresas comprimirem seus cronogramas porque podem ver evidências do que funciona em outros lugares. Essa compreensão compartilhada está ajudando o campo inteiro a se mover mais rápido juntos, o que significa que mais conteúdo diversificado pode alcançar audiências globais mais cedo.

Sua plataforma alcançou resultados fortes em pronúncia e naturalidade. Quais inovações ou escolhas de modelo contribuíram mais para isso?

Isso se resume a entender que a dublagem não é apenas sobre palavras individuais; é sobre o ecossistema de performance inteiro. Duas quebras fizeram a diferença. Primeiro, paramos de tratar a pronúncia como puramente técnica e começamos a tratá-la como emocional. As pessoas não falam em sílabas articuladas perfeitamente; elas engasgam palavras quando estão tristes, elas apressam quando estão animadas. Capturar essa imperfeição natural foi crucial. Segundo, tivemos que pensar sobre o paisagem sonora inteira. Quando alguém está falando em uma cena com chuva, ou em uma catedral com eco, sua voz se adapta naturalmente. Nosso sistema aprendeu a se misturar com o ambiente acústico original. Essas não foram apenas melhorias técnicas. Foram sobre entender o que torna a fala humana.

Como sua plataforma combina expertise humana com automação para entregar dublagem de nível profissional em escala?

Trabalhamos em estreita colaboração com estúdios de dublagem tradicionais, ajudando-os a treinar suas equipes em novas habilidades e profissões emergentes. A IA lida com a tradução, sincronização e geração de voz, enquanto revisores profissionais, tradutores e engenheiros de som realizam a verificação final de qualidade por meio de nossa plataforma. Essa abordagem nos permite manter a qualidade de estúdio enquanto reduzimos os tempos de entrega de semanas para horas. A automação fornece escalabilidade, e a expertise humana garante expressividade artística. É o melhor dos dois mundos: eficiência de máquina com arte humana.

Com o mercado de localização de mídia com IA crescendo rapidamente, qual papel mais amplo você vê a IA desempenhando na redefinição da produção criativa global?

A localização de mídia com IA tornará a dublagem acessível a uma gama muito mais ampla de criadores e contadores de histórias. Isso permitirá que eles compartilhem suas histórias com audiências globais sem perder profundidade emocional ou autenticidade cultural. Com o tempo, isso levará a uma diversidade muito maior no conteúdo, abrindo a porta para projetos de nicho e audiências especializadas que anteriormente não podiam pagar pela dublagem profissional. Pense em cineastas independentes, criadores de documentários, criadores de conteúdo educacional; eles finalmente podem alcançar audiências globais que estavam anteriormente fora de alcance.

Quais avanços ou colaborações futuras você está mais animado em relação ao próximo estágio de desenvolvimento?

O que me anima mais é continuar melhorando nossas capacidades de transferência emocional. Fizemos um bom progresso, mas ainda há muito espaço para melhorar na preservação das nuances sutis que tornam as performances autênticas. Em colaborações, estamos construindo parcerias mais profundas com estúdios de dublagem tradicionais para criar fluxos de trabalho híbridos que combinem o melhor dos dois mundos. Esses estúdios têm décadas de expertise que estamos aprendendo, enquanto fornecemos a tecnologia para dimensionar sua arte. As colaborações mais animadoras são com estúdios que veem a IA não como um substituto, mas como uma maneira de

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar Dubformer.

Antoine é um líder visionário e sócio fundador da Unite.AI, movido por uma paixão inabalável por moldar e promover o futuro da IA e da robótica. Empreendedor que já fundou várias empresas, acredita que a IA transformará a sociedade tanto quanto a eletricidade e costuma falar com entusiasmo sobre o potencial das tecnologias disruptivas e da inteligência artificial geral (AGI).

Como futurista, dedica-se a explorar como essas inovações moldarão o nosso mundo. Além disso, é fundador da Securities.io, uma plataforma voltada ao investimento em tecnologias de ponta que estão redefinindo o futuro e transformando setores inteiros.