Entretiens
Anton Dvorkovich, PDG et fondateur de Dubformer – Série d’entretiens

Points clésLe doublage par IA échoue encore à produire des performances émotionnellement…
Voir plus
- Le doublage par IA échoue encore à produire des performances émotionnellement authentiques, même lorsque la parole semble humaine.
- Le benchmark ouvert de VOX-DUB oblige les entreprises à prouver leurs affirmations sur la qualité du doublage par des preuves mesurables.
- La localisation par IA permettra aux créateurs indépendants d'atteindre des publics mondiaux autrefois réservés aux grands studios.
Anton Dvorkovich, PDG et fondateur de Dubformer, a passé plus d’une décennie à façonner l’intersection de l’IA, du langage et des technologies de la parole. Avant de lancer Dubformer en 2023, il a dirigé des initiatives majeures en matière d’apprentissage automatique et de traitement du langage naturel chez Yandex, en supervisant des produits tels que Yandex Translate, Yandex Keyboard et l’assistant vocal Alice, qui servent des millions d’utilisateurs. Chez Nebius, il a occupé le poste de responsable de l’IA, en faisant progresser les infrastructures à grande échelle pour les systèmes intelligents. Son expérience dans la gestion d’équipes transversales de plus de 100 ingénieurs, développeurs et chercheurs a fourni la base de la vision de Dubformer – réduire les divisions linguistiques grâce à un doublage avancé basé sur l’IA.
Dubformer est une startup de doublage basée sur l’IA, dont le siège est à Amsterdam, qui a déjà traité plus d’un million de minutes de contenu vidéo localisé. L’entreprise se spécialise dans la traduction et le doublage de vidéos à l’aide de voix synthétiques qui préservent le ton émotionnel, le timing et l’individualité du locuteur, aidant les créateurs, les studios et les entreprises à rendre leur contenu accessible à l’échelle mondiale. Sa plateforme utilise des modèles d’apprentissage profond pour la reconnaissance de la parole, le clonage de voix et la traduction, offrant des résultats naturels qui surpassent largement les outils de doublage traditionnels.
Après avoir dirigé les équipes de traitement du langage naturel et de parole chez Yandex et avoir occupé le poste de responsable de l’IA chez Nebius, qu’est-ce qui vous a motivé à créer une entreprise de doublage basée sur l’IA, et comment ces expériences ont-elles façonné votre vision ?
En travaillant chez Yandex en tant que responsable du traitement du langage naturel, j’ai développé une passion pour briser les barrières linguistiques avec la technologie. J’ai pu être témoin (et participer) à la révolution de l’IA qui a eu lieu dans la traduction automatique – et puis j’ai réalisé qu’un grand écart qui reste encore largement sans solution est la traduction des médias (audio et vidéo). Lorsque vous voyez la traduction de texte devenir presque parfaite, vous commencez à vous demander : qu’en est-il des histoires qui bouleversent vraiment les gens ? Qu’en est-il des performances qui font rire ou pleurer ? Nous avons donc décidé de relever le défi de construire une technologie de doublage basée sur l’IA, et d’aller au-delà de la traduction des médias qui est simplement compréhensible, pour celle qui est vraiment agréable. C’est pourquoi nous avons lancé Dubformer.
Quelle faille spécifique dans la localisation des médias avez-vous identifiée, et comment votre expérience dans la traduction automatique neuronale et les technologies vocales a-t-elle influencé votre approche pour résoudre ce problème ?
La localisation des médias aujourd’hui est réalisée presque entièrement avec des acteurs de voix, et cela présente plusieurs inconvénients : cela coûte cher, les délais de réalisation sont lents et la mise à l’échelle est très difficile et conduit à des surcoûts importants en termes de gestion du personnel. Pensez-y : l’artisanat du doublage traditionnel est incroyable, mais ces contraintes signifient que de nombreux projets ne sont jamais doublés. En fait, 95 % du contenu n’est disponible qu’en langue originale. C’est la faille que nous essayons de combler.
Le benchmark VOX-DUB est un jalon important pour évaluer la qualité du doublage. Quelles insights la participation à ce benchmark a-t-elle fourni sur l’état actuel de l’industrie ?
Les résultats de VOX-DUB ont révélé quelque chose d’important : l’industrie a déjà résolu le problème de faire que les voix automatiques sonnent « humaines » pour le contenu où la composante émotionnelle n’est pas critique. Cependant, le doublage de contenu où les émotions sont vraiment importantes reste un défi non résolu, même si cela peut sembler que tout est déjà réglé. De nombreux systèmes peuvent produire des discours compréhensibles, mais très peu peuvent créer des performances qui semblent authentiques et alignées sur les émotions de l’original. Nous avons maîtrisé la lecture de texte à haute voix, mais nous sommes encore en train d’apprendre à interpréter vraiment les scènes.
Vous avez parlé d’un compromis entre la fidélité de la voix et la qualité globale de la parole. Comment abordez-vous l’équilibre entre ces facteurs dans vos systèmes ?
En réalité, le compromis n’est souvent pas entre la fidélité de la voix et la qualité, mais entre la profondeur de la transmission émotionnelle, de l’intonation et de l’expression et la stabilité du résultat. Plus vous essayez de transmettre, plus le risque de transmettre quelque chose de manière incorrecte est élevé, en particulier depuis que les émotions sonnent et sont exprimées différemment d’une langue à l’autre. Ce qui sonne passionné dans une langue peut sonner peu naturel ou même choquant dans une autre. Nous visons à trouver un équilibre entre l’exactitude émotionnelle et la naturalité, en veillant à ce que la sortie reste expressive tout en étant agréable à l’écoute.
Selon vous, qu’est-ce qui rend le doublage basé sur l’IA fondamentalement différent du texte-à-parole traditionnel – à la fois sur le plan technique et artistique ?
Le texte-à-parole traditionnel se concentre simplement sur la lecture du texte, généralement dans un ton neutre. Le doublage basé sur l’IA, en particulier dans l’industrie des médias, est une tâche beaucoup plus complexe, où l’objectif n’est pas seulement de transmettre le sens, mais de créer un sentiment de présence et de performance réelle. Les émotions, les intonations et les pauses naturelles jouent tous un rôle crucial, ainsi que les défis tels que le mélange, l’adaptation acoustique et la synchronisation avec les mouvements des lèvres et le rythme de la scène. Sur le plan artistique, le doublage basé sur l’IA est beaucoup plus proche de l’interprétation que de la lecture ; le système doit interpréter la ligne, et non simplement la prononcer.
Quels aspects du cadre d’évaluation VOX-DUB trouvez-vous les plus précieux pour promouvoir la transparence et la responsabilité dans la localisation des médias basée sur l’IA ?
Ce qui rend VOX-DUB si précieux pour la transparence, c’est qu’il oblige tout le monde à être honnête sur ce qu’il peut réellement livrer. Avant ce cadre, les entreprises pouvaient faire des déclarations sur la qualité de leur doublage sans qu’il y ait de moyen de les vérifier. La percée cruciale est que VOX-DUB introduit le premier catalogue systématique des erreurs de doublage basé sur l’IA grâce à son référentiel humain complet. Ce ensemble de données open source crée un langage partagé pour la qualité – fragments de parole originaux avec des traductions, audio généré à partir de plusieurs systèmes et annotations humaines sur cinq aspects critiques : prononciation, naturalité, qualité sonore, similarité émotionnelle et similarité vocale. Pour la première fois, nous avons une norme pour l’évaluation humaine du doublage avec des lignes directrices et des exemples clairs. Maintenant, lorsque les équipes parlent de qualité, tout le monde parle vraiment de la même chose. Les résultats publiés que tout le monde peut voir créent une véritable responsabilité. Les équipes doivent étayer leurs déclarations marketing avec des données de performance sur les cinq dimensions de qualité. Ce type d’ouverture change la façon dont fonctionne l’ensemble de l’industrie et crée la confiance avec les créateurs qui ont besoin de résultats fiables et mesurables.
Comment voyez-vous les benchmarks comme VOX-DUB influencer le rythme des progrès dans la création et la distribution de contenu multilingue ?
La beauté de disposer de benchmarks clairs est qu’elle crée une feuille de route pour que tout le monde suive. Lorsque les équipes voient ce qui est réalisable grâce aux résultats de VOX-DUB, cela accélère leurs propres calendriers de développement. Au lieu de deviner à quoi ressemble la qualité, ils ont des cibles concrètes à atteindre. Je vois des entreprises compresser leurs calendriers car elles peuvent voir les preuves de ce qui fonctionne ailleurs. Cette compréhension partagée aide l’ensemble du domaine à avancer plus rapidement ensemble, ce qui signifie que plus de contenu diversifié peut atteindre les publics mondiaux plus tôt.
Votre plateforme a obtenu de solides résultats en termes de prononciation et de naturalité. Quelles innovations ou choix de modèles sous-jacents ont le plus contribué à cela ?
Cela revient à comprendre que le doublage n’est pas seulement une question de mots individuels ; c’est une question d’écosystème de performance complet. Deux avancées ont fait la différence. Premièrement, nous avons cessé de traiter la prononciation comme une question purement technique et avons commencé à la traiter comme émotionnelle. Les gens ne parlent pas en syllabes parfaitement articulées ; ils bégayent les mots lorsqu’ils sont tristes, ils se hâtent lorsqu’ils sont excités. Capturer cette imperfection naturelle a été crucial. Deuxièmement, nous devions réfléchir à l’ensemble du paysage sonore. Lorsqu’une personne parle dans une scène avec de la pluie ou dans une cathédrale résonnante, sa voix s’adapte naturellement. Notre système a appris à se fondre dans l’environnement acoustique d’origine. Ce n’étaient pas seulement des améliorations techniques ; c’était une question de comprendre ce qui fait que la parole semble humaine.
Comment votre plateforme combine-t-elle l’expertise humaine et l’automatisation pour livrer un doublage de qualité professionnelle à grande échelle ?
Nous travaillons en étroite collaboration avec les studios de doublage traditionnels, en aidant leurs équipes à se former à de nouvelles compétences et à de nouveaux métiers émergents. L’IA gère la traduction, la synchronisation et la génération de voix, tandis que les réviseurs professionnels, les traducteurs et les ingénieurs du son effectuent la vérification finale de la qualité via notre plateforme. Cette approche nous permet de maintenir une qualité de studio tout en réduisant les délais de réalisation de plusieurs semaines à quelques heures. L’automatisation offre une mise à l’échelle, et l’expertise humaine assure l’expressivité artistique. C’est le meilleur des deux mondes : l’efficacité de la machine avec l’art de l’homme.
Alors que le marché de la localisation des médias basée sur l’IA croît rapidement, quel rôle plus large voyez-vous l’IA jouer dans la refonte de la production créative mondiale ?
La localisation basée sur l’IA rendra le doublage accessible à un éventail beaucoup plus large de créateurs et de conteurs. Cela leur permettra de partager leurs histoires avec des publics mondiaux sans perdre de profondeur émotionnelle ou d’authenticité culturelle. Avec le temps, cela conduira à une grande diversité de contenu, ouvrant la porte à des projets de niche et à des publics spécialisés qui ne pouvaient pas auparavant se permettre un doublage professionnel. Pensez aux cinéastes indépendants, aux créateurs de documentaires, aux créateurs de contenu éducatif ; ils pourront enfin atteindre des publics mondiaux qui étaient auparavant hors de portée.
Quelles avancées ou collaborations à venir êtes-vous le plus impatient de voir, alors que vous regardez vers la prochaine étape de développement ?
Ce qui m’excite le plus, c’est de continuer à améliorer nos capacités de transfert émotionnel. Nous avons fait des progrès, mais il y a encore tant à faire pour préserver les nuances subtiles qui font que les performances semblent authentiques. En termes de collaborations, nous établissons des partenariats plus étroits avec les studios de doublage traditionnels pour créer des flux de travail hybrides qui combinent le meilleur des deux mondes. Ces studios ont des décennies d’expertise dont nous apprenons, tandis que nous fournissons la technologie pour mettre à l’échelle leur art. Les collaborations les plus excitantes sont celles avec les studios qui voient l’IA non comme un remplacement, mais comme un moyen de augmenter leurs équipes et prendre en charge des projets plus diversifiés qu’ils ne pouvaient pas gérer auparavant. La véritable percée sera lorsque nous pourrons livrer des performances de manière cohérente que les publics oublieront avoir été créées par l’IA. C’est là que nous allons.
Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter Dubformer.












