Entrevistas
Anton Dvorkovich, CEO y fundador de Dubformer – Serie de entrevistas

Puntos claveEl doblaje con IA todavía fracasa en las interpretaciones emocionalmente auténticas…
Ver más
- El doblaje con IA todavía fracasa en las interpretaciones emocionalmente auténticas incluso cuando el habla suena humana.
- El benchmark abierto de VOX-DUB obliga a las empresas a demostrar sus afirmaciones sobre la calidad del doblaje con evidencia medible.
- La localización con IA permitirá a los creadores independientes llegar a audiencias globales que antes estaban reservadas a los grandes estudios.
Anton Dvorkovich, CEO y fundador de Dubformer, ha pasado más de una década dando forma a la intersección de la IA, el lenguaje y las tecnologías del habla. Antes de lanzar Dubformer en 2023, lideró importantes iniciativas de aprendizaje automático y NLP en Yandex, supervisando productos como Yandex Translate, Yandex Keyboard y la asistente de voz Alice, cada uno de los cuales sirve a millones de usuarios. En Nebius, se desempeñó como jefe de IA, avanzando en la infraestructura a gran escala para sistemas inteligentes. Su experiencia en la gestión de equipos multifuncionales de más de 100 ingenieros, desarrolladores y investigadores proporcionó la base para la visión de Dubformer: tender puentes entre las divisiones lingüísticas a través de la locución avanzada de IA.
Dubformer es una startup de locución impulsada por IA con sede en Ámsterdam que ya ha procesado más de un millón de minutos de contenido de video localizado. La empresa se especializa en traducir y doblar videos utilizando voces sintéticas que conservan el tono emocional, el tiempo y la individualidad del hablante, lo que ayuda a los creadores, estudios y empresas a hacer que su contenido sea accesible a nivel mundial. Su plataforma aprovecha los modelos de aprendizaje profundo para el reconocimiento del habla, la clonación de voz y la traducción, ofreciendo resultados que suenan naturales y que superan con creces las herramientas de locución tradicionales.
Después de liderar equipos de NLP y habla en Yandex y de servir como jefe de IA en Nebius, ¿qué te motivó a construir una empresa de locución de IA dedicada, y cómo esas experiencias dieron forma a tu visión?
Trabajando en Yandex como jefe de NLP, desarrollé una pasión por derribar las barreras lingüísticas con la tecnología. Pude presenciar (y participar en) la revolución de la IA que ocurrió en la traducción automática, y luego me di cuenta de que una gran brecha que todavía no se ha resuelto es la traducción de medios (audio y video). Cuando ves que la traducción de texto se vuelve casi perfecta, comienzas a preguntarte: ¿qué pasa con las historias que realmente conmueven a la gente? ¿Qué pasa con las actuaciones que te hacen reír o llorar? Así que decidimos aceptar el desafío de construir tecnología de locución de IA y superar la traducción de medios que es solo comprensible, para llegar a la que es realmente disfrutable. Es por eso que lanzamos Dubformer.
¿Qué brecha específica en la localización de medios identificaste, y cómo tu experiencia en traducción neuronal y tecnologías de voz influyó en tu enfoque para resolverla?
La localización de medios hoy en día se realiza casi en su totalidad con actores de voz, y eso tiene varios inconvenientes: es bastante costoso, los tiempos de entrega son lentos y escalarlo es muy difícil y conlleva grandes sobrecostos en la gestión de personal. Piensa en ello: la artesanía de la locución tradicional es increíble, pero esas limitaciones significan que muchos proyectos nunca se doblan. Así que, aunque la locución tradicional es bastante buena, hay muchos proyectos que no se están doblando en este momento debido a los mencionados inconvenientes. De hecho, el 95% del contenido solo está disponible en el idioma original. Esa es la brecha que estamos abordando.
La referencia de VOX-DUB es un hito importante para evaluar la calidad de la locución. ¿Qué conocimientos proporcionó la participación sobre el estado actual de la industria?
Los resultados de VOX-DUB revelaron algo importante: la industria ya ha resuelto el problema de hacer que las voces de IA suenen “humanas” para contenido donde el componente emocional no es crítico. Sin embargo, doblar contenido donde las emociones realmente importan sigue siendo un desafío sin resolver, aunque podría parecer que todo ya está resuelto. Muchos sistemas pueden producir habla comprensible, pero muy pocos pueden crear actuaciones que se sientan auténticas y emocionalmente alineadas con el original. Hemos dominado la lectura de texto en voz alta, pero todavía estamos aprendiendo a realizar escenas.
Has hablado de un equilibrio entre la fidelidad de la voz y la calidad general del habla. ¿Cómo abordas el equilibrio entre estos factores en tus sistemas?
En realidad, el equilibrio a menudo no es entre la fidelidad de la voz y la calidad, sino entre la profundidad de la transferencia emocional, intonacional y expresiva y la estabilidad del resultado. Cuanto más intentes transferir, mayor es el riesgo de transferir algo de manera incorrecta, especialmente ya que las emociones suenan y se expresan de manera diferente en diferentes idiomas. Lo que suena apasionado en un idioma puede sonar poco natural o incluso desagradable en otro. Nos esforzamos por encontrar un equilibrio entre la precisión emocional y la naturalidad, asegurando que la salida siga siendo expresiva pero cómoda de escuchar.
En tu opinión, ¿qué hace que la locución de IA sea fundamentalmente diferente de la síntesis de texto a voz tradicional, tanto desde el punto de vista técnico como artístico?
La síntesis de texto a voz tradicional se centra en simplemente leer texto, generalmente en un tono neutral. La locución de IA, especialmente en la industria de los medios, es una tarea mucho más compleja, donde el objetivo no es solo transmitir el significado, sino crear una sensación de presencia y una actuación genuina. Las emociones, las inflexiones y las pausas naturales desempeñan un papel crucial, junto con desafíos como la mezcla, la adaptación acústica y la sincronización con los movimientos de los labios y el ritmo de la escena. Desde el punto de vista artístico, la locución de IA se acerca más a la actuación que a la lectura; el sistema tiene que realizar la línea, no solo pronunciarla.
¿Qué aspectos del marco de evaluación de VOX-DUB consideras más valiosos para impulsar la transparencia y la rendición de cuentas en la localización de medios de IA?
Lo que hace que VOX-DUB sea tan valioso para la transparencia es que obliga a todos a ser honestos sobre lo que realmente pueden entregar. Antes de este marco, las empresas podían hacer afirmaciones sobre la calidad de la locución sin ninguna forma de verificarlas. El avance crucial es que VOX-DUB introduce el primer catálogo sistemático de errores de locución de IA a través de su referencia de evaluación humana integral. Este conjunto de datos de código abierto crea un lenguaje compartido para la calidad: fragmentos de habla originales con traducciones, audio generado desde múltiples sistemas y anotaciones humanas en cinco aspectos críticos: pronunciación, naturalidad, calidad del sonido, similitud emocional y similitud de voz. Por primera vez, tenemos un estándar para la evaluación humana de la locución con directrices y ejemplos claros. Ahora, cuando los equipos hablan de calidad, todos están hablando de lo mismo. Los resultados publicados que cualquier persona puede ver crean una verdadera rendición de cuentas. Los equipos deben respaldar sus afirmaciones de marketing con datos de desempeño en todas las dimensiones de calidad. Este tipo de apertura cambia la forma en que opera toda la industria y genera confianza con los creadores que necesitan resultados confiables y medibles.
¿Cómo crees que las referencias como VOX-DUB influirán en el ritmo del progreso en la creación y distribución de contenido multilingüe?
Lo hermoso de tener referencias claras es que crea una hoja de ruta para que todos sigan. Cuando los equipos ven lo que es posible a través de los resultados de VOX-DUB, acelera sus propios plazos de desarrollo. En lugar de adivinar qué se ve como calidad, tienen objetivos concretos a los que apuntar. Estoy viendo cómo las empresas comprimen sus hojas de ruta porque pueden ver la evidencia de lo que funciona en otros lugares. Esta comprensión compartida está ayudando a que todo el campo avance más rápido juntos, lo que significa que más contenido diverso puede llegar a audiencias globales antes.
Tu plataforma logró resultados sólidos en pronunciación y naturalidad. ¿Qué innovaciones subyacentes o elecciones de modelo contribuyeron más a esto?
Se reduce a entender que la locución no es solo sobre palabras individuales; es sobre el ecosistema de la actuación completa. Dos avances hicieron la diferencia. Primero, dejamos de tratar la pronunciación como puramente técnica y comenzamos a tratarla como emocional. La gente no habla en sílabas perfectamente articuladas; tartamudean palabras cuando están tristes, se apresuran cuando están emocionados. Capturar esa imperfección natural fue crucial. Segundo, tuvimos que pensar en el paisaje sonoro completo. Cuando alguien habla en una escena con lluvia o en una catedral con eco, su voz se adapta naturalmente. Nuestro sistema aprendió a mezclarse con el entorno acústico original. Estos no fueron solo mejoras técnicas; fueron sobre entender qué hace que el habla se sienta humana.
¿Cómo combina tu plataforma la pericia humana con la automatización para ofrecer locución de grado profesional a escala?
Trabajamos en estrecha colaboración con estudios de locución tradicionales, ayudándolos a capacitar a sus equipos en nuevas habilidades y profesiones emergentes. La IA maneja la traducción, la sincronización y la generación de voz, mientras que los revisores profesionales, traductores y ingenieros de sonido realizan la verificación de calidad final a través de nuestra plataforma. Este enfoque nos permite mantener la calidad de estudio mientras reducimos los tiempos de entrega de semanas a horas. La automatización proporciona escalabilidad, y la pericia humana garantiza la expresividad artística. Es lo mejor de ambos mundos: eficiencia de máquina con arte humano.
Con el mercado de localización de medios de IA creciendo rápidamente, ¿qué papel más amplio ves que la IA desempeñe en la reconfiguración de la producción creativa global?
La localización de IA hará que la locución sea accesible a una gama mucho más amplia de creadores y narradores. Les permitirá compartir sus historias con audiencias globales sin perder profundidad emocional o autenticidad cultural. Con el tiempo, esto conducirá a una mayor diversidad en el contenido, abriendo la puerta a proyectos de nicho y audiencias especializadas que anteriormente no podían costear la locución profesional. Piensa en cineastas independientes, creadores de documentales, educadores; finalmente pueden llegar a audiencias globales que estaban fuera de su alcance.
¿Qué avances o colaboraciones próximas te emocionan más a medida que te diriges hacia la próxima etapa de desarrollo?
Lo que más me emociona es seguir mejorando nuestras capacidades de transferencia emocional. Hemos hecho un buen progreso, pero todavía hay mucho espacio para mejorar en la preservación de las sutilezas que hacen que las actuaciones se sientan auténticas. En cuanto a colaboraciones, estamos construyendo asociaciones más profundas con estudios de locución tradicionales para crear flujos de trabajo híbridos que combinen lo mejor de ambos mundos. Estos estudios tienen décadas de experiencia de las que estamos aprendiendo, mientras que nosotros proporcionamos la tecnología para escalar su arte. Las colaboraciones más emocionantes son con estudios que ven la IA no como un reemplazo, sino como una forma de complementar sus equipos y abordar proyectos más diversos que no podían manejar antes. El verdadero avance será cuando podamos entregar actuaciones de manera consistente que las audiencias olviden que fueron creadas por IA. Eso es hacia donde nos dirigimos.
Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Dubformer.












