Interviste
Anton Dvorkovich, CEO e fondatore di Dubformer – Serie di interviste

Punti chiaveIl doppiaggio con IA fallisce ancora nelle interpretazioni emotivamente autentiche…
Vedi di più
- Il doppiaggio con IA fallisce ancora nelle interpretazioni emotivamente autentiche anche quando la voce suona umana.
- Il benchmark aperto di VOX-DUB obbliga le aziende a dimostrare con prove misurabili le proprie dichiarazioni sulla qualità del doppiaggio.
- La localizzazione con IA permetterà ai creatori indipendenti di raggiungere un pubblico globale, un tempo riservato ai grandi studi.
Anton Dvorkovich, CEO e fondatore di Dubformer, ha trascorso oltre un decennio a plasmare l’intersezione tra intelligenza artificiale, linguaggio e tecnologie vocali. Prima di lanciare Dubformer nel 2023, ha guidato importanti iniziative di apprendimento automatico e NLP presso Yandex, sovraintendendo a prodotti come Yandex Translate, Yandex Keyboard e l’assistente vocale Alice, ciascuno dei quali serve milioni di utenti. Presso Nebius, ha ricoperto il ruolo di Head of AI, avanzando grandi infrastrutture per sistemi intelligenti. La sua esperienza nella gestione di team cross-funzionali di oltre 100 ingegneri, sviluppatori e ricercatori ha fornito le basi per la visione di Dubformer – colmare le divisioni linguistiche attraverso la doppiatura avanzata AI.
Dubformer è una startup di doppiaggio alimentata da intelligenza artificiale con sede ad Amsterdam che ha già elaborato oltre un milione di minuti di contenuti video localizzati. L’azienda si specializza nella traduzione e nel doppiaggio di video utilizzando voci sintetiche che preservano il tono emotivo, il timing e l’individualità del relatore, aiutando creatori, studi e imprese a rendere i loro contenuti accessibili a livello globale. La sua piattaforma sfrutta modelli di apprendimento profondo per il riconoscimento vocale, la clonazione vocale e la traduzione, offrendo risultati naturali che superano di gran lunga gli strumenti di doppiaggio tradizionali.
Dopo aver guidato i team NLP e vocali presso Yandex e aver ricoperto il ruolo di Head of AI presso Nebius, cosa ti ha motivato a costruire una società di doppiaggio AI dedicata e come queste esperienze hanno plasmato la tua visione?
Lavorando presso Yandex come capo dell’NLP, ho sviluppato una passione per abbattere le barriere linguistiche con la tecnologia. Ho potuto assistere (e partecipare) alla rivoluzione dell’AI che è avvenuta nella traduzione automatica – e poi mi sono reso conto che un grande gap che rimane ancora in gran parte irrisolto è la traduzione dei media (audio e video). Quando vedi la traduzione del testo diventare quasi perfetta, inizi a chiederti: cosa riguarda le storie che muovono realmente le persone? Cosa riguarda le prestazioni che ti fanno ridere o piangere? Quindi abbiamo deciso di affrontare la sfida di costruire la tecnologia di doppiaggio AI e di andare oltre la traduzione dei media che è solo comprensibile, a quella che è effettivamente piacevole. È per questo che abbiamo lanciato Dubformer.
Quale lacuna specifica nella localizzazione dei media hai identificato e come la tua esperienza nel campo della traduzione automatica neurale e delle tecnologie vocali ha influenzato il tuo approccio alla risoluzione di questo problema?
La localizzazione dei media oggi viene fatta quasi interamente con attori vocali e ciò presenta diversi svantaggi: è abbastanza costoso, i tempi di consegna sono lenti e scalare è molto difficile e porta a enormi oneri nella gestione delle persone. Pensaci: l’artigianato del doppiaggio tradizionale è incredibile, ma quei vincoli significano che molti progetti non vengono doppiati affatto. In realtà, il 95% dei contenuti è disponibile solo nella lingua originale. È la lacuna che stiamo affrontando.
Il benchmark VOX-DUB è un importante traguardo per la valutazione della qualità del doppiaggio. Quali insight ha fornito la partecipazione a questo progetto riguardo allo stato attuale dell’industria?
I risultati di VOX-DUB hanno rivelato qualcosa di importante: l’industria ha già risolto il problema di far sembrare le voci AI ‘umane’ per i contenuti in cui la componente emotiva non è critica. Tuttavia, il doppiaggio di contenuti in cui le emozioni sono veramente importanti rimane una sfida irrisolta, anche se potrebbe sembrare che tutto sia già stato risolto. Molti sistemi possono produrre discorsi comprensibili, ma pochi possono creare prestazioni che sembrano autentiche e allineate emotivamente con l’originale. Abbiamo padroneggiato la lettura del testo ad alta voce, ma stiamo ancora imparando a eseguire scene.
Hai parlato di un compromesso tra fedeltà vocale e qualità generale del discorso. Come affronti l’equilibrio tra questi fattori nei tuoi sistemi?
In realtà, il compromesso spesso non è tra fedeltà vocale e qualità, ma tra la profondità della trasferimento emotivo, intonativo ed espressivo e la stabilità del risultato. Più cerchi di trasferire, maggiore è il rischio di trasferire qualcosa in modo errato, soprattutto poiché le emozioni suonano e vengono espresse in modo diverso tra le lingue. Ciò che suona appassionato in una lingua potrebbe suonare innaturale o addirittura fastidioso in un’altra. Cerchiamo di trovare un equilibrio tra accuratezza emotiva e naturalità, assicurandoci che l’output rimanga espressivo ma comodo da ascoltare.
Secondo te, cosa rende il doppiaggio AI fondamentalmente diverso dal testo-vocale tradizionale – sia tecnicamente che artisticamente?
Il testo-vocale tradizionale si concentra semplicemente sulla lettura del testo, di solito in un tono neutro. Il doppiaggio AI, specialmente nell’industria dei media, è un compito molto più complesso, in cui l’obiettivo non è solo trasmettere il significato, ma creare un senso di presenza e prestazione autentica. Le emozioni, le intonazioni e le pause naturali giocano tutti un ruolo cruciale, insieme a sfide come la miscelazione, l’adattamento acustico e la sincronizzazione con i movimenti delle labbra e il ritmo della scena. Dal punto di vista artistico, il doppiaggio AI è molto più vicino all’arte della recitazione che alla semplice lettura; il sistema deve eseguire la linea, non solo pronunciarla.
Quali aspetti del framework di valutazione VOX-DUB ritieni più preziosi per promuovere la trasparenza e la responsabilità nella localizzazione dei media AI?
Ciò che rende VOX-DUB così prezioso per la trasparenza è che costringe tutti a essere onesti su ciò che possono effettivamente consegnare. Prima di questo framework, le aziende potevano fare affermazioni sulla qualità del doppiaggio senza alcun modo per verificarle. La svolta cruciale è che VOX-DUB introduce il primo catalogo sistematico degli errori di doppiaggio AI attraverso il suo benchmark basato sull’uomo. Questo set di dati open-source crea un linguaggio condiviso per la qualità – frammenti di discorso originali con traduzioni, audio generato da più sistemi e annotazioni umane su cinque aspetti critici: pronuncia, naturalità, qualità del suono, somiglianza emotiva e somiglianza vocale. Per la prima volta, abbiamo uno standard per la valutazione umana del doppiaggio con linee guida chiare ed esempi. Ora, quando i team parlano di qualità, tutti stanno parlando della stessa cosa. I risultati pubblicati che chiunque possa vedere creano una vera responsabilità. I team devono sostenere le loro affermazioni di marketing con dati di prestazione in tutte e cinque le dimensioni di qualità. Questo tipo di apertura cambia il modo in cui opera l’intera industria e costruisce fiducia con i creatori che necessitano di risultati affidabili e misurabili.
Come pensi che benchmark come VOX-DUB influenzeranno il ritmo del progresso nella creazione e distribuzione di contenuti multilingue?
La cosa bella dell’avere benchmark chiari è che crea una roadmap per tutti da seguire. Quando i team vedono cosa è possibile attraverso i risultati di VOX-DUB, accelera i loro tempi di sviluppo. Invece di indovinare cosa significhi qualità, hanno obiettivi concreti da raggiungere. Sto vedendo aziende comprimere i loro roadmaps perché possono vedere l’evidenza di cosa funziona altrove. Questa comprensione condivisa sta aiutando l’intero campo a muoversi più velocemente insieme, il che significa che più contenuti diversi possono raggiungere il pubblico globale più velocemente.
La tua piattaforma ha ottenuto risultati solidi in termini di pronuncia e naturalità. Quali innovazioni o scelte di modello hanno contribuito maggiormente a ciò?
Si tratta di capire che il doppiaggio non riguarda solo le parole individuali; riguarda l’intero ecosistema della prestazione. Due innovazioni hanno fatto la differenza. In primo luogo, abbiamo smesso di trattare la pronuncia come puramente tecnica e abbiamo iniziato a trattarla come emotiva. Le persone non parlano in sillabe perfettamente articolate; balbettano le parole quando sono tristi, si affrettano quando sono eccitati. Catturare quell’imperfezione naturale è stato cruciale. In secondo luogo, abbiamo dovuto pensare all’intero paesaggio sonoro. Quando qualcuno parla in una scena con la pioggia o in una cattedrale echeggiante, la sua voce si adatta naturalmente. Il nostro sistema ha imparato a fondersi con l’ambiente acustico originale. Queste non erano solo miglioramenti tecnici. Erano sulla comprensione di ciò che rende il discorso umano.
Come la tua piattaforma combina l’esperienza umana con l’automazione per offrire doppiaggio di livello professionale su larga scala?
Lavoriamo a stretto contatto con gli studi di doppiaggio tradizionali, aiutandoli a formare i loro team in nuove competenze e professioni emergenti. L’AI gestisce la traduzione, la sincronizzazione e la generazione vocale, mentre i revisori professionali, traduttori e ingegneri del suono eseguono il controllo di qualità finale attraverso la nostra piattaforma. Questo approccio ci consente di mantenere la qualità dello studio mentre riduciamo i tempi di consegna da settimane a ore. L’automazione fornisce scalabilità e l’esperienza umana garantisce l’espressività artistica. È il meglio di entrambi i mondi: efficienza della macchina con arte umana.
Con il mercato della localizzazione dei media AI in rapida crescita, quale ruolo più ampio pensi che l’AI stia giocando nel ridisegnare la produzione creativa globale?
La localizzazione dei media AI renderà il doppiaggio accessibile a un’ampia gamma di creatori e storyteller. Consentirà loro di condividere le loro storie con il pubblico globale senza perdere profondità emotiva o autenticità culturale. Nel tempo, porterà a una maggiore diversità di contenuti, aprendo la porta a progetti di nicchia e a pubblici specializzati che in precedenza non potevano permettersi il doppiaggio professionale. Pensiamo ai registi indipendenti, ai creatori di documentari, ai produttori di contenuti educativi; possono finalmente raggiungere il pubblico globale che in precedenza era fuori portata.
Quali sviluppi o collaborazioni future ti entusiasmano di più mentre guardi al prossimo stadio di sviluppo?
Ciò che mi entusiasma di più è continuare a migliorare le nostre capacità di trasferimento emotivo. Abbiamo fatto buoni progressi, ma c’è ancora molto spazio per migliorare nella conservazione delle sfumature sottili che rendono le prestazioni autentiche. Per quanto riguarda le collaborazioni, stiamo costruendo partnership più profonde con gli studi di doppiaggio tradizionali per creare flussi di lavoro ibridi che combinino il meglio di entrambi i mondi. Questi studi hanno decenni di esperienza da cui stiamo imparando, mentre noi forniamo la tecnologia per scalare la loro arte. Le collaborazioni più emozionanti sono con gli studi che vedono l’AI non come un sostituto, ma come un modo per o aumentare le loro squadre e intraprendere progetti più diversificati che non potevano gestire in precedenza. La vera svolta sarà quando potremo consegnare costantemente prestazioni che il pubblico dimentica siano state create dall’AI. È lì che stiamo andando.
Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Dubformer.












