Interviews

Anton Dvorkovich, CEO en oprichter van Dubformer – Interviewreeks

Antoine Tardif
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenAI-nasynchronisatie faalt nog steeds bij emotioneel authentieke vertolkingen, zelfs…
Meer weergeven
  • AI-nasynchronisatie faalt nog steeds bij emotioneel authentieke vertolkingen, zelfs wanneer spraak menselijk klinkt.
  • De open benchmark van VOX-DUB dwingt bedrijven om claims over nasynchronisatiekwaliteit met meetbaar bewijs te onderbouwen.
  • AI-lokalisatie zal onafhankelijke makers toegang geven tot wereldwijde doelgroepen die ooit voorbehouden waren aan grote studio's.

Anton Dvorkovich, CEO en oprichter van Dubformer, heeft meer dan een decennium besteed aan het vormgeven van de kruispunten van AI, taal en spraaktechnologie. Voordat hij Dubformer in 2023 lanceerde, leidde hij belangrijke machine learning- en NLP-initiatieven bij Yandex, waarbij hij producten zoals Yandex Translate, Yandex Keyboard en de spraakassistent Alice beheerde, die allemaal miljoenen gebruikers bedienden. Bij Nebius was hij hoofd van AI, waar hij grote infrastructuur voor intelligente systemen ontwikkelde. Zijn ervaring met het beheren van cross-functionele teams van meer dan 100 ingenieurs, ontwikkelaars en onderzoekers vormde de basis voor de visie van Dubformer – het overbruggen van taalbarrières met geavanceerde AI-dubbing.

Dubformer is een AI-gebaseerde dubbing-startup met hoofdkantoor in Amsterdam, die al meer dan een miljoen minuten aan gelokaliseerde videoinhoud heeft verwerkt. Het bedrijf specialiseert zich in het vertalen en dubbelen van video’s met behulp van synthetische stemmen die de emotionele toon, timing en sprekerindividualiteit behouden, waardoor creators, studios en ondernemingen hun inhoud wereldwijd toegankelijk kunnen maken. Het platform maakt gebruik van diepe leermodellen voor spraakherkenning, stemkloon en vertaling, waardoor natuurlijk klinkende resultaten worden behaald die verder gaan dan traditionele dubbing-tools.

Na het leiden van NLP- en spraakteams bij Yandex en het dienen als hoofd van AI bij Nebius, wat motiveerde je om een toegewijd AI-dubbingbedrijf op te richten, en hoe hebben die ervaringen je visie gevormd?

Het werken bij Yandex als hoofd van NLP ontwikkelde een passie bij mij om taalbarrières met technologie te doorbreken. Ik heb de AI-revolutie meegemaakt die plaatsvond in machinevertaling – en toen realiseerde ik me dat een grote kloof die nog steeds grotendeels onopgelost is, media-vertaling (audio- en video) is. Wanneer je ziet dat tekstvertaling bijna perfect wordt, begin je je af te vragen: wat gebeurt er met de verhalen die mensen echt raken? Wat gebeurt er met de optredens die je laten lachen of huilen? Daarom besloten we de uitdaging aan te gaan om AI-dubbingtechnologie te ontwikkelen, en om verder te gaan dan media-vertaling die alleen maar verstaanbaar is, naar die welke echt genietbaar is. Dit is waarom we Dubformer hebben gelanceerd.

Welke specifieke kloof in media-lokalisatie identificeerde je, en hoe heeft je achtergrond in neurale machinevertaling en spraaktechnologie je aanpak voor het oplossen van dit probleem beïnvloed?

Media-lokalisatie wordt vandaag de dag bijna geheel gedaan met stemacteurs, en dat heeft verschillende nadelen: het is vrij duur, de doorlooptijden zijn langzaam en het schalen ervan is heel moeilijk en leidt tot enorme overheadkosten in mensenbeheer. Denk er eens over na: traditionele dubbingspecialisten zijn ongelooflijk, maar die beperkingen betekenen dat veel projecten nooit worden nagedubd. In feite is 95% van de inhoud alleen beschikbaar in de oorspronkelijke taal. Dat is de kloof die we aan het dichten zijn.

De VOX-DUB-benchmark is een belangrijke mijlpaal voor het evalueren van de kwaliteit van dubbelen. Welke inzichten heeft deelname aan deze benchmark je gegeven over de huidige stand van de industrie?

De VOX-DUB-resultaten onthulden iets belangrijks: de industrie heeft al het probleem opgelost van het maken van AI-stemmen die ‘menselijk’ klinken voor inhoud waarbij de emotionele component niet kritiek is. Echter, het dubbelen van inhoud waarbij emoties echt belangrijk zijn, blijft een onopgelost probleem, zelfs als het misschien lijkt dat alles al is opgelost. Veel systemen kunnen verstaanbare spraak produceren, maar heel weinig kunnen optredens creëren die authentiek en emotioneel aansluiten bij het origineel. We hebben geleerd om tekst hardop te lezen, maar we zijn nog steeds aan het leren om scènes echt te spelen.

Je hebt gesproken over een afweging tussen stemfideliteit en algehele spraakkwaliteit. Hoe ga je te werk om deze factoren in je systemen in balans te brengen?

In werkelijkheid is de afweging vaak niet tussen stemfideliteit en kwaliteit, maar tussen de diepte van emotionele, intonationale en expressieve overdracht en de stabiliteit van het resultaat. Hoe meer je probeert over te dragen, hoe hoger het risico dat je iets incorrect overdraagt, vooral omdat emoties anders klinken en worden uitgedrukt in verschillende talen. Wat passie klinkt in de ene taal, kan onnatuurlijk of zelfs verontrustend klinken in een andere taal. We proberen een balans te vinden tussen emotionele nauwkeurigheid en natuurlijkheid, waarbij we ervoor zorgen dat de uitvoer expressief blijft maar comfortabel om naar te luisteren.

In jouw visie, wat maakt AI-dubbelen fundamenteel anders dan traditionele tekst-naar-spraak—zowel technisch als artistiek?

Traditionele TTS richt zich op het simpelweg lezen van tekst, meestal in een neutrale toon. AI-dubbelen, vooral in de media-industrie, is een veel complexere taak, waarbij het doel niet alleen is om betekenis over te dragen, maar om een gevoel van aanwezigheid en echte prestatie te creëren. Emoties, intonaties en natuurlijke pauzes spelen allemaal een cruciale rol, evenals uitdagingen zoals mengen, akoestische aanpassing en synchronisatie met lipbewegingen en scène-ritme. Artistiek gezien is AI-dubbelen veel dichter bij acteren dan bij het lezen; het systeem moet de regel uitvoeren, niet alleen uitspreken.

Wat zijn de aspecten van de VOX-DUB-evaluatiefraamwerk die je het meest waardevol vindt voor het stimuleren van transparantie en verantwoordelijkheid in AI-media-lokalisatie?

Wat VOX-DUB zo waardevol maakt voor transparantie, is dat het iedereen dwingt om eerlijk te zijn over wat ze daadwerkelijk kunnen leveren. Voordat deze framework bestond, konden bedrijven claims maken over hun dubbingskwaliteit zonder enige manier om ze te verifiëren. De cruciale doorbraak is dat VOX-DUB de eerste systematische catalogus van AI-dubbingfouten introduceert via zijn uitgebreide, mensgebaseerde benchmark. Deze open-source dataset creëert een gedeelde taal voor kwaliteit – originele spraakfragmenten met vertalingen, gegenereerde audio van meerdere systemen en menselijke annotaties over vijf kritische aspecten: uitspraak, natuurlijkheid, geluidskwaliteit, emotie-overeenkomst en stem-overeenkomst. Voor het eerst hebben we een standaard voor menselijke evaluatie van dubbelen met duidelijke richtlijnen en voorbeelden. Nu teams praten over kwaliteit, praten ze allemaal over hetzelfde. Gepubliceerde resultaten die iedereen kan zien, creëren echte verantwoordelijkheid. Teams moeten hun marketingclaims ondersteunen met prestatiegegevens over alle vijf kwaliteitsdimensies. Deze soort openheid verandert de manier waarop de hele industrie werkt en bouwt vertrouwen op met creators die betrouwbare, meetbare resultaten nodig hebben.

Hoe zie je benchmarks zoals VOX-DUB de snelheid van vooruitgang in multiculturele inhoudscreatie en -distributie beïnvloeden?

Het mooie van het hebben van duidelijke benchmarks is dat het een roadmap creëert voor iedereen om te volgen. Wanneer teams zien wat er bereikt kan worden via VOX-DUB-resultaten, versnelt het hun eigen ontwikkelingsplanning. In plaats van te gissen wat kwaliteit lijkt, hebben ze concrete doelen om naar te streven. Ik zie bedrijven hun roadmaps comprimeren omdat ze kunnen zien wat werkt elders. Deze gedeelde begrip helpt het hele veld sneller samen te bewegen, wat betekent dat meer diverse inhoud sneller wereldwijd kan worden bereikt.

Jouw platform behaalde sterke resultaten in uitspraak en natuurlijkheid. Welke onderliggende innovaties of modelkeuzes droegen het meest bij aan dit?

Het komt neer op het begrijpen dat dubbelen niet alleen over individuele woorden gaat; het gaat over het hele prestatie-ecosysteem. Twee doorbraken maakten het verschil. Ten eerste stopten we met het behandelen van uitspraak als puur technisch en begonnen we het te behandelen als emotioneel. Mensen spreken niet in perfect gearticuleerde lettergrepen; ze slurpen woorden wanneer ze verdrietig zijn, ze haasten zich wanneer ze opgewonden zijn. Het vastleggen van die natuurlijke onvolkomenheid was cruciaal. Ten tweede moesten we denken aan het hele geluidslandschap. Wanneer iemand in een scène spreekt met regen, of in een echoënde kathedraal, past zijn stem zich natuurlijk aan. Ons systeem leerde om te mengen met de oorspronkelijke akoestische omgeving. Dit waren geen technische verbeteringen alleen; het ging over het begrijpen wat maakt dat spraak menselijk aanvoelt.

Hoe combineert jouw platform menselijke expertise met automatisering om professionele dubbelen op grote schaal te leveren?

We werken nauw samen met traditionele dubbingsstudio’s, waarbij we hen helpen om hun teams te trainen in nieuwe vaardigheden en opkomende beroepen. AI behandelt vertaling, synchronisatie en stemgeneratie, terwijl professionele reviewers, vertalers en geluidstechnici de finale kwaliteitscontrole uitvoeren via ons platform. Deze aanpak stelt ons in staat om studio-kwaliteit te behouden terwijl we de doorlooptijden van weken tot uren reduceren. Automatisering biedt schaalbaarheid, en menselijke expertise waarborgt artistieke expressiviteit. Het is het beste van beide werelden: machine-efficiëntie met menselijke kunst.

Met de snelle groei van de AI-media-lokalisatiemarkt, wat is de bredere rol die je AI ziet spelen in het herschikken van wereldwijde creatieve productie?

AI-lokalisatie zal dubbelen toegankelijk maken voor een veel bredere range aan creators en verhalenvertellers. Het zal hen in staat stellen om hun verhalen te delen met wereldwijde publiek zonder emotionele diepte of culturele authenticiteit te verliezen. Na verloop van tijd zal dit leiden tot een veel grotere diversiteit in inhoud, waardoor niche-projecten en gespecialiseerde publiek die eerder niet konden betalen voor professionele dubbelen, nu wel toegang hebben tot wereldwijde publiek.

Wat zijn de komende vooruitgangen of samenwerkingen waar je het meest enthousiast over bent, terwijl je naar de volgende fase van ontwikkeling kijkt?

Wat me het meest enthousiast maakt, is het blijven verbeteren van onze emotionele overdrachtsmogelijkheden. We hebben goede vooruitgang geboekt, maar er is nog zoveel ruimte om beter te worden in het behouden van de subtiele nuances die prestaties authentiek doen aanvoelen. Wat betreft samenwerkingen, we zijn diepere partnerschappen aan het opbouwen met traditionele dubbingsstudio’s om hybride workflows te creëren die het beste van beide werelden combineren. Deze studio’s hebben decennia aan expertise die we leren van, terwijl we de technologie bieden om hun kunst te schalen. De meest spannende samenwerkingen zijn met studio’s die AI niet zien als vervanging, maar als een manier om hun teams te versterken en meer diverse projecten aan te pakken die ze eerder niet aankonden. De echte doorbraak zal zijn wanneer we consistent prestaties kunnen leveren die publiek vergeten dat ze door AI zijn gecreëerd. Dat is waar we naartoe gaan.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Dubformer bezoeken.

Antoine is een visionaire leider en medeoprichter van Unite.AI, gedreven door een onwankelbare passie om de toekomst van AI en robotica vorm te geven en vooruit te helpen. Als serieondernemer gelooft hij dat AI de samenleving net zo ingrijpend zal veranderen als elektriciteit. Hij spreekt vaak enthousiast over het potentieel van baanbrekende technologieën en artificiële algemene intelligentie (AGI).

Als futurist onderzoekt hij hoe deze innovaties onze wereld zullen vormgeven. Daarnaast is hij oprichter van Securities.io, een platform dat zich richt op investeringen in geavanceerde technologieën die de toekomst opnieuw definiëren en hele sectoren veranderen.