Interviews
Anton Dvorkovich, CEO og grundlægger af Dubformer – Intervieuserie

NøglepunkterAI-dubbing fejler stadig på følelsesmæssigt autentiske præstationer, selv når talen…
Vis mere
- AI-dubbing fejler stadig på følelsesmæssigt autentiske præstationer, selv når talen lyder menneskelig.
- VOX-DUB's åbne benchmark tvinger virksomheder til at bevise påstande om dubbingkvalitet med målbar evidens.
- AI-lokalisering vil gøre det muligt for uafhængige skabere at nå globale publikummer, som tidligere var forbeholdt store studier.
Anton Dvorkovich, CEO og grundlægger af Dubformer, har brugt mere end et årti på at forme skæringen mellem AI, sprog og taleteknologier. Før han startede Dubformer i 2023, ledede han store maskinlærings- og NLP-initiativer hos Yandex, hvor han overså produkter som Yandex Translate, Yandex Keyboard og taleassistenten Alice, der alle betjener millioner af brugere. Hos Nebius fungerede han som chef for AI, hvor han udviklede storstilede infrastrukturer for intelligente systemer. Hans erfaring med at lede tværfaglige hold på over 100 ingeniører, udviklere og forskere lagde grundlaget for Dubformers vision – at brobygge sprogbarrierer gennem avanceret AI-dubbing.
Dubformer er en AI-drevet dubbing-startup med hovedsæde i Amsterdam, der allerede har behandlet over en million minutter af lokaliseret videoindhold. Virksomheden specialiserer sig i at oversætte og dubbe videoer med syntetiske stemmer, der bevare følelsesmæssig tone, timing og talerens individualitet, hvilket hjælper skabere, studier og virksomheder med at gøre deres indhold globalt tilgængeligt. Deres platform udnytter dybe læringmodeller til talegenkendelse, stemmekloning og oversættelse, og tilbyder naturlig lydende resultater, der langt overgår traditionelle dubbingværktøjer.
Efter at have ledet NLP- og talehold hos Yandex og fungeret som chef for AI hos Nebius, hvad motiverede dig til at opbygge en dedikeret AI-dubbing-virksomhed, og hvordan har disse erfaringer formet din vision?
Arbejdet hos Yandex som chef for NLP udviklede min passion for at bryde sprogbarrierer med teknologi. Jeg fik mulighed for at overvære (og deltage i) den AI-revolution, der skete inden for maskinoversættelse – og derefter gik det op for mig, at der stadig er et stort hul, der for det meste er uløst, nemlig medieoversættelse (lyd og video). Når du ser, at tekstoversættelse bliver næsten perfekt, begynder du at spørge: Hvad med historierne, der faktisk berører mennesker? Hvad med præstationerne, der får dig til at le eller græde? Så besluttede vi os for at tage udfordringen op og bygge AI-dubbing-teknologi, og gå ud over medieoversættelse, der blot er forståelig, til den, der faktisk er behagelig. Det er derfor, vi lancerede Dubformer.
Hvilket specifikt hul i medie-lokalisering identificerede du, og hvordan har din baggrund inden for neuralt maskinoversættelse og stemmeteknologier påvirket din tilgang til at løse det?
Medie-lokalisering i dag udføres næsten udelukkende med stemmeaktører, og det har flere ulemper: Det er ret dyrt, omsvingstiderne er langsomme, og det er meget svært at skalaere, hvilket fører til store omkostninger i forbindelse med personaleledelse. Tænk på det: Traditionel dubbing er en fantastisk håndværk, men disse begrænsninger betyder, at mange projekter aldrig bliver dubbet overhovedet. Så selvom traditionel dubbing er ret god, er der mange projekter, der ikke bliver dubbet lige nu på grund af de nævnte ulemper. I virkeligheden er 95% af indholdet kun tilgængeligt på det originale sprog. Det er hullet, vi forsøger at løse.
VOX-DUB-benchmarket er en vigtig milepæl for at evaluere dubbing-kvalitet. Hvad indsigt gav deltagelse i dette benchmark?
VOX-DUB-resultaterne afslørede noget vigtigt: Branchen har allerede løst problemet med at få AI-stemmer til at lyde ‘menneskelignende’ til indhold, hvor den emotionelle komponent ikke er kritisk. Men dubbing af indhold, hvor følelser virkelig betyder noget, forbliver en uløst udfordring, selvom det måske ser ud, som om alt allerede er løst. Mange systemer kan producere forståelige tal, men få kan skabe præstationer, der føles ægte og følelsesmæssigt tilpasset den originale. Vi har mestret at læse tekst højt, men vi lærer stadig, hvordan vi kan udføre scener.
Du har talt om et kompromis mellem stemme-fidelitet og samlet talekvalitet. Hvordan nærmer du dig dette spørgsmål i dine systemer?
I virkeligheden er kompromisset ofte ikke mellem stemme-fidelitet og kvalitet, men mellem dybden af følelsesmæssig, intonations- og udtryksmæssig overførsel og stabiliteten af resultatet. Jo mere du forsøger at overføre, jo højere er risikoen for at overføre noget forkert, især da følelser lyder og udtrykkes forskelligt på tværs af sprog. Det, der lyder passioneret på ét sprog, kan lyde unaturligt eller endda chokerende på et andet. Vi søger at finde en balance mellem følelsesmæssig nøjagtighed og naturlighed, og sikre, at outputtet forbliver udtryksfuldt, men samtidig behageligt at lytte til.
Hvad gør AI-dubbing grundlæggende forskellig fra traditionel tekst-til-tale—både teknisk og kunstnerisk?
Traditionel TTS fokuserer på blot at læse tekst, ofte i en neutral tone. AI-dubbing, især i mediebranchen, er en langt mere kompleks opgave, hvor målet ikke blot er at overføre mening, men at skabe en fornemmelse af tilstedeværelse og ægte præstation. Følelser, intonationer og naturlige pauser spiller alle en afgørende rolle, sammen med udfordringer som mixing, akustisk tilpasning og synkronisering med læbebevægelser og scenerytme. Kunstnerisk set er AI-dubbing meget tættere på skuespil end på læsning; systemet skal udføre linjen, ikke blot udtale den.
Hvad er det mest værdifulde aspekt af VOX-DUB-evaluationsrammen i at drive gennemsigtighed og ansvarlighed i AI-medie-lokalisering?
Det, der gør VOX-DUB så værdifuldt for gennemsigtighed, er, at det tvinger alle til at være ærlige om, hvad de kan levere. Før denne ramme kunne virksomheder gøre krav på deres dubbing-kvalitet uden nogen måde at verificere dem på. Den afgørende gennembrud er, at VOX-DUB introducerer den første systematiske katalog over AI-dubbing-fejl gennem sin omfattende menneskebaserede benchmark. Denne open-source-datasæt skaber et fælles sprog for kvalitet – originale talefragmenter med oversættelser, genereret lyd fra multiple systemer og menneskelige annotationer på fem kritiske aspekter: udtale, naturlighed, lydkvalitet, følelseslighed og stemmelighed. For første gang har vi en standard for menneskelig evaluering af dubbing med klare retningslinjer og eksempler. Nu, når hold taler om kvalitet, taler de alle om det samme. Offentliggjorte resultater, som alle kan se, skaber reel ansvarlighed. Holdene må bakke op deres markedsføringskrav med performancesdata på tværs af alle fem kvalitetsdimensioner. Denne åbenhed ændrer, hvordan hele branchen fungerer, og opbygger tillid hos skabere, der har brug for pålidelige, målbare resultater.
Hvordan ser du benchmarks som VOX-DUB påvirke fremgangen i multilingualt indholdsskabelse og distribution?
Det smukke ved at have klare benchmarks er, at det skaber en vejviser for alle at følge. Når hold ser, hvad der kan opnås gennem VOX-DUB-resultater, accelererer det deres egen udviklingsplaner. I stedet for at gætte, hvad kvalitet ligner, har de konkrete mål at sigte efter. Jeg ser, hvordan virksomheder komprimerer deres roadmaps, fordi de kan se bevis for, hvad der fungerer andetsteds. Denne fælles forståelse hjælper hele feltet med at flytte sig hurtigere sammen, hvilket betyder, at mere diversificeret indhold kan nå globale publikummer hurtigere.
Deres platform opnåede stærke resultater i udtale og naturlighed. Hvad var de underliggende innovationer eller modelvalg, der bidrog mest til dette?
Det kommer ned til at forstå, at dubbing ikke blot handler om enkeltord; det handler om hele præstationsøkosystemet. To gennembrud gjorde forskellen. Først stoppede vi med at behandle udtale som rent teknisk og begyndte at behandle det som følelsesmæssigt. Mennesker taler ikke i perfekt artikulerede stavelser; de slurrer ord, når de er kede af, de skynder sig, når de er ophidsede. At fange den naturlige ufuldkommenhed var afgørende. For det andet måtte vi tænke på hele lydlandskabet. Når nogen taler i en scene med regn eller i en ekkoende katedral, tilpasser deres stemme sig naturligt. Vores system lærte at blande sig med den originale akustiske omgivelse. Disse var ikke blot tekniske forbedringer. De handlede om at forstå, hvad der gør tale menneskeligt.
Hvordan kombinerer din platform menneskelig ekspertise med automatisering for at levere professionelt niveau-dubbing i stor målestok?
Vi arbejder tæt sammen med traditionelle dubbing-studier, hvor vi hjælper dem med at træne deres hold i nye færdigheder og fremvoksende professioner. AI håndterer oversættelse, synkronisering og stemmegenerering, mens professionelle anmeldere, oversættere og lydingeniører udfører den endelige kvalitetskontrol gennem vores platform. Denne tilgang giver os mulighed for at opretholde studie-niveau-kvalitet, samtidig med at vi reducerer omsvingstiderne fra uger til timer. Automatisering giver skalerbarhed, og menneskelig ekspertise sikrer kunstnerisk udtryk. Det er det bedste af begge verdener: maskinens effektivitet med menneskelig kunstnerisk udtryk.
Med den hurtige vækst i AI-medie-lokaliseringsmarkedet, hvilken bredere rolle ser du AI spille i omformningen af globalt kreativt produktion?
AI-lokalisering vil gøre dubbing tilgængelig for en langt bredere række af skabere og fortællere. Det vil enable dem til at dele deres historier med globale publikummer uden at miste følelsesmæssig dybde eller kulturel autenticitet. Over tid vil dette føre til langt større diversitet i indhold, og åbne døren for niche-projekter og specialiserede publikummer, der tidligere ikke kunne betale for professionel dubbing. Tænk på uafhængige filminstruktører, dokumentarfilmere, skabere af undervisningsindhold; de kan nu nå globale publikummer, der tidligere var uden for rækkevidde.
Hvad er de kommende fremskridt eller samarbejder, du er mest begejstret for, når du ser frem mod den næste udviklingsfase?
Det, der begejstrer mig mest, er at fortsætte med at forbedre vores følelsesmæssige overførselskapaciteter. Vi har gjort god fremgang, men der er stadig så meget at forbedre for at bevare de subtile nuancer, der gør præstationer ægte. I forhold til samarbejder bygger vi dybere partnerskaber med traditionelle dubbing-studier for at skabe hybrid-arbejdsgange, der kombinerer det bedste fra begge verdener. Disse studier har årtiers erfaring, som vi lærer af, mens vi tilbyder teknologien til at skalaere deres kunstneriske udtryk. De mest spændende samarbejder er med studier, der ser AI ikke som en erstatning, men som en måde til at udvide deres hold og tage på mere diverse projekter, de ikke kunne håndtere før. Den virkelige gennembrud vil være, når vi kan levere præstationer, som publikummerne glemmer, blev skabt af AI. Det er der, vi er på vej mod.
Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Dubformer.












