Intervjuer
Anton Dvorkovich, CEO og grunnlegger av Dubformer – Intervju-serie

Viktige punkterAI-dubbing feiler fortsatt på emosjonelt autentiske fremføringer, selv når talen høres…
Vis mer
- AI-dubbing feiler fortsatt på emosjonelt autentiske fremføringer, selv når talen høres menneskelig ut.
- VOX-DUBs åpne benchmark tvinger selskaper til å bevise påstander om dubbekvalitet med målbar dokumentasjon.
- AI-lokalisering vil la uavhengige skapere nå globale publikum som en gang var forbeholdt store studioer.
Anton Dvorkovich, CEO og grunnlegger av Dubformer, har brukt over ett tiår på å forme skjæringspunktet mellom AI, språk og taleteknologier. Før han lanserte Dubformer i 2023, ledet han større maskinlærings- og NLP-initiativer i Yandex, hvor han overvåket produkter som Yandex Translate, Yandex Keyboard og taleassistenten Alice, som alle tjener millioner av brukere. Hos Nebius var han sjef for AI, hvor han utviklet stor skala-infrastruktur for intelligente systemer. Hans erfaring med å lede tverrfaglige team bestående av over 100 ingeniører, utviklere og forskere, ga grunnlaget for Dubformers visjon – å bryte språkliggjerdene gjennom avansert AI-dubbing.
Dubformer er en AI-drevet dubbing-startup med hovedkontor i Amsterdam, som allerede har prosessert over en million minutter med lokalisiert videoinnhold. Selskapet spesialiserer seg på å oversette og dubbe videoer med syntetiske stemmer som bevare emosjonell tone, timing og taleindividualitet, og hjelper skapere, studioer og bedrifter med å gjøre innholdet tilgjengelig globalt. Plattformen utnytter dyp læringsmodeller for talegjenkjenning, stemmekloning og oversettelse, og tilbyr naturlig lydende resultater som langt overgår tradisjonelle dubbing-verktøy.
Etter å ha ledet NLP- og taleteam i Yandex og å ha vært sjef for AI i Nebius, hva motiverte deg til å bygge et dedikert AI-dubbing-selskap, og hvordan har disse erfaringene formet din visjon?
Jeg utviklet en lidenskap for å bryte ned språkliggjerdene med teknologi mens jeg arbeidet i Yandex som sjef for NLP. Jeg fikk se (og delta i) AI-revolusjonen som skjedde i maskinoversettelse – og deretter innsett jeg at det fortsatt er et stort gap som ikke er løst: medieoversettelse (lyd og video). Når du ser at tekstoversettelse blir nesten perfekt, begynner du å spørre: hva med historiene som faktisk berører folk? Hva med forestillingene som får deg til å le eller gråte? Så bestemte vi oss for å ta på oss utfordringen med å bygge AI-dubbing-teknologi, og å gå ut over medieoversettelse som bare er forståelig, til den som faktisk er behagelig. Dette er hvorfor vi lanserte Dubformer.
Hva var det spesifikke gapet i medie-lokalisering du identifiserte, og hvordan har din bakgrunn i neuralt maskinlærings- og stemmeteknologi påvirket din tilnærming til å løse det?
Medie-lokalisering i dag gjøres nesten utelukkende med stemmeskuespillere, og det har flere ulemper: det er ganske dyrt, omgangstidene er lange, og å skalerer det er svært vanskelig og fører til store overhoder i personell. Tenk på det: tradisjonell dubbing-håndverk er fantastisk, men disse begrensningene betyr at mange prosjekter aldri blir dubbet i det hele tatt. Så, mens tradisjonell dubbing er ganske god, er det mange prosjekter som ikke blir dubbet på grunn av de ovennevnte ulemper. Faktisk er 95% av innholdet bare tilgjengelig på originalspråket. Dette er gapet vi adresserer.
VOX-DUB-benchmarket er en viktig milepæl for å evaluere dubbing-kvalitet. Hva var det viktigste innsiktet fra deltakelse i dette benchmarket?
VOX-DUB-resultatene avslørte noe viktig: bransjen har allerede løst problemet med å gjøre AI-stemmer lyde “menneskelige” for innhold der den emosjonelle komponenten ikke er kritisk. Men å dubbe innhold der emosjoner virkelig betyr noe, er fortsatt en uløst utfordring, selv om det kan se ut som om alt allerede er løst. Mange systemer kan produsere forståelig tale, men svært få kan skape forestillinger som føles autentiske og emosjonelt tilpasset med originalen. Vi har mestret å lese tekst høyt, men vi lærer fortsatt å faktisk utføre scener.
Du har snakket om et kompromiss mellom stemkvalitet og generell talekvalitet. Hvordan nærmer du deg å balansere disse faktorene i dine systemer?
I virkeligheten er kompromisset ofte ikke mellom stemkvalitet og kvalitet, men mellom dybden av emosjonell, intonasjons- og uttrykksmessig overføring og stabiliteten av resultatet. Jo mer du prøver å overføre, jo høyere risiko for å overføre noe feil, spesielt siden emosjoner høres og uttrykkes forskjellig på ulike språk. Hva som lyder lidenskapelig på ett språk, kan lyde unaturlig eller til og med sjokkerende på et annet. Vi søker å finne en balanse mellom emosjonell nøyaktighet og naturlighet, og sikre at utgangen forblir uttrykksfull, men samtidig behagelig å lytte til.
Hva gjør AI-dubbing fundamentalt forskjellig fra tradisjonell tekst-til-tale—både teknisk og kunstnerisk?
Tradisjonell TTS fokuserer på å lese tekst, vanligvis i en nøytral tone. AI-dubbing, spesielt i mediebransjen, er en langt mer kompleks oppgave, der målet ikke bare er å formidle mening, men å skape en følelse av tilstedeværelse og ekte forestilling. Emosjoner, intonasjoner og naturlige pauser spiller alle en kritisk rolle, sammen med utfordringer som miksing, akustisk tilpasning og synkronisering med leppbevegelser og scenerytme. Kunstnerisk sett er AI-dubbing mye nærmere skuespill enn å lese; systemet må utføre linjen, ikke bare uttale den.
Hva er det viktigste aspektet ved VOX-DUB-evalueringssystemet som du finner mest verdifullt for å drive gjennomsiktighet og ansvar i AI-medie-lokalisering?
Hva som gjør VOX-DUB så verdifullt for gjennomsiktighet, er at det tvinger alle til å være ærlige om hva de faktisk kan levere. Før dette systemet, kunne selskaper gjøre krav på dubbing-kvalitet uten noen måte å verifisere dem på. Det kritiske gjennombruddet er at VOX-DUB introduserer den første systematiske katalogen over AI-dubbing-feil gjennom sin omfattende menneske-baserte benchmark. Denne åpne datasettet skaper et felles språk for kvalitet – originale talefragmenter med oversettelser, generert lyd fra flere systemer og menneskelige annotasjoner over fem kritiske aspekter: uttale, naturlighet, lydkvalitet, emosjonslikhet og stemmelikhet. For første gang har vi en standard for menneskelig evaluering av dubbing med klare retningslinjer og eksempler. Nå når teamene snakker om kvalitet, snakker de faktisk om det samme. Publiserte resultater som alle kan se, skaper virkelig ansvar. Teamene må støtte opp sine markedsføringskrav med ytelsesdata over alle fem kvalitetsdimensjoner. Denne type åpenhet endrer hvordan hele bransjen opererer og bygger tillit hos skapere som trenger pålitelige, målbare resultater.
Hvordan ser du på hvordan benchmarkene som VOX-DUB vil påvirke fremdriften i multilingual innholdsskapning og distribusjon?
Det flotte med å ha klare benchmark er at det skaper en veikart for alle å følge. Når teamene ser hva som er oppnåelig gjennom VOX-DUB-resultater, akselererer det deres egen utviklingsplaner. I stedet for å gjette hva kvalitet ligner, har de konkrete mål å sikte mot. Jeg ser på hvordan selskaper komprimerer sine veikart fordi de kan se bevis for hva som fungerer andre steder. Denne felles forståelsen hjelper hele feltet å flytte seg raskere sammen, noe som betyr at mer diversifisert innhold kan nå globale publikum raskere.
Ditt plattform oppnådde sterke resultater i uttale og naturlighet. Hva var de underliggende innovasjonene eller modellvalgene som bidro mest til dette?
Det kommer ned til å forstå at dubbing ikke bare handler om enkeltord; det handler om hele forestillingsøkosystemet. To gjennombrudd gjorde forskjellen. Først, sluttet vi å behandle uttale som rent teknisk og begynte å behandle det som emosjonelt. Folk snakker ikke i fullstendig artikulerte stavelser; de slurver ord når de er triste, de skynder seg når de er spente. Å fange denne naturlige ufullkommenheten var avgjørende. For det andre, måtte vi tenke på hele lydlandskapet. Når noen snakker i en scene med regn, eller i en ekko-kaatedral, tilpasser deres stemme seg naturlig. Vårt system lærte å blande seg med den originale akustiske miljøet. Disse var ikke bare tekniske forbedringer. De var om å forstå hva som gjør tale menneskelig.
Hvordan kombinerer din plattform menneskelig ekspertise med automatisering for å levere profesjonell dubbing i stor skala?
Vi arbeider tett med tradisjonelle dubbing-studioer, og hjelper dem med å trene sine team i nye ferdigheter og fremvoksende profesjoner. AI håndterer oversettelse, synkronisering og stemmegenerering, mens profesjonelle revisorer, oversettere og lydingeniører utfører den endelige kvalitetskontrollen gjennom vår plattform. Denne tilnærmingen lar oss opprettholde studio-nivå kvalitet samtidig som vi reduserer omgangstidene fra uker til timer. Automatisering gir skalerbarhet, og menneskelig ekspertise sikrer kunstnerisk uttrykk. Det er det beste av begge verdener: maskin-effektivitet med menneskelig kunstnerisk uttrykk.
Med AI-medie-lokaliseringsmarkedet vokser raskt, hva er den bredere rollen du ser AI spille i å forme global kreativ produksjon?
AI-lokalisering vil gjøre dubbing tilgjengelig for en mye bredere rekke av skapere og fortellere. Det vil enable dem til å dele sine historier med globale publikum uten å tape emosjonell dybde eller kulturell autentisitet. Over tid, vil dette føre til en langt større diversitet i innhold, og åpne døren for nisje-prosjekter og spesialiserte publikum som tidligere ikke kunne betale for profesjonell dubbing. Tenk på uavhengige filmprodusenter, dokumentar-produsenter, utdanningsinnholdsskapere; de kan nå nå globale publikum som tidligere var utenfor rekkevidde.
Hva er de kommende fremgangene eller samarbeidene du er mest spente på, når du ser mot den neste fasen av utvikling?
Hva som spenner meg mest, er å fortsette å forbedre våre emosjonelle overføringsmuligheter. Vi har gjort god fremgang, men det er fortsatt så mye rom for å bli bedre på å bevare de subtile nyansene som gjør forestillinger autentiske. Når det gjelder samarbeid, bygger vi dypere partnerskap med tradisjonelle dubbing-studioer for å skape hybrid-arbeidsflyter som kombinerer det beste av begge verdener. Disse studioene har tiår med ekspertise som vi lærer av, mens vi tilbyr teknologien for å skalerer deres kunstneriske uttrykk. De mest spennende samarbeidene er med studioer som ser AI ikke som en erstatning, men som en måte å












