Intervjuer

Anton Dvorkovich, VD och grundare på Dubformer – Intervjuer

Antoine Tardif
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterAI-dubbning misslyckas fortfarande med känslomässigt autentiska framföranden även när…
Visa mer
  • AI-dubbning misslyckas fortfarande med känslomässigt autentiska framföranden även när talet låter mänskligt.
  • VOX-DUB:s öppna benchmark tvingar företag att bevisa sina påståenden om dubbningskvalitet med mätbara bevis.
  • AI-lokalisering kommer att låta oberoende kreatörer nå globala publiker som en gång var förbehållna stora studior.

Anton Dvorkovich, VD och grundare på Dubformer, har tillbringat över ett decennium med att forma skärningspunkten mellan AI, språk och talteknologier. Innan han lanserade Dubformer 2023 ledde han stora maskinlärnings- och NLP-initiativ på Yandex, där han övervakade produkter som Yandex Translate, Yandex Keyboard och röstassistenten Alice, som alla tjänar miljontals användare. På Nebius tjänstgjorde han som chef för AI, där han utvecklade storskalig infrastruktur för intelligenta system. Hans erfarenhet av att hantera tvärfunktionella team med över 100 ingenjörer, utvecklare och forskare gav grunden för Dubformers vision – att överbrygga språkgränser med avancerad AI-dubbning.

Dubformer är ett AI-drivet dubbningföretag med huvudkontor i Amsterdam som redan har bearbetat över en miljon minuter av lokaliserat videoinnehåll. Företaget specialiserar sig på att översätta och dubbning av videor med hjälp av syntetiska röster som bevarar emotionell ton, timing och talarens individualitet, vilket hjälper skapare, studior och företag att göra sitt innehåll globalt tillgängligt. Plattformen använder djupinlärningsmodeller för taligenkänning, röstkloning och översättning, vilket erbjuder naturligt klingande resultat som vida överträffar traditionella dubbningverktyg.

Efter att ha lett NLP- och talteam på Yandex och tjänstgjort som chef för AI på Nebius, vad motiverade dig att bygga ett dedikerat AI-dubbningföretag, och hur har dessa erfarenheter format din vision?

Arbetet på Yandex som chef för NLP utvecklade min passion för att bryta ner språkbarriärer med teknologi. Jag fick bevittna (och delta i) den AI-revolution som skedde inom maskinöversättning – och sedan insåg jag att en stor lucka som fortfarande är olöst är medieöversättning (ljud och video). När du ser textöversättning bli nästan perfekt, börjar du fråga dig: vad händer med de berättelser som faktiskt rör människor? Vad händer med de prestationer som får dig att skratta eller gråta? Så vi bestämde oss för att ta på oss utmaningen att bygga AI-dubbningsteknologi, och att gå utöver medieöversättning som bara är begriplig, till den som faktiskt är njutbar. Det är därför vi lanserade Dubformer.

Vilken specifik lucka i medielokalisering identifierade du, och hur har din bakgrund inom neuralt maskinöversättning och röstteknologier påverkat din tillvägagångssätt för att lösa det?

Medielokalisering idag görs nästan uteslutande med röstskådespelare, och det har flera nackdelar: det är ganska dyrt, omsättningstiderna är långa, och det är svårt att skala upp och leder till stora overheadkostnader i personalhantering. Tänk på det: traditionell dubbning är en otrolig hantverk, men dessa begränsningar innebär att många projekt aldrig blir dubbade alls. Så, medan traditionell dubbning är ganska bra, finns det många projekt som inte blir dubbade just nu på grund av de ovannämnda nackdelarna. I själva verket är 95% av innehållet bara tillgängligt på originalspråket. Det är den lucka vi tar itu med.

VOX-DUB-benchmarken är en viktig milstolpe för att utvärdera dubbningens kvalitet. Vilka insikter gav deltagandet om var branschen för närvarande står?

VOX-DUB-resultaten avslöjade något viktigt: branschen har redan löst problemet med att göra AI-röstöverföringar låta “mänskliga” för innehåll där den emotionella komponenten inte är kritisk. Men dubbning av innehåll där känslor verkligen betyder något förblir en olöst utmaning, även om det kan tyckas att allt redan är löst. Många system kan producera förståelig tal, men mycket få kan skapa prestationer som känns äkta och emotionellt anpassade till originalet. Vi har bemästrat att läsa text högt, men vi lär oss fortfarande att faktiskt utföra scener.

Du har talat om en avvägning mellan rösttrohet och övergripande tal kvalitet. Hur närmar du dig att balansera dessa faktorer i dina system?

I verkligheten är avvägningen ofta inte mellan rösttrohet och kvalitet, utan mellan djupet av emotionell, intonations- och uttrycksfull överföring och stabiliteten i resultatet. Ju mer du försöker överföra, desto högre är risken för att överföra något felaktigt, särskilt eftersom känslor låter och uttrycks olika på olika språk. Det som låter passionerat på ett språk kan låta onaturligt eller till och med stötande på ett annat. Vi syftar till att hitta en balans mellan emotionell noggrannhet och naturlighet, och se till att utdata förblir uttrycksfull men bekväm att lyssna på.

I din mening, vad gör AI-dubbning fundamentalt annorlunda än traditionell text-till-tal—både tekniskt och konstnärligt?

Traditionell TTS fokuserar på att enbart läsa text, vanligtvis i en neutral ton. AI-dubbning, särskilt inom mediebranschen, är ett mycket mer komplext uppdrag, där målet inte bara är att förmedla mening utan att skapa en känsla av närvaro och äkta prestation. Känslor, intonationer och naturliga pauser spelar alla en avgörande roll, tillsammans med utmaningar som blandning, akustisk anpassning och synkronisering med läpprörelser och scenerytmer. Konstnärligt sett är AI-dubbning mycket närmare skådespeleri än att läsa; systemet måste utföra linjen, inte bara uttala den.

Vilka aspekter av VOX-DUB-utvärderingsramverket finner du mest värdefulla för att driva transparens och ansvar i AI-medielokalisering?

Det som gör VOX-DUB så värdefullt för transparens är att det tvingar alla att vara ärliga om vad de faktiskt kan leverera. Innan detta ramverk kunde företag göra anspråk på sin dubbningens kvalitet utan något sätt att verifiera dem. Den avgörande genombrottet är att VOX-DUB introducerar den första systematiska katalogen över AI-dubbningfel genom sin omfattande mänskliga benchmark. Denna öppna källkodsdatamängden skapar ett gemensamt språk för kvalitet – ursprungliga talfragment med översättningar, genererat ljud från flera system och mänskliga annoteringar över fem kritiska aspekter: uttal, naturlighet, ljudkvalitet, känslolikhet och röstlikhet. För första gången har vi en standard för mänsklig utvärdering av dubbning med tydliga riktlinjer och exempel. Nu när team pratar om kvalitet pratar alla faktiskt om samma sak. Publicerade resultat som alla kan se skapar verkligt ansvar. Team måste backa upp sina marknadsföringsanspråk med prestandadata över alla fem kvalitetsdimensioner. Den här sortens öppenhet förändrar hur hela branschen fungerar och bygger förtroende hos skapare som behöver tillförlitliga, mätbara resultat.

Hur ser du att benchmark som VOX-DUB påverkar takten i framstegen inom multilingualt innehållsskapande och distribution?

Det vackra med att ha tydliga benchmark är att det skapar en vägkarta för alla att följa. När team ser vad som är möjligt genom VOX-DUB-resultat, accelererar det deras egen utvecklingstid. Istället för att gissa vad kvalitet ser ut som, har de konkreta mål att sikta mot. Jag ser företag komprimera sina vägkartor eftersom de kan se bevis på vad som fungerar någon annanstans. Detta gemensamma förstånd hjälper hela fältet att flytta snabbare tillsammans, vilket innebär att mer varierat innehåll kan nå globala publiker snabbare.

Er plattform uppnådde starka resultat i uttal och naturlighet. Vilka underliggande innovationer eller modellval bidrog mest till detta?

Det handlar om att förstå att dubbning inte bara handlar om enskilda ord; det handlar om hela prestationsekosystemet. Två genombrott gjorde skillnaden. Först slutade vi att behandla uttal som enbart tekniskt och började behandla det som emotionellt. Människor talar inte i perfekt artikulerade stavelser; de slurar ord när de är ledsna, de rusar när de är upphetsade. Att fånga den naturliga ofullkomligheten var avgörande. För det andra var vi tvungna att tänka på hela ljudlandskapet. När någon talar i en scen med regn, eller i en ekande katedral, anpassar deras röst sig naturligt. Vårt system lärde sig att blanda sig med den ursprungliga akustiska miljön. Dessa var inte bara tekniska förbättringar. De handlade om att förstå vad som gör tal mänskligt.

Hur kombinerar er plattform mänsklig expertis med automatisering för att leverera professionell dubbning i stor skala?

Vi arbetar nära med traditionella dubbningstudior, och hjälper dem att utbilda sina team i nya färdigheter och framväxande yrken. AI hanterar översättning, synkronisering och röstgenerering, medan professionella granskare, översättare och ljudtekniker utför den slutliga kvalitetskontrollen via vår plattform. Detta tillvägagångssätt gör att vi kan upprätthålla studio-kvalitet medan vi minskar omsättningstider från veckor till timmar. Automatisering ger skalbarhet, och mänsklig expertis säkerställer konstnärlig uttrycksfullhet. Det är det bästa av båda världar: maskinell effektivitet med mänsklig konst.

Med den snabbt växande AI-medielokaliseringmarknaden, vilken bredare roll ser du AI spela i att omforma global kreativ produktion?

AI-lokalisering kommer att göra dubbning tillgänglig för en mycket bredare grupp skapare och berättare. Det kommer att ermöglica dem att dela sina berättelser med globala publiker utan att förlora emotionell djup eller kulturell autenticitet. Över tiden kommer detta att leda till en mycket större mångfald i innehåll, och öppna dörren för nischprojekt och specialiserade publiker som tidigare inte kunde bekosta professionell dubbning. Tänk på oberoende filmskapare, dokumentärskapare, utbildningsinnehållsskapare; de kan slutligen nå globala publiker som tidigare var utanför räckhåll.

Vilka kommande framsteg eller samarbeten är du mest entusiastisk över när du ser fram emot nästa utvecklingssteg?

Vad som entusiasmerar mig mest är att fortsätta förbättra vår emotionella överföringsförmåga. Vi har gjort goda framsteg, men det finns fortfarande så mycket rum för att bli bättre på att bevara de subtila nyanserna som gör prestationer känna sig äkta. När det gäller samarbeten bygger vi djupare partnerskap med traditionella dubbningstudior för att skapa hybridarbetsflöden som kombinerar det bästa av båda världar. Dessa studior har decennier av expertis som vi lär oss av, medan vi tillhandahåller tekniken för att skala deras konstnärlighet. De mest spännande samarbetena är med studior som ser AI inte som en ersättning, utan som ett sätt att

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Dubformer.

Antoine är en visionär ledare och medgrundare av Unite.AI, driven av en orubblig passion för att forma och främja framtiden för AI och robotik. Som serieentreprenör tror han att AI kommer att förändra samhället lika genomgripande som elektriciteten, och han talar ofta entusiastiskt om potentialen i banbrytande teknik och artificiell generell intelligens (AGI).

Som futurist ägnar han sig åt att utforska hur dessa innovationer kommer att forma vår värld. Han är även grundare av Securities.io, en plattform med fokus på investeringar i spetsteknik som omdefinierar framtiden och omformar hela branscher.