Interviuri
Anton Dvorkovich, CEO și fondator la Dubformer – Seria de interviuri

Puncte cheieDublarea AI eșuează încă la interpretările autentice din punct de vedere emoțional…
Vezi mai mult
- Dublarea AI eșuează încă la interpretările autentice din punct de vedere emoțional, chiar și atunci când vocea sună umană.
- Benchmarkul deschis al VOX-DUB obligă companiile să își demonstreze afirmațiile privind calitatea dublării cu dovezi măsurabile.
- Localizarea AI le va permite creatorilor independenți să ajungă la publicuri globale odinioară rezervate marilor studiouri.
Anton Dvorkovich, CEO și fondator la Dubformer, a petrecut peste un deceniu modelând intersecția dintre IA, limbaj și tehnologii de vorbire. Înainte de a lansa Dubformer în 2023, el a condus inițiative majore de învățare automată și NLP la Yandex, supraveghind produse precum Yandex Translate, Yandex Keyboard și asistentul vocal Alice, fiecare servind milioane de utilizatori. La Nebius, el a ocupat funcția de șef al departamentului de IA, promovând infrastructura la scară largă pentru sisteme inteligente. Experiența sa în gestionarea echipelor cross-functionale de peste 100 de ingineri, dezvoltatori și cercetători a constituit baza viziunii Dubformer – pentru a elimina barierele lingvistice prin dublaj avansat cu IA.
Dubformer este o companie de dublaj cu IA, cu sediul central în Amsterdam, care a procesat deja peste un milion de minute de conținut video localizat. Compania se specializează în traducerea și dublarea videourilor utilizând voci sintetice care păstrează tonul emoțional, timpul și individualitatea vorbitorului, ajutând creatorii, studiourile și întreprinderile să-și facă conținutul accesibil la nivel global. Platforma sa utilizează modele de învățare profundă pentru recunoașterea vorbirii, clonarea vocii și traducere, oferind rezultate care sună natural și depășesc cu mult instrumentele tradiționale de dublaj.
După ce ați condus echipe de NLP și vorbire la Yandex și ați ocupat funcția de șef al departamentului de IA la Nebius, ce v-a motivat să construiți o companie dedicată de dublaj cu IA și cum au influențat aceste experiențe viziunea dvs.?
Lucrând la Yandex ca șef al departamentului de NLP, am dezvoltat o pasiune pentru a elimina barierele lingvistice cu ajutorul tehnologiei. Am avut ocazia să particip la revoluția IA care a avut loc în traducerea mașinilor – și apoi am realizat că o mare lacună care rămâne în mare măsură nesoluționată este traducerea media (audio și video). Când vezi traducerea textului devenind aproape perfectă, începi să te întrebi: ce despre poveștile care mișcă oamenii? Ce despre performanțele care te fac să râzi sau să plângi? Așa că am decis să ne luăm provocarea de a construi tehnologia de dublaj cu IA și să mergem dincolo de traducerea media care este doar inteligibilă, la cea care este de fapt plăcută. De aceea am lansat Dubformer.
Ce lacună specifică în localizarea media ați identificat și cum a influențat experiența dvs. în traducerea neuronală și tehnologiile de voce abordarea dvs. pentru a o soluționa?
Localizarea media de astăzi se face aproape în întregime cu actori de voce, și are mai multe dezavantaje: este destul de scumpă, timpul de întoarcere este lent, și scalarea este foarte grea și duce la cheltuieli mari în managementul oamenilor. Gândiți-vă: meșteșugul tradițional de dublaj este incredibil, dar aceste constrângeri înseamnă că multe proiecte nu sunt dublate deloc. De fapt, 95% din conținut este disponibil doar în limba originală. Aceasta este lacuna pe care o abordăm.
Benchmark-ul VOX-DUB este un moment important pentru evaluarea calității dublajului. Ce insight-uri a oferit participarea la acesta despre stadiul actual al industriei?
Rezultatele VOX-DUB au arătat ceva important: industria a rezolvat deja problema de a face ca vocile generate de IA să sune “umane” pentru conținutul în care componenta emoțională nu este critică. Cu toate acestea, dublarea conținutului în care emoțiile sunt cu adevărat importante rămâne o provocare nesoluționată, chiar dacă pare că totul este deja rezolvat. Multe sisteme pot produce discurs inteligibil, dar foarte puține pot crea performanțe care par autentice și aliniate emoțional cu originalul. Am stăpânit citirea textului cu voce tare, dar încă învățăm să interpretăm scenele.
Ați vorbit despre un compromis între fidelitatea vocii și calitatea generală a vorbirii. Cum abordați echilibrarea acestor factori în sistemele dvs.?
În realitate, compromisul nu este între fidelitatea vocii și calitate, ci între profunzimea transferului emoțional, intonațional și expresiv și stabilitatea rezultatului. Cu cât încercați să transferați mai mult, cu atât riscul de a transfera ceva incorect este mai mare, mai ales având în vedere că emoțiile sună și sunt exprimate diferit în diferite limbi. Ceea ce sună pasionat într-o limbă poate suna nenatural sau chiar deranjant în alta. Ne străduim să găsim un echilibru între acuratețea emoțională și naturalitate, asigurându-ne că ieșirea rămâne expresivă, dar confortabilă de ascultat.
În opinia dvs., ce face dublajul cu IA fundamental diferit de sinteza tradițională de text-vorbire – atât tehnic, cât și artistic?
Sinteza tradițională de text-vorbire se concentrează pe citirea simplă a textului, de obicei într-un ton neutru. Dublajul cu IA, în special în industria media, este o sarcină mult mai complexă, în care scopul nu este doar să transmită sensul, ci să creeze o senzație de prezență și o performanță autentică. Emoțiile, intonațiile și pauzele naturale joacă un rol crucial, alături de provocări precum mixarea, adaptarea acustică și sincronizarea cu mișcările buzelor și ritmul scenei. Din punct de vedere artistic, dublajul cu IA este mult mai aproape de actorie decât de citire; sistemul trebuie să interpreteze linia, nu doar să o pronunțe.
Ce aspecte ale cadrului de evaluare VOX-DUB găsiți cel mai valoros pentru a promova transparența și responsabilitatea în localizarea media cu IA?
Ceea ce face VOX-DUB atât de valoros pentru transparență este că forțează toată lumea să fie onestă despre ceea ce pot livra cu adevărat. Înainte de acest cadru, companiile puteau face afirmații despre calitatea dublajului fără nicio modalitate de a le verifica. Prin această abordare, VOX-DUB introduce primul catalog sistematic de erori de dublaj cu IA prin intermediul unui benchmark bazat pe evaluări umane. Această bază de date deschisă creează un limbaj comun pentru calitate – fragmente de vorbire originale cu traduceri, audio generate de multiple sisteme și annotări umane pe cinci aspecte critice: pronunție, naturalitate, calitate a sunetului, asemănare emoțională și asemănare a vocii. Pentru prima dată, avem un standard pentru evaluarea umană a dublajului cu ghiduri și exemple clare. Acum, când echipele vorbesc despre calitate, toată lumea vorbește despre același lucru. Rezultatele publicate pe care oricine le poate vedea creează o responsabilitate reală. Echipele trebuie să susțină afirmațiile lor de marketing cu date de performanță în toate cele cinci dimensiuni de calitate. Acest tip de deschidere schimbă modul în care funcționează întreaga industrie și construiește încredere cu creatorii care au nevoie de rezultate fiabile și măsurabile.
Cum credeți că benchmark-urile precum VOX-DUB vor influența ritmul progresului în crearea și distribuția conținutului multilingv?
Lucrul frumos despre existența unor benchmark-uri clare este că creează o hartă pentru toată lumea de a urma. Când echipele văd ce este realizabil prin rezultatele VOX-DUB, accelerează propriile lor linii de timp de dezvoltare. În loc să ghicească cum arată calitatea, au ținte concrete pentru care să vizeze. Văd cum companiile comprimă planurile lor de drum, deoarece pot vedea dovezi ale a ceea ce funcționează în altă parte. Această înțelegere comună ajută întregul domeniu să se miște mai repede împreună, ceea ce înseamnă că mai mult conținut divers poate ajunge la audiențe globale mai devreme.
Platforma dvs. a obținut rezultate puternice în ceea ce privește pronunția și naturalitatea. Care au fost inovațiile sau alegerile de model care au contribuit cel mai mult la acest lucru?
Acest lucru se datorează înțelegerii faptului că dublajul nu este doar despre cuvinte individuale; este despre întregul ecosistem de performanță. Două descoperiri au făcut diferența. În primul rând, am încetat să tratăm pronunția ca pe ceva pur tehnic și am început să o tratăm ca pe ceva emoțional. Oamenii nu vorbesc în silabe articulate perfect; ei slur cuvintele când sunt triști, se grăbesc când sunt entuziasmați. Capturarea acestei imperfecțiuni naturale a fost crucială. În al doilea rând, am trebuit să ne gândim la întregul peisaj sonor. Când cineva vorbește într-o scenă cu ploaie sau într-o catedrală cu ecou, vocea lor se adaptează în mod natural. Sistemul nostru a învățat să se amestece cu mediul acustic original. Acestea nu au fost doar îmbunătățiri tehnice; au fost despre înțelegerea a ceea ce face vorbirea să sune umană.
Cum combinați platforma dvs. expertiza umană cu automatizarea pentru a livra dublaj de calitate profesională la scară?
Lucrăm îndeaproape cu studiourile tradiționale de dublaj, ajutându-le să-și instruiască echipele în noi abilități și profesii emergente. IA gestionează traducerea, sincronizarea și generarea vocii, în timp ce reviewerii profesioniști, traducătorii și inginerii de sunet efectuează controlul final de calitate prin intermediul platformei noastre. Această abordare ne permite să menținem calitatea de studio, în timp ce reducem timpul de întoarcere de la săptămâni la ore. Automatizarea oferă scalabilitate, iar expertiza umană asigură expresivitate artistică. Este cel mai bun din ambele lumi: eficiența mașinii cu arta umană.
Cu piața de localizare media cu IA crescând rapid, ce rol mai larg vedeți IA jucând în remodelarea producției creative globale?
Localizarea media cu IA va face dublajul accesibil unui spectru mult mai larg de creatori și povestitori. Va permite acestora să-și împărtășească poveștile cu audiențe globale fără a pierde profunzimea emoțională sau autenticitatea culturală. În timp, acest lucru va duce la o diversitate mult mai mare a conținutului, deschizând ușa pentru proiecte de nișă și audiențe specializate care anterior nu puteau permite dublaj profesional. Gândiți-vă la producătorii de film independenți, creatorii de conținut educațional; ei pot ajunge în sfârșit la audiențe globale care anterior erau inaccesibile.
Ce avansări sau colaborări viitoare sunteți cel mai încântat să vedeți pe măsură ce vă uitați spre următoarea etapă de dezvoltare?
Ce mă încântă cel mai mult este continuarea îmbunătățirii capacităților noastre de transfer emoțional. Am făcut progrese bune, dar încă există atât de mult spațiu pentru a deveni mai buni la păstrarea nuanțelor subtile care fac performanțele să pară autentice. În ceea ce privește colaborările, construim parteneriate mai profunde cu studiourile tradiționale de dublaj pentru a crea fluxuri de lucru hibride care combină cele mai bune din ambele lumi. Aceste studiouri au zeci de ani de expertiză de la care învățăm, în timp ce noi oferim tehnologia pentru a scala arta lor. Cele mai interesante colaborări sunt cu studiourile care văd IA nu ca pe o înlocuire, ci ca pe o modalitate de a-și îmbunătăți echipele și de a aborda proiecte mai diverse pe care nu le-ar fi putut gestiona anterior. Adevărata descoperire va fi atunci când vom putea livra în mod constant performanțe pe care audiențele le uită că au fost create de IA. Acolo este unde ne îndreptăm.
Mulțumim pentru interviul excelent, cititorilor care doresc să afle mai multe despre Dubformer.












