Rozhovory
Anton Dvorkovich, CEO a zakladatel Dubformeru – Interview Series

Klíčové bodyAI dabing stále selhává v emočně autentických výkonech, i když řeč zní lidsky.
Zobrazit více
- AI dabing stále selhává v emočně autentických výkonech, i když řeč zní lidsky.
- Otevřený benchmark VOX-DUB nutí společnosti dokazovat tvrzení o kvalitě dabingu měřitelnými důkazy.
- AI lokalizace umožní nezávislým tvůrcům oslovit globální publikum, které bylo dříve vyhrazeno velkým studiím.
Anton Dvorkovich, CEO a zakladatel Dubformeru, strávil více než deset let formováním průsečíku umělé inteligence, jazyka a technologií řeči. Předtím, než založil Dubformer v roce 2023, vedl významné iniciativy strojového učení a NLP v Yandexu, kde dohlížel na produkty jako Yandex Translate, Yandex Keyboard a hlasového asistenta Alice, které sloužily milionům uživatelů. V Nebius působil jako Head of AI, kde rozvíjel velké infrastruktury pro inteligentní systémy. Jeho zkušenosti s řízením multifunkčních týmů skládajících se z více než 100 inženýrů, vývojářů a výzkumníků poskytly základ pro vizi Dubformeru – překlenutí jazykových bariér pomocí pokročilého AI dabingu.
Dubformer je startup s AI poháněným dabingem se sídlem v Amsterdamu, který již zpracoval více než jeden milion minut lokalizovaného videoobsahu. Společnost se specializuje na překlad a dabing videí pomocí syntetických hlasů, které zachovávají emocionální tón, časování a individualitu mluvčího, a pomáhají tvůrcům, studiím a podnikům membuat jejich obsah globálně dostupným. Jeho platforma využívá hluboké učící modely pro rozpoznávání řeči, klonování hlasu a překlad, nabízející přirozeně znějící výsledky, které daleko překračují tradiční dabingové nástroje.
Po vedení NLP a speech týmů v Yandexu a působení jako Head of AI v Nebius, co vás motivovalo k založení specializované AI dabingové společnosti a jak tyto zkušenosti ovlivnily vaši vizi?
Práce v Yandexu jako Head of NLP mi vyvinula vášeň pro rozbití jazykových bariér pomocí technologií. Byl jsem svědkem (a účastnil se) AI revoluce, která nastala u strojového překladu – a poté jsem si uvědomil, že velká mezera, která zůstává stále nevyřešena, je překlad médií (audio a video). Když vidíte, že textový překlad se stává téměř dokonalým, začnete se ptát: co se týče příběhů, které skutečně ovlivňují lidi? Co se týče výkonů, které vás dělají smát nebo plakat? Rozhodli jsme se tedy přijmout výzvu budování AI dabingové technologie a jít za hranice médií, které jsou pouze srozumitelné, ale také příjemné. To je důvod, proč jsme spustili Dubformer.
Jakou konkrétní mezeru v lokalizaci médií jste identifikovali a jak vaše zkušenosti s neuronovým strojovým překladem a hlasovými technologiemi ovlivnily váš přístup k řešení této проблемы?
Dnešní lokalizace médií se provádí téměř výhradně pomocí hlasových herců, a to má několik nevýhod: je to poměrně drahé, doba dodání je pomalá a škálovatelnost je velmi obtížná a vede k velkým režijním nákladům na řízení lidí. Zvažte to: tradiční dabingový řemeslo je úžasné, ale tyto omezení znamenají, že mnoho projektů vůbec není dabováno. Tradiční dabing je tedy khá dobrý, ale existuje mnoho projektů, které nejsou dabovány kvůli výše uvedeným nevýhodám. Ve skutečnosti je 95 % obsahu dostupné pouze v původním jazyce. To je mezera, kterou řešíme.
VOX-DUB benchmark je důležitým milníkem pro hodnocení kvality dabingu. Jaké poznatky poskytla účast v tomto benchmarku o aktuálním stavu průmyslu?
VOX-DUB výsledky odhalily něco důležitého: průmysl již vyřešil problém, jak udělat AI hlasové překlady znějící jako “lidské” pro obsah, kde emocionální složka není kritická. Nicméně dabing obsahu, kde emoce skutečně záleží, zůstává nevyřešeným problémem, i když by se mohlo zdát, že vše je již vyřešeno. Mnoho systémů může produkovat srozumitelnou řeč, ale velmi málo z nich může vytvořit výkony, které se cítí autenticky a emocionálně sladěně s originálem. Zvládli jsme čtení textu nahlas, ale stále se učíme, jak skutečně hrát scény.
Mluvili jste o kompromisu mezi věrností hlasu a celkovou kvalitou řeči. Jak přistupujete k vyvážení těchto faktorů ve svých systémech?
Ve skutečnosti often není kompromis mezi věrností hlasu a kvalitou, ale mezi hloubkou emocionální, intonační a expresivní přenosu a stabilitou výsledku. Čím více se snažíte přenést, tím vyšší je riziko, že něco přeneseš nesprávně, zejména protože emoce zní a jsou vyjádřeny jinak v různých jazycích. Co zní vášnivě v jednom jazyce, může znít nepřirozeně nebo dokonce rušivě v jiném. Snažíme se najít rovnováhu mezi emocionální přesností a přirozeností, zajišťující, že výstup zůstává expresivní, ale zároveň pohodlný na poslech.
Jak se podle vás liší AI dabing fundamentalně od tradičního text-to-speech—jak technicky, tak umělecky?
Tradiční TTS se zaměřuje na prosté čtení textu, obvykle v neutrálním tónu. AI dabing, zejména v médiím, je mnohem komplexnější úkol, kde cílem není pouze přenést význam, ale vytvořit pocit přítomnosti a skutečného výkonu. Emoce, intonace a přirozené pauzy hrají všechny zásadní roli, spolu s výzvami, jako je mixování, akustická adaptace a synchronizace s pohybem rtů a scénou. Umělecky je AI dabing mnohem blíže herectví než čtení; systém musí hrát řádek, ne pouze vyslovovat.
Jaké aspekty rámce VOX-DUB považujete za nejvíce cenné pro zajištění transparentnosti a odpovědnosti v AI lokalizaci médií?
To, co dělá VOX-DUB tak cenným pro transparentnost, je to, že nutí všechny být upřímní o tom, co mohou skutečně dodat. Předtím, než byl zaveden tento rámec, mohly společnosti dělat nároky na kvalitu dabingu bez jakéhokoli způsobu, jak je ověřit. Zásadní průlom spočívá v tom, že VOX-DUB zavádí první systematický katalog chyb AI dabingu prostřednictvím svého komplexního lidského benchmarku. Tento open-source dataset vytváří sdílený jazyk pro kvalitu – původní řečové fragmenty s překlady, generovaným audiem z více systémů a lidskými anotacemi napříč pěti kritickými aspekty: výslovností, přirozeností, kvalitou zvuku, podobností emocí a podobností hlasu. Poprvé máme standard pro lidskou evaluaci dabingu s jasnými pokyny a příklady. Nyní, když týmy mluví o kvalitě, všichni skutečně mluví o stejné věci. Publikované výsledky, které může vidět kdokoli, vytvářejí skutečnou odpovědnost. Týmy musí podpořit svá marketingová tvrzení daty o výkonu napříč všemi пятьi rozměry kvality. Tento druh otevřenosti mění, jak celý průmysl funguje, a buduje důvěru s tvůrci, kteří potřebují spolehlivé, měřitelné výsledky.
Jak podle vás budou benchmarky, jako je VOX-DUB, ovlivňovat tempo pokroku v tvorbě a distribuci multijazyčného obsahu?
Krásná věc na jasném benchmarku je, že vytváří roadmapu pro všechny, aby ji mohli následovat. Když týmy vidí, co je dosažitelné prostřednictvím výsledků VOX-DUB, urychluje to jejich vlastní vývojové časové osy. Místo toho, aby se hádali, co kvalita vypadá, mají konkrétní cíle, na které se mohou zaměřit. Sleduji, jak společnosti komprimují své roadmapy, protože mohou vidět důkazy toho, co funguje jinde. Tento sdílený rozumění pomáhá celému poli pohybovat se rychleji společně, což znamená, že více diverzifikovaný obsah může dosáhnout globálních publika dříve.
Vaše platforma dosáhla silných výsledků v oblasti výslovnosti a přirozenosti. Jaké inovace nebo volby modelů nejvíce přispěly k tomu?
To se týká porozumění, že dabing není pouze o jednotlivých slovech; je to o celém ekosystému výkonu. Dvě průlomy udělaly rozdíl. Zaprvé, přestali jsme zacházet s výslovností jako s čistě technickou a začali ji zacházet jako s emocionální. Lidé nemluví v dokonale artikulovaných slabikách; šeptají slova, když jsou smutní, spěchají, když jsou nadšení. Zachycení této přirozené nedokonalosti bylo zásadní. Zadruhé, museli jsme myslet na celý zvukový obraz. Když někdo mluví ve scéně s deštěm nebo v ozvěně katedrály, jeho hlas se přirozeně přizpůsobuje. Náš systém se naučil mísit se s původním akustickým prostředím. Tyto nebyly pouze technickými vylepšeními. Byly to o porozumění, co dělá řeč cítit se lidsky.
Jak vaše platforma kombinuje lidskou odbornost s automatizací, aby dodala profesionální dabing ve velkém?
Pracujeme úzce s tradičními dabingovými studii, pomáháme jim trénovat jejich týmy v nových dovednostech a vznikajících profesích. AI zpracovává překlad, synchronizaci a generování hlasu, zatímco profesionální recenzenti, překladatelé a zvukoví inženýři provádějí konečnou kontrolu kvality prostřednictvím naší platformy. Tento přístup nám umožňuje udržet studiovou kvalitu, zatímco snižujeme dobu dodání z týdnů na hodiny. Automatizace poskytuje škálovatelnost a lidská odbornost zajišťuje uměleckou expresivitu. Je to nejlepší z obou světů: strojová efektivita s lidským uměním.
Jakou širší roli podle vás bude AI hrát v přetvoření globální kreativní produkce?
AI lokalizace bude dělat dabing dostupným mnohem širšímu okruhu tvůrců a vypravěčů. Umožní jim sdílet své příběhy s globálními publiky bez ztráty emocionální hloubky nebo kulturné autenticity. V průběhu času to povede k mnohem větší diverzitě obsahu, otevřené dveře pro nikový projekty a specializovaná publika, která dříve nemohla dovolit si profesionální dabing. Zvažte nezávislé filmaře, tvůrce dokumentů, tvůrce vzdělávacího obsahu; mohou konečně dosáhnout globálních publika, která byla dříve nedosažitelná.
Co vás nejvíce vzrušuje z nadcházejících pokroků nebo spoluprací, když se díváte na další fázi vývoje?
Co mě nejvíce vzrušuje, je pokračování v zlepšování našich schopností emocionálního přenosu. Učinili jsme dobrý pokrok, ale stále je tolik prostoru pro zlepšení v zachování jemných nuancí, které dělají výkony cítit se autenticky. Pokud jde o spolupráci, budujeme hlubší partnerství s tradičními dabingovými studii, abychom vytvořili hybridní pracovní postupy, které spojují nejlepší z obou světů. Tyto studie mají desetiletí zkušeností, z nichž se učíme, zatímco my poskytujeme technologii pro škálování jejich uměleckosti. Nejvíce vzrušující spolupráce jsou se studii, které vidí AI ne jako náhradu, ale jako způsob, jak o augment jejich týmy a take on more diverse projects they couldn’t handle before. The real breakthrough will be when we can consistently deliver performances that audiences forget were created by AI. That’s where we’re heading. Thank you for the great interview, readers who wish to learn more should visit Dubformer.












