Wywiady

Anton Dvorkovich, CEO i założyciel Dubformer – seria wywiadów

Antoine Tardif
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyDubbing AI wciąż nie osiąga emocjonalnie autentycznych kreacji aktorskich, nawet gdy…
Zobacz więcej
  • Dubbing AI wciąż nie osiąga emocjonalnie autentycznych kreacji aktorskich, nawet gdy mowa brzmi po ludzku.
  • Otwarty benchmark VOX-DUB zmusza firmy do udowodnienia twierdzeń o jakości dubbingu za pomocą wymiernych dowodów.
  • Lokalizacja AI pozwoli niezależnym twórcom dotrzeć do globalnej publiczności, która niegdyś była zarezerwowana dla dużych studiów.

Anton Dvorkovich, CEO i założyciel Dubformer, spędził ponad dekadę na kształtowaniu przecięcia się sztucznej inteligencji, języka i technologii mowy. Przed założeniem Dubformer w 2023 roku kierował głównymi inicjatywami związanymi z uczeniem maszynowym i przetwarzaniem języka naturalnego w Yandex, nadzorując produkty takie jak Yandex Translate, Yandex Keyboard i asystent głosowy Alice, z których każdy służył milionom użytkowników. W Nebius pełnił funkcję dyrektora ds. sztucznej inteligencji, rozwijając dużą infrastrukturę dla inteligentnych systemów. Jego doświadczenie w zarządzaniu zespołami składającymi się z ponad 100 inżynierów, deweloperów i badaczy zapewniło podstawę dla wizji Dubformer – przełamywania barier językowych za pomocą zaawansowanego dubbingu opartego na sztucznej inteligencji.

Dubformer to startup z siedzibą w Amsterdamie, który wykorzystuje sztuczną inteligencję do dubbingu i już przetworzył ponad milion minut zlokalizowanego contenu filmowego. Firma specjalizuje się w tłumaczeniu i dubbingu filmów za pomocą syntetycznych głosów, które zachowują emocjonalny ton, czas i indywidualność mówcy, pomagając twórcom, studiom i przedsiębiorstwom w udostępnianiu swoich treści na całym świecie. Jej platforma wykorzystuje modele głębokiego uczenia do rozpoznawania mowy, klonowania głosu i tłumaczenia, oferując naturalnie brzmiące wyniki, które znacznie przewyższają tradycyjne narzędzia do dubbingu.

Po kierowaniu zespołami NLP i mowy w Yandex i pełnieniu funkcji dyrektora ds. sztucznej inteligencji w Nebius, co skłoniło Cię do założenia dedykowanej firmy zajmującej się dubbingiem opartym na sztucznej inteligencji, i jak doświadczenia te ukształtowały Twoją wizję?

Pracując w Yandex jako kierownik zespołu NLP, rozwinąłem pasję do łamania barier językowych za pomocą technologii. Byłem świadkiem (i uczestnikiem) rewolucji sztucznej inteligencji, jaka zaszła w tłumaczeniu maszynowym – a potem zrozumiałem, że duża luka, która wciąż pozostaje nierozwiązana, to tłumaczenie mediów (audio i wideo). Kiedy widzisz, że tłumaczenie tekstu staje się niemal idealne, zaczynasz się pytać: co z historiami, które naprawdę poruszają ludzi? Co z występami, które sprawiają, że się śmiejesz lub płaczesz? Postanowiliśmy więc podjąć wyzwanie budowy technologii dubbingu opartego na sztucznej inteligencji i pójść dalej niż tłumaczenie mediów, które jest tylko zrozumiałe, ale takie, które jest naprawdę przyjemne. Dlatego uruchomiliśmy Dubformer.

Jaki konkretny brak w lokalizacji mediów zidentyfikowałeś, i jak Twoje doświadczenie w tłumaczeniu neuronowym i technologiach głosowych wpłynęło na podejście do rozwiązania tego problemu?

Lokalizacja mediów jest dziś robiona prawie wyłącznie z użyciem aktorów głosowych, co ma kilka wad: jest dość drogie, czasy realizacji są wolne, a skalowanie jest bardzo trudne i prowadzi do dużych nakładów na zarządzanie personelem. Pomyśl o tym: tradycyjne rzemiosło dubbingowe jest niesamowite, ale te ograniczenia oznaczają, że wiele projektów w ogóle nie jest dubbingowane. W rzeczywistości 95% treści jest dostępnych tylko w oryginalnym języku. To jest luka, którą rozwiązujemy.

VOX-DUB to ważny kamień milowy w ocenie jakości dubbingu. Jakie spostrzeżenia dało udział w tym benchmarku na temat stanu branży?

Wyniki VOX-DUB ujawniły coś ważnego: branża już rozwiązała problem sprawienia, by głosy wygenerowane przez sztuczną inteligencję brzmiały „ludzko” w treściach, w których składnik emocjonalny nie jest krytyczny. Jednak dubbing treści, w których emocje naprawdę mają znaczenie, pozostaje nierozwiązanym wyzwaniem, chociaż mogłoby się wydawać, że wszystko już jest rozwiązane. Wiele systemów może generować zrozumiałą mowę, ale tylko nieliczne mogą tworzyć występy, które wydają się autentyczne i emocjonalnie zgodne z oryginałem. Opanowaliśmy czytanie tekstu na głos, ale nadal uczymy się, jak naprawdę wykonywać sceny.

Mówiłeś o kompromisie między wiernymi głosami a ogólną jakością mowy. Jak podejście do balansowania tych czynników w Twoich systemach?

W rzeczywistości kompromis często nie jest między wiernością głosu a jakością, ale między głębią transferu emocjonalnego, intonacyjnego i ekspresyjnego a stabilnością wyniku. Im więcej próbujesz przenieść, tym wyższe ryzyko przeniesienia czegoś niepoprawnie, zwłaszcza od kiedy emocje brzmią i są wyrażane inaczej w różnych językach. To, co brzmi pasjonująco w jednym języku, może brzmieć nienaturalnie lub nawet szokująco w innym. Staramy się znaleźć balans między dokładnością emocjonalną a naturalnością, zapewniając, że wynik pozostaje ekspresyjny, a jednocześnie przyjemny do słuchania.

Twoim zdaniem, co sprawia, że dubbing oparty na sztucznej inteligencji jest fundamentalnie inny od tradycyjnego tekstu do mowy — zarówno technicznie, jak i artystycznie?

Tradycyjne TTS koncentruje się na prostym czytaniu tekstu, zwykle w neutralnym tonie. Dubbing oparty na sztucznej inteligencji, zwłaszcza w branży mediowej, jest o wiele bardziej złożonym zadaniem, w którym celem nie jest tylko przekazanie znaczenia, ale stworzenie poczucia obecności i autentycznego występu. Emocje, intonacje i naturalne pauzy odgrywają wszystkie kluczową rolę, wraz z wyzwaniami, takimi jak miksowanie, adaptacja akustyczna i synchronizacja z ruchami ust i rytmem sceny. Artystycznie, dubbing oparty na sztucznej inteligencji jest znacznie bliższy aktorstwu niż czytaniu; system musi wykonać linię, a nie tylko ją wymówić.

Jakie aspekty ramy oceny VOX-DUB uważasz za najcenniejsze w napędzaniu przejrzystości i odpowiedzialności w lokalizacji mediów opartej na sztucznej inteligencji?

To, co sprawia, że VOX-DUB jest tak cenne dla przejrzystości, to fakt, że zmusza wszystkich do bycia szczerym w sprawie tego, co naprawdę mogą dostarczyć. Przed tą ramą firmy mogły robić twierdzenia o jakości dubbingu bez żadnego sposobu na weryfikację. Kluczowy przełom polega na tym, że VOX-DUB wprowadza pierwszy systematyczny katalog błędów dubbingu opartego na sztucznej inteligencji za pomocą swojego kompleksowego, opartego na ludziach benchmarku. Ten otwarty zestaw danych tworzy wspólny język jakości – oryginalne fragmenty mowy z tłumaczeniami, generowanymi dźwiękami z wielu systemów i adnotacjami ludzkimi w pięciu krytycznych aspektach: wymowie, naturalności, jakości dźwięku, podobieństwie emocjonalnym i podobieństwie głosu. Po raz pierwszy mamy standard dla oceny ludzkiej dubbingu z wyraźnymi wytycznymi i przykładami. Teraz, gdy zespoły mówią o jakości, wszyscy mówią o tym samym. Opublikowane wyniki, które każdy może zobaczyć, tworzą prawdziwą odpowiedzialność. Zespoły muszą poprzeć swoje twierdzenia marketingowe danymi wydajności w wszystkich pięciu wymiarach jakości. Ten rodzaj otwartości zmienia, jak cała branża działa i buduje zaufanie u twórców, którzy potrzebują niezawodnych, mierzalnych wyników.

Jak uważasz, że benchmarki takie jak VOX-DUB wpłyną na tempo postępu w tworzeniu i dystrybucji treści wielojęzycznych?

Piękna rzecz w posiadaniu jasnych benchmarków jest to, że tworzą one mapę drogową dla wszystkich do naśladowania. Kiedy zespoły widzą, co jest osiągalne dzięki wynikom VOX-DUB, przyspieszają one swoje własne terminy rozwoju. Zamiast zgadywać, co wygląda jakość, mają konkretny cel do osiągnięcia. Obserwuję, jak firmy kompresują swoje terminy, ponieważ mogą zobaczyć dowody tego, co działa gdzie indziej. To wspólne zrozumienie pomaga całemu polu poruszać się szybciej razem, co oznacza, że więcej różnorodnych treści może dotrzeć do globalnych publiczności wcześniej.

Wasza platforma osiągnęła silne wyniki w wymowie i naturalności. Jakie podstawowe innowacje lub wybory modeli przyczyniły się najbardziej do tego?

To wszystko sprowadza się do zrozumienia, że dubbing nie jest tylko kwestią poszczególnych słów; jest to cały ekosystem występu. Dwa przełomowe momenty zrobiły różnicę. Po pierwsze, przestaliśmy traktować wymowę jako czysto techniczną i zaczęliśmy traktować ją jako emocjonalną. Ludzie nie mówią w idealnie sformułowanych sylabach; zacierają słowa, gdy są smutni, spieszą, gdy są podekscytowani. Uchwycenie tej naturalnej nieperfekcji było kluczowe. Po drugie, musieliśmy pomyśleć o całym pejzażu dźwiękowym. Kiedy ktoś mówi w scenie z deszczem lub w głośnej katedrze, jego głos naturalnie się dostosowuje. Nasz system nauczył się łączyć się z oryginalnym środowiskiem akustycznym. Nie były to tylko ulepszenia techniczne. Były one o zrozumieniu, co sprawia, że mowa brzmi ludzko.

Jak Wasza platforma łączy ekspertyzę ludzką z automatyzacją, aby dostarczyć profesjonalny dubbing na dużą skalę?

Współpracujemy ściśle z tradycyjnymi studiami dubbingowymi, pomagając im szkolić swoje zespoły w nowych umiejętnościach i powstających zawodach. Sztuczna inteligencja zajmuje się tłumaczeniem, synchronizacją i generowaniem głosu, podczas gdy profesjonalni recenzenci, tłumacze i inżynierowie dźwięku wykonują ostateczną kontrolę jakości za pomocą naszej platformy. To podejście pozwala nam utrzymać jakość na poziomie studia, jednocześnie redukując czasy realizacji z tygodni do godzin. Automatyzacja zapewnia skalowalność, a ekspertyza ludzka gwarantuje artystyczny wyraz. To najlepsze z obu światów: wydajność maszynowa z ludzką sztuka.

Wraz ze szybkim wzrostem rynku lokalizacji mediów opartej na sztucznej inteligencji, jaka szerszą rolę widzisz dla sztucznej inteligencji w kształtowaniu globalnej produkcji kreatywnej?

Lokalizacja oparta na sztucznej inteligencji sprawi, że dubbing będzie dostępny dla o wiele szerszego grona twórców i storytellerów. Umożliwi im udostępnianie swoich historii globalnym publicznościom bez utraty głębi emocjonalnej lub autentyczności kulturowej. Z czasem doprowadzi to do znacznie większej różnorodności treści, otwierając drzwi dla niszowych projektów i specjalistycznych publiczności, które wcześniej nie mogły sobie pozwolić na profesjonalny dubbing. Pomyśl o niezależnych filmowcach, twórcach dokumentalnych, twórcach treści edukacyjnych; mogą wreszcie dotrzeć do globalnych publiczności, do których wcześniej nie mieli dostępu.

Co z najbliższych postępów lub współpracy jesteś najbardziej podekscytowany, gdy patrzysz na następny etap rozwoju?

To, co mnie najbardziej ekscytuje, to kontynuacja poprawy naszych możliwości transferu emocjonalnego. Zrobiliśmy duże postępy, ale wciąż jest tak wiele miejsca na poprawę w zachowaniu delikatnych niuansów, które sprawiają, że występy wydają się autentyczne. Jeśli chodzi o współpracę, budujemy głębsze partnerstwa z tradycyjnymi studiami dubbingowymi, aby stworzyć hybrydowe przepływy pracy, które łączą najlepsze z obu światów. Te studia mają dziesięciolecia doświadczenia, z których się uczymy, podczas gdy my dostarczamy technologię do skalowania ich sztuki. Najbardziej ekscytujące współprace są z studiami, które widzą sztuczną inteligencję nie jako zastąpienie, ale jako sposób na wzmocnienie swoich zespołów i podjęcie się bardziej różnorodnych projektów, których wcześniej nie mogły obsłużyć. Prawdziwy przełom nastąpi, gdy będziemy w stanie konsekwentnie dostarczać występy, które publiczność zapomni, że zostały stworzone przez sztuczną inteligencję. To jest nasz kierunek.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Dubformer.

Antoine jest wizjonerskim liderem i partnerem założycielem Unite.AI. Kieruje nim niezachwiana pasja do kształtowania i rozwijania przyszłości sztucznej inteligencji i robotyki. Jako przedsiębiorca, który założył wiele firm, wierzy, że AI zmieni społeczeństwo równie głęboko jak elektryczność, i często z entuzjazmem mówi o potencjale przełomowych technologii oraz ogólnej sztucznej inteligencji (AGI).

Jako futurolog poświęca się badaniu tego, jak te innowacje ukształtują nasz świat. Jest także założycielem Securities.io, platformy skupionej na inwestowaniu w najnowocześniejsze technologie, które na nowo definiują przyszłość i przekształcają całe branże.