Ofir Krakowski, CEO a spoluzakladatel Deepdub – Interview Series

Ofir Krakowski je spoluzakladatel a CEO Deepdub. S 30 lety zkušeností v oblasti počítačových věd a strojového učení sehrál klíčovou roli při založení a vedení inovačního oddělení izraelského letectva pro strojové učení po dobu 25 let.

Deepdub je společnost pro dabing poháněná umělou inteligencí, která využívá hluboké učení a klonování hlasu k poskytování vysoce kvalitních, škálovatelných lokalizací pro filmy, televizi a digitální obsah. Založena v roce 2019, umožňuje tvůrcům obsahu zachovat původní výkony, zatímco dialogy jsou bezproblémově překládány do několika jazyků. Integrací umělé inteligence a lidského lingvistického dohledu Deepdub zvyšuje globální dostupnost obsahu, snižuje čas a náklady na tradiční dabing. Společnost získala uznání v průmyslu pro svou inovaci, zajišťující významné partnerství, certifikace a financování pro rozšíření své technologie AI lokalizace v celém zábavním průmyslu.

Co vás inspirovalo k založení Deepdub v roce 2019? Byl tam nějaký zvláštní okamžik nebo výzva, která vedla k jeho vytvoření?

Tradiční dabing byl po dlouhou dobu průmyslovým standardem pro lokalizaci obsahu, ale je to nákladný, časově náročný a zdrojově náročný proces. Zatímco existovaly řešení AI generovaných hlasů, postrádaly emocionální hloubku potřebnou pro skutečné zachycení výkonu herce, což je činilo nevhodnými pro vysoké kvality a komplexní obsah.

Identifikovali jsme příležitost mostu této mezery vyvinutím řešení AI poháněné lokalizace, které zachovává emocionální autenticitu původního výkonu, zatímco dramaticky zlepšuje efektivitu. Vyvinuli jsme naší proprietární technologii eTTS™ (Emotion-Text-to-Speech), která zajišťuje, že AI generované hlasy nesou stejnou emocionální váhu, tón a nuance jako lidské herci.

Představujeme si svět, kde jazykové a kulturní bariéry nejsou již překážkami pro globální dostupnost obsahu. Při tvorbě naší platformy jsme uznali výzvu jazykových omezení v zábavním průmyslu, e-učení, FAST a dalších odvětvích a rozhodli se revolucionizovat lokalizaci obsahu.

Abychom zajistili, že řešení Deepdub poskytuje nejvyšší kvalitu lokalizace a dabingu pro komplexní obsah ve velkém měřítku, rozhodli jsme se přijmout hybridní přístup a začlenit lingvistické a hlasové odborníky do procesu, spolu s naší technologií eTTS™.

Náš vizí je demokratizovat produkci hlasu,使ující ji masivně škálovatelnou, univerzálně dostupnou, inkluzivní a kulturně relevantní.

Jaké byly některé z největších technických a obchodních výzev, kterým jste čelili při spuštění Deepdub, a jak jste je překonali?

Získání důvěry zábavního průmyslu bylo velkou překážkou při spuštění Deepdub. Hollywood spoléhal na tradiční dabing po desetiletí, a přechod na řešení poháněná umělou inteligencí vyžadoval prokázání naší schopnosti dodávat studiové kvality ve velmi skeptickém odvětví.

Abychom se vyrovnali s touto skepsí, jsme nejprve zvýšili autenticitu našich AI generovaných hlasů vytvořením plně licencovaného hlasového banku. Tento bank zahrnuje skutečné vzorky lidských hlasů, což výrazně zlepšuje přirozenost a expresivitu našeho výstupu, což je zásadní pro akceptaci v Hollywoodu.

Dále jsme vyvinuli proprietární technologie, jako je eTTS™, spolu s funkcemi jako Accent Control. Tyto technologie zajišťují, že AI generované hlasy nejen zachycují emocionální hloubku a nuance, ale také dodržují regionální autenticitu vyžadovanou pro vysoké kvality dabingu.

Také jsme vybudovali věnovaný interní postprodukční tým, který úzce spolupracuje s naší technologií. Tento tým jemně ladí AI výstupy, zajišťuje, že každý kus obsahu je lešten a splňuje vysoké standardy průmyslu.

Kromě toho jsme rozšířili náš přístup, aby zahrnoval globální síť lidských odborníků – hlasových herců, lingvistů a režisérů z celého světa. Tito profesionálové přinášejí neocenitelné kulturní poznatky a tvůrčí odbornost, zvyšují kulturní přesnost a emocionální rezonanci našeho dabovaného obsahu.

Náš lingvistický tým pracuje v tandemu s naší technologií a globálními odborníky, aby zajistil, že jazyk použitý je dokonalý pro kulturní kontext cílové audiences, dále zajišťuje autenticitu a soulad s místními normami.

Pomocí těchto strategií, kombinujících pokročilou technologii s robustním týmem globálních odborníků a interním postprodukčním týmem, Deepdub úspěšně prokázal Hollywoodu a dalším top-tiérovým produkčním společnostem po celém světě, že AI může výrazně zlepšit tradiční dabingové pracovní postupy. Tato integrace nejen streamuje produkci, ale také rozšiřuje možnosti pro expanzi trhu.

Jak se technologie AI dabingu Deepdub liší od tradičních metod dabingu?

Tradiční dabing je časově náročný proces, který může trvat měsíce na projekt, protože vyžaduje hlasové herce, zvukové inženýry a postprodukční týmy, aby ručně rekreovali dialog v různých jazycích. Naše řešení revolucionizuje tento proces nabídkou hybridního konec-konec řešení – kombinace technologie a lidského odbornictví – integrovaného přímo do postprodukčních pracovních postupů, snižující tak náklady na lokalizaci o až 70 % a dobu dodání o až 50 %.

Na rozdíl od jiných AI generovaných hlasových řešení naše proprietární technologie eTTS™ umožňuje emocionální hloubku, kulturní autenticitu a konzistenci hlasu, kterou tradiční metody obtížně dosahují ve velkém měřítku.

Můžete nás provést hybridním přístupem Deepdub – jak AI a lidské odbornictví spolupracují v dabingovém procesu?

Hybridní model Deepdub kombinuje přesnost a škálovatelnost AI s tvůrčí a kulturní citlivostí lidského odbornictví. Náš přístup kombinuje uměleckost tradičního dabingu s pokročilou AI technologií, zajišťuje, že lokalizovaný obsah zachovává emocionální autenticitu a dopad původního.

Naše řešení využívá AI k automatizaci základních aspektů lokalizace, zatímco lidské profesionálové jemně ladí emocionální nuance, akcenty a kulturní detaily. Začleníme naší proprietární technologii eTTs™ a naší Voice-to-Voice (V2V) technologii, aby zvýšily přirozenou expresivitu AI generovaných hlasů, zajišťují, že zachycují hloubku a realističnost lidských výkonů. Tímto způsobem zajišťujeme, že každý kus obsahu vypadá stejně autenticky a působivě ve své lokalizované formě jako v původní.

Lingvisté a hlasoví profesionálové hrají klíčovou roli v tomto procesu, protože zvyšují kulturní přesnost AI generovaného obsahu. Jak se globalizace pokračuje v tvarování budoucnosti zábavy, integrace AI s lidským uměním se stane zlatým standardem pro lokalizaci obsahu.

Kromě toho náš Voice Artist Royalty Program kompenzuje profesionálním hlasovým hercům, kdykoli jsou jejich hlasy použity v AI asistovaném dabingu, zajišťuje etické použití hlasové AI technologie.

Jak technologie eTTS™ (Emotion-Text-to-Speech) Deepdub zlepšuje autenticitu hlasu a emocionální hloubku v dabovaném obsahu?

Tradiční AI generované hlasy často postrádají jemné emocionální signály, které činí výkony přesvědčivými. Abychom se vyrovnali s touto nedostatečností, Deepdub vyvinul naší proprietární technologii eTTS™, využívající AI a hluboké učení modely k generování řeči, která nejen zachovává plnou emocionální hloubku původního výkonu herce, ale také integruje lidskou emocionální inteligenci do automatizovaného procesu. Tato pokročilá schopnost umožňuje AI jemně upravit syntetizované hlasy, aby odrážely zamýšlené emoce, jako je radost, hněv nebo smutek, rezonující autenticky s diváky. Kromě toho eTTS™ vyniká ve výrobě high-fidelity hlasové replikace, napodobující přirozené nuance v lidské řeči, jako je tón, tempo a rytmus, nezbytné pro dodání řádků, které jsou skutečné a zapojené. Technologie také zvyšuje kulturní citlivost, aby přizpůsobila výstupy, aby ovládala akcenty, a zajistila, aby dabovaný obsah respektoval a odpovídal kulturním nuancím, tím zvýšila jeho globální odvolání a účinnost.

Jedna z běžných kritik AI generovaných hlasů je, že mohou znít roboticky. Jak Deepdub zajišťuje, že AI generované hlasy zachovávají přirozenost a emocionální nuance?

Naše proprietární technologie využívá hluboké učení a strojové učení algoritmy, aby dodala škálovatelná, vysoce kvalitní dabingová řešení, která zachovávají původní záměr, styl, humor a kulturní nuance.

Spolu s naší technologií eTTS™, inovativní sada Deepdub zahrnuje funkce, jako je Voice-to-Voice (V2V), Voice Cloning, Accent Control a naše Vocal Emotion Bank, které umožňují produkčním týmům jemně ladit výkony, aby odpovídaly jejich tvůrčí vizi. Tyto funkce zajišťují, že každý hlas nese emocionální hloubku a nuance nezbytnou pro přesvědčivé vyprávění a působivé uživatelské zkušenosti.

V posledních letech jsme viděli rostoucí úspěch našich řešení v médiích a zábavním průmyslu, takže jsme se rozhodli otevřít přístup k našim Hollywood-vetted hlasovým verzím pro vývojáře, podniky a tvůrce obsahu s naší AI Audio API. Poháněná naší technologií eTTS™, API umožňuje generovat hlas v reálném čase s pokročilými parametry přizpůsobení, včetně akcentu, emocionálního tónu, tempa a hlasového stylu.

Vlajková funkce naší API jsou audio předvolby, navržené na základě let zkušeností s nejpoptávanějšími požadavky na hlasové verze. Tyto předem nakonfigurované nastavení umožňují uživatelům rychle přizpůsobit různé typy obsahu bez nutnosti rozsáhlé manuální konfigurace nebo prozkoumání. K dispozici jsou předvolby pro audio popisy a audioknihy, dokumentární nebo realitní vyprávění, drama a zábavu, zpravodajství, sportovní komentáře, anime nebo kreslené hlasové verze, interaktivní hlasové odpovědi (IVR), jakož i propagační a komerční obsah.

AI dabing zahrnuje kulturní a lingvistické adaptace – jak Deepdub zajišťuje, že jeho dabingová řešení jsou kulturně vhodné a přesná?

Lokalizace není jen o překladu slov – je to o překladu významu, záměru a kulturního kontextu. Hybridní přístup Deepdub kombinuje AI poháněnou automatizaci s lidským lingvistickým odbornictvím, zajišťuje, že přeložený dialog odráží kulturní a emocionální nuance cílové audience. Naše síť lokalizačních odborníků pracuje spolu s AI, aby zajistila, že dabovaný obsah odpovídá regionálním dialektům, výrazům a kulturním citlivostem.

Co jsou některé z nejzajímavějších inovací, na kterých目前 pracujete, aby AI dabing posunul na další úroveň?

Jedna z našich největších inovací je Live/Streaming Dabing, který umožní dabing v reálném čase pro živé vysílání, jako jsou sportovní události a zpravodajství, dělající globální události okamžitě dostupné. Kombinací této s další naší inovací, naší funkcí eTTs™, proprietární technologií, která umožňuje vytvářet lidsky znějící hlasy z textu ve velkém měřítku a s plnou emocionální podporou a komerčními právy, budeme moci nabízet vysoké kvality, autentické a emotivní dabing v reálném čase, jako nic jiného na trhu.

Vezměte si například otevření olympijských her nebo jakoukoli živou sportovní událost. Zatímco místní vysílače obvykle poskytují komentář v regionálním jazyce a dialektu, tato technologie umožní divákům z celého světa prožít celou událost v jejich rodném jazyce, jak se to děje.

Live dabing předefinuje, jak jsou živé události prožívány po celém světě, zajišťuje, že jazyk nikdy nebude překážkou.

AI generovaný dabing čelil kritice v určitých projektech nedávno. Co si myslíte, že jsou klíčové faktory, které pohání tyto kritiky?

Hlavní kritiky pocházejí z obav o autenticitu, etiku a kvalitu. Některé AI generované hlasy postrádaly emocionální rezonanci a nuance potřebné pro imerzivní vyprávění. V Deepdub jsme se touto výzvou vyrovnali vyvinutím emocionálně expresivních AI hlasů, zajišťují, že zachovávají duši původního výkonu. Deepdub dosáhl více než 70% výjimečné spokojenosti diváků napříč všemi dimenzemi, včetně skvělého obsazení, jasných dialogů, bezproblémové synchronizace a perfektního tempa.

Další problém je etické použití AI hlasů. Deepdub je lídrem v odpovědném AI dabingu, průkopníkem v průmyslu prvního Royalty Programu, který kompenzuje hlasovým hercům za AI generované výkony. Věříme, že AI by mělo zlepšit lidskou kreativitu, ne ji nahradit, a toto odhodlání se odráží ve všem, co stavíme.

Jak vidíte AI dabing měnící globální zábavní průmysl v příštích 5-10 letech?

V příštím desetiletí bude AI poháněný dabing demokratizovat obsah jako nikdy předtím, dělající filmy, televizní pořady a živé vysílání dostupné každé audience, všude, v jejich rodném jazyce okamžitě.

Představujeme si svět, kde streamovací platformy a vysílače integrují dabing v reálném čase, odstraňují jazykové bariéry a umožňují příběhům cestovat dále a rychleji, než tradiční metody lokalizace dovolují.

Mimo jazykovou dostupnost může AI dabing také zlepšit přístup k médiím pro nevidomé a zrakově postižené. Mnozí se spoléhají na audio popisy, aby mohli sledovat vizuální obsah, a AI dabing jim umožňuje zapojit se do cizojazyčného obsahu, když nejsou dostupné titulky.

Jaké jsou některé z největších výzev, které ještě potřebují být vyřešeny, aby se AI dabing stal skutečně hlavním proudem?

Největšími výzvami jsou udržování ultra-vysoké kvality ve velkém měřítku, zajišťování kulturní a lingvistické přesnosti a stanovení etických pravidel pro AI generované hlasy. Avšak za technickými překážkami závisí veřejná akceptace AI dabingu na důvěře. Diváci potřebují cítit, že AI generované hlasy zachovávají autenticitu a emocionální hloubku výkonů, spíše než zní synteticky nebo odtrženě.

Aby AI dabing byl plně přijat, musí být vysoce kvalitní kombinací lidského uměleckého a technologického odbornictví ve velkém měřítku a také musí prokázat respekt k tvůrčí integritě, lingvistické nuanci a kulturnímu kontextu. To znamená zajišťovat, že hlasy zůstávají věrné původnímu záměru herců, vyhýbají se nesprávnostem, které by mohly odradit diváky, a řeší etické obavy kolem rizik deepfake a vlastnictví hlasu.

Jak se AI dabing stává více rozšířeným, technologičtí poskytovatelé musí implementovat přísné standardy pro autenticitu hlasu, bezpečnost a ochranu duševního vlastnictví. Deepdub aktivně vede v těchto oblastech, zajišťuje, že technologie AI hlasu zlepšuje globální vyprávění, zatímco respektuje umělecké a profesionální příspěvky lidského talentu. Teprve tehdy budou diváci, tvůrci obsahu a průmysloví stakeholdeři plně přijmout AI dabing jako důvěryhodný a cenný nástroj.

Děkuji za skvělý rozhovor, čtenáři, kteří si chtějí dozvědět více, by měli navštívit Deepdub.