Haastattelut

Anton Dvorkovich, Dubformerin CEO ja perustaja – Haastattelusarja

Antoine Tardif
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatTekoälydubbaus epäonnistuu edelleen emotionaalisesti aidossa esittämisessä, vaikka puhe…
Näytä lisää
  • Tekoälydubbaus epäonnistuu edelleen emotionaalisesti aidossa esittämisessä, vaikka puhe kuulostaisi inhimilliseltä.
  • VOX-DUBin avoin vertailumittaristo pakottaa yritykset todistamaan dubbauksen laatuväitteensä mitattavalla näytöllä.
  • Tekoälypohjainen lokalisointi antaa itsenäisille tekijöille mahdollisuuden tavoittaa maailmanlaajuiset yleisöt, jotka aiemmin oli varattu suurille studioille.

Anton Dvorkovich, Dubformerin CEO ja perustaja, on viimeisen kymmenen vuoden ajan muokannut tekoäly-, kieli- ja puheentunnistusteknologioiden leikkauspistettä. Ennen Dubformerin perustamista vuonna 2023 hän johti suuria koneoppimis- ja NLP-aloitteita Yandexilla, johtien tuotteita kuten Yandex Translate, Yandex Keyboard ja ääniohjattu avustaja Alice, joista jokainen palveli miljoonia käyttäjiä. Nebiusissa hän toimi AI:n johtajana, edistäen suurten mittakaavojen älykkäiden järjestelmien infrastruktuuria. Hänen kokemuksensa cross-funktionaalisista tiimien johtamisesta yli 100 insinöörin, kehittäjän ja tutkijan kanssa tarjosi perustan Dubformerin visiolle – kielen erottamisen ylittäminen edistyneen ääninäyttelemisen kautta.

Dubformer on Amsterdamissa pääkonttoriaan pitävä tekoälyvoittoinen dubbausstart-up, joka on jo prosessoinut yli yhden miljoonan minuutin paikallistettua videomateriaalia. Yritys erikoistuu videojen kääntämiseen ja dubbaamiseen synthetisoituja ääniä käyttäen, jotka säilyttävät emotionaaliset sävyt, ajoitukset ja puhujan yksilöllisyyden, auttaen luojia, studioita ja yrityksiä tekemään sisällöstään maailmanlaajuisesti saatavilla. Sen alusta hyödyntää syvää oppimista puheentunnistuksessa, äänen kloonaamisessa ja käännöksessä, tarjoten luonnollisen kuuloisia tuloksia, jotka ylittävät perinteiset dubbaustyökalut.

Yandexin ja Nebiusin NLP- ja ääni- tiimien johdettuasi, mikä motivoi sinua rakentamaan omistettua tekoälydubbausyritystä, ja miten nämä kokemukset muokkasivat visiota?

Työskennellessäni Yandexilla NLP:n johtajana, kehittelin intohimoa murtamaan kielimuureja teknologian avulla. Pääsin todistamaan (ja osallistumaan) tekoälyvallankumoukseen, joka tapahtui konekäännökselle – ja sitten tajusin, että suuri aukko, joka on edelleen suurelta osin ratkaisematon, on median käännös (ääni- ja video). Kun näet tekstin käännöksen lähestyvän täydellisyyttä, aloitat kysymyksen: mitä tarinoista, jotka todella liikuttavat ihmisiä? Mitä suorituksista, jotka saavat sinut nauramaan tai itkemään? Päättelimme ottaa haasteen tekoälydubbausteknologian rakentamisesta ja menemään median käännöksestä, joka on vain ymmärrettävissä, siihen, joka on todella nautittava. Tästä syystä lanseerasimme Dubformerin.

Mikä tarkka aukko median lokalisaatiossa sinä tunnistit, ja miten taustasi neuroverkkokäännöksessä ja ääniteknologioissa vaikutti lähestymistapaasi ongelman ratkaisemiseen?

Median lokalisaatio tehdään tänään lähes kokonaan ääninäyttelijöiden avulla, ja siinä on useita haittoja: se on melko kallista, käännösaika on hidas, ja sen skaalaaminen on hyvin vaikeaa ja johtaa suuriin henkilöstöjohtamisen ylityksiin. Ajattele: perinteinen dubbaus on uskomattoman hyvää, mutta nämä rajoitukset tarkoittavat, että monia projekteja ei koskaan dubata. Tosiasia on, että 95 % sisällöstä on saatavilla vain alkuperäisellä kielellä. Tämä on aukko, jota olemme ratkaisemassa.

VOX-DUB-benchmark on tärkeä merkkipaalu dubbauslaadun arvioinnissa. Mitä näkemyksiä osallistuminen antoi siitä, missä vaiheessa alan on tällä hetkellä?

VOX-DUB-tulokset paljastivat jotain tärkeää: alan on jo ratkaissut ongelman tekoälyäänten kuulostamisesta “ihmismäisiltä” sisällössä, jossa emotionaalisella komponentilla ei ole merkittävää vaikutusta. Dubbaus sisällön, jossa emotionaaliset asiat todella merkitsevät, on kuitenkin edelleen ratkaisematon haaste, vaikka se saattaa vaikuttaa siltä, että kaikki on jo ratkaistu. Monet järjestelmät voivat tuottaa ymmärrettävää puhetta, mutta vain harvoja pystyy luomaan suorituksia, jotka tuntuvat aidoilta ja emotionaalisesti samansuuntaisilta alkuperäisen kanssa. Olemme hallitsevat tekstin lukemisen ääneen, mutta olemme edelleen oppimassa, miten todella esittää kohtauksia.

Olet puhunut äänen uskollisuuden ja puheen laadun välisestä tasapainosta. Mitä lähestymistapaa sinä käytät näiden tekijöiden tasapainottamiseen järjestelmissäsi?

Todellisuudessa tasapaino ei usein ole äänen uskollisuuden ja laadun välillä, vaan emotionaalisessa, intonaation ja ilmaisun siirtämisessä syvyyden ja tuloksen vakauden välillä. Mitä enemmän yrität siirtää, sitä suurempi on riski siirtää jotain väärin, erityisesti koska emotionaaliset äänet ja ilmaisut eroavat kielittäin. Se, mikä kuulostaa intohimoiselta yhdessä kielessä, saattaa kuulostaa epäluonnolliselta tai jopa ärsyttävältä toisessa kielessä. Pyrimme löytämään tasapainon emotionaalisessa tarkkuudessa ja luonnollisuudessa, varmistamalla, että tulokset säilyvät ilmaisullisina, mutta mukavia kuunnella.

Miten sinä näet tekoälydubbausen perustuvan perinteiseen teksti-puhe-järjestelmään – sekä teknisesti että taiteellisesti?

Perinteinen TTS keskittyy yksinkertaisesti tekstin lukemiseen, yleensä neutraalilla sävyllä. Tekoälydubbaus, erityisesti mediaindustrissä, on paljon monimutkaisempi tehtävä, jossa tavoitteena ei ole vain välittää merkitystä, vaan luoda läsnäolon ja aito suoritus. Emotionaaliset äänet, intonaatiot ja luonnolliset tauot kaikki ovat tärkeitä, yhdessä haasteiden kuten miksaamisen, akustisen sovittamisen ja synkronoinnin kanssa. Taiteellisesti tekoälydubbaus on lähempänä näyttelemistä kuin lukemista; järjestelmän on esitettävä repliikki, ei vain lausuttava se.

Mitä aspekteja VOX-DUB-arviointikehyksessä sinä pidät arvokkaimpina tekoälymedian lokalisaation avoimuuden ja vastuullisuuden edistämisessä?

Se, mikä tekee VOX-DUB:sta arvokkaan avoimuuden kannalta, on se, että se pakottaa kaikki olemaan rehellisiä siitä, mitä he voivat todella toimittaa. Ennen tätä kehyksen, yritykset voivat tehdä väitteitä dubbauslaadukseen ilman mitään tapaa vahvistaa niitä. Ratkaiseva läpimurto on, että VOX-DUB esittelee ensimmäisen systemaattisen luettelon tekoälydubbausvirheistä kattavan, ihmisten arvioiman benchmarkin kautta. Tämä avoin datasetti luo yhteisen kielen laadun määrittelyyn – alkuperäiset puhepätkät käännöksineen, useiden järjestelmien generoimine äänineen ja ihmisten annotaatiot viidessä kriittisessä asiakohdassa: ääntämisen, luonnollisuuden, äänenlaadun, emotionaalisuuden ja äänen samankaltaisuuden suhteen. Ensimmäistä kertaa meillä on standardi ihmisen arvioinnille dubbausta varten selkeiden ohjeiden ja esimerkkien kanssa. Nyt kun tiimit puhuvat laadusta, jokainen puhuu samasta asiasta. Julkiset tulokset, joita kuka tahansa voi nähdä, luovat todellisen vastuullisuuden. Tiimit on pakko perustella markkinointiväitteensä suoritusdatalla kaikkien viiden laatusuunnan osalta. Tämä avoimuus muuttaa koko alan toimintatapaa ja luo luottamusta luojien kanssa, jotka tarvitsevat luotettavia, mitattavissa olevia tuloksia.

Miten sinä näet benchmarkit kuten VOX-DUB:in vaikuttavan monikielisen sisällön luomisen ja jakamisen edistymiseen?

Kauniin asian benchmarkkien kanssa on, että ne luovat tielle kaikille seurattavaksi. Kun tiimit näkevät, mitä on saavutettavissa VOX-DUB-tuloksien kautta, se kiihdyttää heidän oman kehityksensä aikatauluja. Sen sijaan, että arvaisivat, miltä laatu näyttää, heillä on konkreettiset tavoitteet, joita pyrkivät saavuttamaan. Seuraan yrityksiä, jotka purkavat aikataulujaan, koska he voivat nähdä todisteita siitä, mitä toimii muualla. Tämä yhteinen ymmärrys auttaa koko alaa etenemään nopeammin yhdessä, mikä tarkoittaa, että monipuolisempaa sisältöä voidaan jakaa maailmanlaajuisesti yleisöille aiemmin.

Mikä alustan saavutuksiin ääntämisen ja luonnollisuuden suhteen vaikutti eniten?

Se johtuu siitä, että ymmärrämme, että dubbaus ei ole vain yksittäisten sanojen, vaan koko suoritusympäristön asia. Kaksi läpimurtoa teki eron. Ensinnäkin, lopetimme käsittelyä ääntämistä pelkästään teknisesti ja aloimme käsittelyä emotionaalisesti. Ihmiset eivät puhu täydellisesti artikuloituja tavuja; he lausuvat sanoja suruissaan, he kiirehtivät innostuksissaan. Emotionaalisessa epätäydellisyyden kaappaaminen oli ratkaisevaa. Toiseksi, meidän piti ajatella koko äänimaisemaa. Kun joku puhuu kohtauksessa, jossa on sade tai kaikuvat kirkot, hänen äänensä sopeutuu luonnollisesti. Järjestelmämme oppi sulautumaan alkuperäiseen akustiseen ympäristöön. Nämä eivät olleet vain teknisiä parannuksia; ne olivat ymmärrystä siitä, mitä tekee puheesta inhimillisen kuuloisen.

Miten alustasi yhdistää ihmisen asiantuntemuksen automaation kanssa ammattitason dubbausta varten?

Työskentelemme läheisesti perinteisten dubbausstudioitten kanssa, auttaen heitä kouluttamaan tiimejä uusiin taitoihin ja nouseviin ammattiin. Tekoäly käsittelee käännöstä, synkronointia ja äänen generointia, kun taas ammattimaiset arvostelijat, kääntäjät ja äänisuunnittelijat suorittavat lopullisen laadunvalvontatarkastuksen alustamme kautta. Tämä lähestymistapa mahdollistaa studiotason laadun ylläpitämisen samalla, kun se vähentää käännösaikoja viikoista tunteihin. Automaatio tarjoaa skaalautuvuuden, ja ihmisen asiantuntemus varmistaa taiteellisen ilmaisun. Se on molempien maailmojen paras: koneen tehokkuus ja ihmisen taiteellisuus.

Miten sinä näet tekoälyn roolin muuttuvan globaalin luovan tuotannon uudelleenmuokkaamisessa?

Tekoälylokalisaatio tekee dubbaamisen helpommaksi laajemmalle joukolle luojia ja kertomuksentekijöille. Se mahdollistaa heidän jakaa tarinoitaan maailmanlaajuisesti ilman emotionaalisen syvyyden tai kulttuurisen aitouden menettämistä. Ajan myötä tämä johtaa paljon suurempaan monimuotoisuuteen sisällössä, avaen oven niille, jotka eivät aiemmin voineet maksaa ammattimaista dubbausta, kuten riippumattomille elokuvantekijöille, dokumentaristeille, koulutusmateriaalin luojille; he voivat vihdoin tavoittaa maailmanlaajuiset yleisöt, jotka olivat aiemmin ulottumattomissa.

Mitä tulevia edistysaskelia tai yhteistyöjä sinä odotat eniten tulevan kehitysvaiheen aikana?

Mikä minua eniten innostaa, on jatkuva parantaminen emotionaalisessa siirtämisessä. Olemme tehneet hyvää edistystä, mutta on edelleen paljon tilaa parantaa hienoisia nyansseja, jotka tekevät suoritukset aidoiksi. Yhteistyössä olemme rakentamassa syvemmän yhteistyön perinteisten dubbausstudioitten kanssa luodaksemme hybridityökaluja, jotka yhdistävät molempien maailmojen parhaat puolet. Nämä studiot ovat vuosikymmenien ajan kehittäneet asiantuntemusta, josta olemme oppimassa, kun taas me tarjoamme teknologian skaalata heidän taiteellisuuttaan. Innostavimmat yhteistyöt ovat studioitten kanssa, jotka näkevät tekoälyn ei korvaavana, vaan keinona vahvistaa tiimejään ja ottaa monipuolisempia projekteja, joita he eivät aiemmin voineet käsittelyä. Todellinen läpimurto tulee, kun pystymme jatkuvasti toimittamaan suorituksia, joita yleisöt unohtavat olleen luotu tekoälyllä. Sinne olemme menossa.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Dubformerissa.

Antoine on visionäärinen johtaja ja Unite.AI:n perustajaosakas, jota ohjaa vankkumaton intohimo tekoälyn ja robotiikan tulevaisuuden muovaamiseen ja edistämiseen. Sarjayrittäjänä hän uskoo tekoälyn muuttavan yhteiskuntaa yhtä perusteellisesti kuin sähkö, ja hän puhuu usein innostuneesti mullistavien teknologioiden ja yleisen tekoälyn (AGI) mahdollisuuksista.

Futuristina hän on omistautunut selvittämään, miten nämä innovaatiot muovaavat maailmaamme. Hän on myös Securities.io:n perustaja. Alusta keskittyy sijoittamaan huipputeknologioihin, jotka määrittelevät tulevaisuutta uudelleen ja muuttavat kokonaisia toimialoja.