Ofir Krakowski, Deepdubin toimitusjohtaja ja perustaja – Haastattelusarja

Ofir Krakowski on Deepdubin perustaja ja toimitusjohtaja. 30 vuoden tietotekniikka- ja koneoppimiskokemuksella hänellä on ollut avainrooli perustamassa ja johtamassa Israelin ilmavoimien koneoppimis- ja innovaatiodepartementtia 25 vuoden ajan.

Deepdub on tekoälykäyttöinen dubbausyhtiö, joka hyödyntää syvää oppimista ja äänenkloonauksen teknologiaa tarjotakseen laadukkaita, skaalattavia lokalisaatiopalveluita elokuville, TV-ohjelmille ja digitaalisille sisällöille. Perustettu vuonna 2019, se mahdollistaa sisällöntuottajille säilyttää alkuperäiset suoritukset samalla, kun vuoropuhelu käännetään vaivattomasti useille kielille. Yhdistämällä tekoälypohjaisen puheensynteesin ihmisten kielelliseen valvontaan, Deepdub parantaa globaalia sisällön saatavuutta, vähentää perinteisen dubbausprosessin aikaa ja kustannuksia. Yhtiö on saavuttanut alan tunnustuksen innovaatiostaan, ja se on saanut merkittäviä kumppanuuksia, sertifikaatteja ja rahoitusta laajentaakseen tekoälylocalisaatioteknologiaansa viihdealaan.

Mikä innoitti sinua perustamaan Deepdubin vuonna 2019? Oliko jokin tietty hetki tai haaste, joka johti sen perustamiseen?

Perinteinen dubbaus on ollut alan standardi sisällön lokalisoimiseen, mutta se on kallis, aikaa vievä ja resursseja vaativa prosessi. Vaikka tekoälygeneroituja ääniä oli olemassa, ne puuttuivat emotionaalisesta syvyydestä, joka on tarpeen korkealaatuisten, monimutkaisten sisältöjen luomiseen. Tunnistimme mahdollisuuden täyttää tämä aukko kehittämällä tekoälypohjaisen lokalisaatioteknologian, joka säilyttää alkuperäisen suorituksen emotionaaliset autenttisuuden samalla, kun se parantaa tehokkuutta merkittävästi. Kehittelimme oman eTTS ™ (Emotion-Text-to-Speech) -teknologiamme, joka varmistaa, että tekoälygeneroidut äänet kantavat saman emotionaalisen syvyyden, sävyn ja nuansen kuin ihmisten äänet.

Mitkä olivat suurimmat tekniset ja liiketoimintahaasteet, joita kohtasitte Deepdubin perustamisen yhteydessä, ja miten niitä voitettiin?

Alan luottamuksen voittaminen oli suuri este, kun Deepdub perustettiin. Hollywood on riippuvainen perinteisestä dubbausprosessista, ja siirtymisessä tekoälypohjaisiin ratkaisuihin vaadittiin osoittaa kyky toimittaa studiotason tuloksia alan, joka on usein epäilevä tekoälyä kohtaan.

Jotta voitaisiin osoittaa kyky toimittaa studiotason tuloksia, kehitimme täysin lisensoitua äänipankkia, joka sisältää oikeiden ihmisten ääninäytteitä. Tämä parantaa merkittävästi tekoälygeneroiden äänien luonnollisuutta ja ilmaisukykyä, mikä on tärkeää Hollywoodin hyväksymiseksi.

Miten Deepdubin tekoälypohjainen dubbausteknologia eroaa perinteisistä dubbausmenetelmistä?

Perinteinen dubbaus on työvoimaa vievä prosessi, joka voi kestää kuukausia hankkeittain, koska se vaatii ääninäyttelijöitä, äänisuunnittelijoita ja post-tuotantotiimejä luomaan vuoropuhelun manuaalisesti eri kielille. Ratkaisumme vallankumouksellistaa tämän prosessin tarjoamalla hybridiratkaisun, jossa yhdistyvät teknologia ja ihmisten asiantuntemus, integroiden se suoraan post-tuotantoprosessiin, mikä vähentää lokalisaatiokustannuksia jopa 70 % ja prosessiaikoja jopa 50 %.

Voitko kertoa, miten Deepdubin hybridiratkaisu toimii – miten tekoäly ja ihmisten asiantuntemus yhdistyvät dubbausprosessissa?

Deepdubin hybridimalli yhdistää tekoälyn tarkkuuden ja skaalattavuuden ihmisten luovuuden ja kulttuurisen herkkyyden kanssa. Ratkaisumme yhdistää perinteisen dubbausprosessin taiteellisuuden edistyneeseen tekoälytekniikkaan, varmistaen, että lokalisoitu sisältö säilyttää alkuperäisen emotionaalisuuden ja vaikutuksen.

Miten Deepdubin eTTS ™ (Emotion-Text-to-Speech) -teknologia parantaa äänen autenttisuutta ja emotionaalisuutta dubbatussa sisällössä?

Perinteiset tekoälygeneroidut äänet usein puuttuvat hienoista emotionaalisista vihjeistä, jotka tekevät suoritukset viehättäviksi. Ratkaisuksi tähän puutteeseen Deepdub kehitti oman eTTS ™ -teknologian, joka hyödyntää tekoälyä ja syvää oppimista generoimaan puhetta, joka ei ainoastaan säilytä alkuperäisen näyttelijän suorituksen täydellistä emotionaalisuutta, vaan myös integroi ihmisen emotionaalisen älykkyyden automaattiseen prosessiin.

Yksi yleinen kritiikki tekoälygeneroituja ääniä kohtaan on, että ne voivat kuulosta robottimaisilta. Miten Deepdub varmistaa, että tekoälygeneroidut äänet säilyttävät luonnollisuutensa ja emotionaalisuutensa?

Omalla teknologialla hyödynnämme syvää oppimista ja koneoppimisalgoritmeja toimittamaan skaalattavia, laadukkaita dubbausratkaisuja, jotka säilyttävät alkuperäisen tarkoituksen, tyylisuunnan, huumorin ja kulttuuriset nyanssit.

Miten Deepdubin dubbausratkaisut ovat kulttuurisesti sopivia ja tarkkoja?

Lokalisointi ei ole vain kääntämistä – se on kääntämistä, tarkoitusta, kulttuurista kontekstia. Deepdubin hybridiratkaisu yhdistää tekoälypohjaisen automaation ihmisten kielelliseen asiantuntemukseen, varmistaen, että käännetyt vuoropuhelut heijastavat kohdeyleisön kulttuurisia ja emotionaalisia nyansseja. Lokalisointiasiantuntijamme työskentelevät tekoälyn rinnalla varmistaen, että dubbattu sisältö on kulttuurisesti tarkkaa ja sopivaa.

Mitkä ovat jännittävimmät innovaatiot, joilla Deepdub parantaa tekoälydubbausta?

Yksi suurimmista tulevista innovaatioistamme on Live/Streaming Dubbaus, joka mahdollistaa reaaliaikaisen dubbaamisen lähetyksille, kuten urheilutapahtumille ja uutislähetyksille, tehden globaaleista tapahtumista välittömästi saatavilla. Yhdistämällä tähän toinen jännittävä innovaatio, eTTs ™ -ominaisuus, joka mahdollistaa ihmisen kaltaisten äänien luomisen tekstistä suuressa mittakaavassa ja täydellä emotionaalisella tuella ja kaupallisilla oikeuksilla, pystymme tarjoamaan korkealaatuista, aitoa, emotionaalista, reaaliaikaista dubbausta, jota ei ole markkinoilla.

Miten tekoälydubbaus tulee muuttamaan globaalia viihdealaansa seuraavan 5-10 vuoden aikana?

Seuraavan vuosikymmenen aikana tekoälypohjainen dubbaus demokratisoi sisällön kuin koskaan aiemmin, tehden elokuvista, TV-ohjelmista ja lähetyksistä saatavilla jokaiselle yleisölle, kaikkialla, heidän äidinkielillään, välittömästi.

Näemme maailman, jossa suoratoistopalvelut ja lähettäjät integroivat reaaliaikaisen monikielisen dubbaamisen, poistaen kielelliset esteet ja sallien tarinoiden kiertää nopeammin ja kauemmas kuin perinteiset lokalisaatiomenetelmät ovat sallineet.

Mitkä ovat suurimmat haasteet, jotka on ratkaistava, jotta tekoälydubbaus voi tulla todella valtavirtaiseksi?

Suurimmat haasteet ovat ylläpitää erittäin korkeaa laatua skaalattavasti, varmistaa kulttuurinen ja kielellinen tarkkuus sekä perustaa eettiset ohjeet tekoälygeneroituja ääniä varten. Mutta teknisten esteiden lisäksi tekoälydubbaamisen hyväksyntä riippuu luottamuksesta. Katsojien on tunnistettava, että tekoälygeneroidut äänet säilyttävät alkuperäisten suoritusten autenttisuuden ja emotionaalisuuden eikä kuulosta keinotekoisilta tai irti.

Kiitos haastattelusta. Lukijat, jotka haluavat oppia lisää, voivat vierailla Deepdub-sivustolla.