Ofir Krakowski, Deepdubin toimitusjohtaja ja perustaja – Haastattelusarja

Ofir Krakowski on Deepdubin perustaja ja toimitusjohtaja. 30 vuoden kokemuksella tietokoneiden tieteestä ja koneoppimisesta, hänellä on ollut avainrooli perustamassa ja johtamassa Israelin ilmavoimien koneoppimisen ja innovaatioiden osastoa 25 vuoden ajan.

Deepdub on tekoälykäyttöinen dubbausyhtiö, joka hyödyntää syvää oppimista ja äänen kloonaamista tarjoamaan laadukkaita, skaalattavia lokalisaatioita elokuville, TV-ohjelmille ja digitaalisille sisällöille. Perustettu vuonna 2019, se mahdollistaa sisällönluojille säilyttää alkuperäiset suoritukset samalla, kun vuoropuhelu käännetään vaivattomasti useille kielille. Yhdistämällä tekoälyvoimaisen puheensynteesin ihmisten kielelliseen valvontaan, Deepdub parantaa sisällön saatavuutta maailmanlaajuisesti, vähentäen perinteisen dubbaamisen aikaa ja kustannuksia. Yhtiö on saavuttanut alan tunnustuksen innovaatiostaan, varmistamalla merkittäviä kumppanuuksia, sertifikaatteja ja rahoitusta laajentaa AI-lokalisaatioteknologiaa viihdealueella.

Mikä innoitti sinua perustamaan Deepdubin vuonna 2019? Oliko jokin tietty hetki tai haaste, joka johti sen luomiseen?

Perinteinen dubbaus on ollut alan standardi sisällön lokalisoimiseen, mutta se on kallis, aikaa vievä ja resursseja vaativa prosessi. Vaikka tekoälyvoimaiset ääniratkaisut olivat olemassa, ne puuttuivat emotionaalisesta syvyydestä, joka tarvitaan todella kaappaamaan näyttelijän suorituksen, mikä teki niistä sopimattomia laadukkaille, monimutkaisille sisällöille.

Tunnistimme mahdollisuuden täyttää tämä aukko kehittämällä tekoälyvoimaisen lokalisaatioteknologian, joka ylläpitää alkuperäisen suorituksen emotionaalista aitoutta samalla, kun se parantaa merkittävästi tehokkuutta. Kehittimme oman eTTS™ (Emotion-Text-to-Speech) -teknologiamme, joka takaa, että tekoälyvoimaiset äänet kantavat saman emotionaalisen painon, sävyn ja nuanssin kuin ihmisenäyttelijät.

Me näemme maailman, jossa kielelliset ja kulttuuriset esteet eivät ole enää esteitä sisällön maailmanlaajuiseen saatavuudelle. Luomalla alustamme, tunnistimme haasteen kielellisistä rajoituksista viihde-, e-oppimis-, FAST- ja muissa aloissa, ja päättimme vallankumousta sisällön lokalisoimisessa.

Jotta voimme varmistaa, että Deepdubin ratkaisu tarjoaa korkealaatuisen lokalisaation ja dubbaamisen monimutkaisille sisällöille suuressa mittakaavassa, päättimme ottaa hybridilähestymistavan, jossa sisällytetään kielitieteellisiä ja ääniasiantuntijoita prosessiin yhdessä eTTS™-teknologiamme kanssa.

Visiomme on demokratisoida äänituotanto, tehdä siitä massiivisesti skaalattavaa, yleisesti saatavilla, kaikille avointa ja kulttuurisesti merkityksellistä.

Mitkä olivat joitain suurimpia teknisiä ja liiketoimintahaasteita, joita kohtasitte Deepdubin käynnistäessä, ja miten niitä voitettiin?

Hollywoodin alan luottamuksen voittaminen oli suuri este, kun Deepdub käynnistettiin. Hollywood on vuosikymmenien ajan luottanut perinteiseen dubbaamiseen, ja siirtymisen tekoälyvoimiin edellytti osoittamista, että voimme toimittaa studio-laatusuorituksia alan, joka on usein epäilevä tekoälyä kohtaan.

Tätä epäilyä vastaan, kehittimme ensin tekoälyvoimaisien äänien aitoutta luomalla täysin lisensoitun voice bankin. Tämä pankki sisältää oikeiden ihmisten ääninäytteitä, mikä parantaa merkittävästi luonnollisuutta ja ilmaisukykyä tuotoksissamme, mikä on olennaista Hollywoodin hyväksymiseksi.

Seuraavaksi kehittimme omia teknologioita, kuten eTTS™, sekä ominaisuuksia kuten Accent Control. Nämä teknologiat varmistavat, että tekoälyvoimaiset äänet eivät ainoastaan kaappaan emotionaalisen syvyyden ja nuanssit, vaan myös noudattavat alueellista aitoutta, joka vaaditaan korkealaatuiselle dubbaamiselle.

Rakensimme myös omat sisäiset post-tuotantotiimimme, jotka työskentelevät tiiviisti teknologiamme kanssa. Tämä tiimi viimeistelee tekoälytuotokset, varmistaen, että jokainen sisältö on hiottu ja täyttää alan korkeat standardit.

Lisäksi laajensimme lähestymistapaamme kattamaan maailmanlaajuisen asiantuntijaverkoston – ääninäyttelijöitä, kielitieteilijöitä ja ohjaajia ympäri maailmaa. Nämä ammattilaiset tuovat arvokkaita kulttuurisia näkemyksiä ja luovaa asiantuntemusta, parantaen kulttuurista tarkkuutta ja emotionaalista resonanssia dubattujen sisältöjen kanssa.

Kielitieteellinen tiimimme työskentelee yhdessä teknologiamme ja maailmanlaajuisten asiantuntijoiden kanssa, varmistaen, että kieli on täydellinen kohdeyleisön kulttuurisessa kontekstissa, edelleen varmistaen aitoutta ja noudattamista paikallisten normien mukaisesti.

Näiden strategioiden kautta, yhdistämällä edistyneen teknologian vahvaan tiimiin globaaleja asiantuntijoita ja sisäisiin post-tuotantotiimeihin, Deepdub on onnistunut osoittamaan Hollywoodille ja muille huipputuotantoyhtiöille maailmanlaajuisesti, että tekoäly voi merkittävästi parantaa perinteisiä dubbaamisprosesseja. Tämä integraatio ei ainoastaan suorita tuotannon, vaan myös laajentaa mahdollisuuksia markkinoiden laajentamiseen.

Miten Deepdubin tekoälyvoimainen dubbausteknologia eroaa perinteisistä dubbausmenetelmistä?

Perinteinen dubbaus on työvoimainen prosessi, joka voi kestää kuukausia jokaisessa projektissa, koska se vaatii ääninäyttelijöitä, äänisuunnittelijoita ja post-tuotantotiimejä, jotka jäljentävät vuoropuhelua manuaalisesti eri kielillä. Ratkaisumme vallankumouksellistaa tämän prosessin tarjoamalla hybridin loppuun asti -ratkaisun – yhdistämällä teknologian ja ihmisten asiantuntemuksen – suoraan post-tuotantoprosesseihin, vähentäen lokalisaatiokustannuksia jopa 70 % ja kääntämisajat jopa 50 %.

Toisin kuin muut tekoälyvoimaiset ääniratkaisut, oma eTTS™-teknologiamme sallii emotionaalisen syvyyden, kulttuurisen aitouden ja äänen jatkuvuuden tason, jota perinteiset menetelmät kamppailevat saavuttamaan suuressa mittakaavassa.

Voitko kuljettaa meidät läpi Deepdubin hybridilähestymistavasta – miten tekoäly ja ihmisten asiantuntijuus työskentelevät yhdessä dubbausprosessissa?

Deepdubin hybridimalli yhdistää tekoälyn tarkkuuden ja skaalattavuuden ihmisten luovuuden ja kulttuurisen herkkyyden kanssa. Lähestymistapamme yhdistää perinteisen dubbaamisen taiteellisuuden edistyneeseen tekoälytekniikkaan, varmistaen, että lokalisoitu sisältö säilyttää alkuperäisen sisällön emotionaalisen aitouden ja vaikutuksen.

Ratkaisumme hyödyntää tekoälyä automatisoimaan lokalisaation perustyön, kun taas ihmisammatilliset henkilöt viimeistelevät emotionaaliset nuanssit, aksentit ja kulttuuriset yksityiskohdat. Sisällytämme sekä oman eTTs™-teknologiamme että Voice-to-Voice (V2V) -teknologiamme parantamaan tekoälyvoimaisen äänen luonnollista ilmaisukykyä, varmistaen, että ne kaappaavat ihmisenäyttelijöiden suoritusten syvyyden ja realismin. Tällä tavoin varmistamme, että jokainen sisältö tuntuu aidoilta ja vaikuttavalta lokalisoituna muodossa, kuten alkuperäisessä.

Kielitieteilijät ja ääniammattilaiset ovat avainroolissa tässä prosessissa, koska he parantavat kulttuurista tarkkuutta tekoälyvoimaisessa sisällössä. Koska globalisaatio jatkaa vaikuttamista viihteen tulevaisuuteen, tekoälyn ja ihmisten taiteellisuuden yhdistäminen tulee olemaan kulttuurisen lokalisaation uusi standardi.

Lisäksi Voice Artist Royalty Program -ohjelmamme korvaa ammattimaisia ääninäyttelijöitä aina, kun heidän ääniään käytetään tekoälyavusteisessa dubbaamisessa, varmistaen eettisen käytön ääni-ai-tekniikassa.

Miten Deepdubin oma eTTS™ (Emotion-Text-to-Speech) -teknologia parantaa äänen aitoutta ja emotionaalista syvyyttä dubatussa sisällössä?

Perinteiset tekoälyvoimaiset äänet usein puuttuvat hienoisista emotionaalisista vihjeistä, jotka tekevät suoritukset viehättäviksi. Tätä puutetta vastaan, Deepdub kehitti oman eTTS™-teknologiamme, hyödyntäen tekoälyä ja syvää oppimista luomaan puhetta, joka ei ainoastaan säilytä alkuperäisen näyttelijän suorituksen täydellistä emotionaalista syvyyttä, vaan myös integroi ihmisen emotionaalisen älykkyyden automaattiseen prosessiin. Tämä edistynyt ominaisuus sallii tekoälylle hienosäätää synteettisiä ääniä heijastaakseen tarkoitettuja emoatioita, kuten iloa, vihaa tai surua, joka resonoi aidosti yleisön kanssa. Lisäksi eTTS™ erinomaisesti tuottaa korkealaatuisen äänen replikoinnin, jäljittelemällä luonnollisia nuansseja ihmisen puheessa, kuten sävyä, ääntä ja tahtia, jotka ovat olennaisia viehättävien ja aitojen replikoiden toimittamiseksi.

Teknologia parantaa myös kulttuurista herkkyyttä sopeuttamalla tulosteita aksenteja hallitsemaan, varmistaen, että dubattu sisältö kunnioittaa ja noudattaa kulttuurisia nuansseja, parantaen sen maailmanlaajuista vetovoimaa ja tehokkuutta.

Yksi yleinen kritiikki tekoälyvoimaisista äänistä on, että ne voivat kuulosta robottimaisilta. Miten Deepdub varmistaa, että tekoälyvoimaiset äänet säilyttävät luonnollisuuden ja emotionaalisen nuanssin?

Oma teknologia hyödyntää syvää oppimista ja koneoppimista toimittamaan skaalattavia, laadukkaita dubbausratkaisuja, jotka säilyttävät alkuperäisen intention, tyylisi, huumorin ja kulttuuriset nuanssit.

Yhdessä eTTS™-teknologiamme kanssa, Deepdubin innovatiivinen paketti sisältää ominaisuuksia kuten Voice-to-Voice (V2V), Voice Cloning, Accent Control ja Vocal Emotion Bank, jotka sallivat tuotantotiimien viimeistellä suorituksia heidän luovien visioidensa mukaisesti. Nämä ominaisuudet varmistavat, että jokainen ääni kantaa emotionaalisen syvyyden ja nuanssin, joka on välttämätöntä viehättävien kertomusten ja vaikuttavien käyttökokemusten luomiseksi.

Viime vuosien aikana olemme nähneet kasvavaa menestystä ratkaisuissamme Media & Entertainment -alalla, joten päättimme avata pääsyn Hollywoodin hyväksymille äänille kehittäjille, yrityksille ja sisällönluojille AI Audio API:mme kautta. Oma eTTS™-teknologia voimaa, API mahdollistaa äänen reaaliaikaisen generoinnin edistyneillä mukautusparametreillä, kuten aksentilla, emotionaalisella sävylle, tempossa ja äänityylissä.

Lipputuoteominaisuutena API:llamme on äänipresettien suunnittelu, joka perustuu vuosien kokemukseen alan kaikkein pyydetyimmistä voiceover-tarpeista. Nämä esivaltitut asetukset mahdollistavat käyttäjille nopean sovittamisen eri sisältötyyppeihin ilman laajaa manuaalista konfiguraatiota tai etsintää. Saatavilla olevat esiasetukset sisältävät ääni kuvausten ja äänikirjojen, dokumentti- tai todellisuusnarratiivin, draaman ja viihteen, uutisten toimittamisen, urheilukommentaattorin, animaatio- tai piirrosäänet, interaktiivisen ääni-vastauksen (IVR) sekä mainos- ja kaupallisen sisällön.

Tekoälydubbaus sisältää kulttuurisen ja kielellisen sovittamisen – miten Deepdub varmistaa, että sen dubbausratkaisut ovat kulttuurisesti soveliaita ja tarkkoja?

Lokalisaatio ei ole vain sanojen kääntämistä – se on tarkoituksen, intention ja kulttuurisen kontekstin kääntämistä. Deepdubin hybridilähestymistapa yhdistää tekoälyvoimaisen automaation ihmisten kielelliseen asiantuntemukseen, varmistaen, että käännetty vuoropuhelu heijastaa kohdeyleisön kulttuurisia ja emotionaalisia nuansseja.

Deepdubin lokalisaatioasiantuntijaverkosto työskentelee tekoälyn rinnalla, varmistaen, että dubattu sisältö noudattaa alueellisia murteita, ilmaisuja ja kulttuurisia herkkyyksiä.

Mitkä ovat jännittävimmät innovaatiot, joilla te työskentelet tällä hetkellä, jotta voit viedä tekoälydubbausta seuraavalle tasolle?

Yksi suurimmista tulevista innovaatioistamme on Live/Streaming Dubbaus, joka mahdollistaa reaaliaikaisen dubbaamisen lähetyksiin, kuten urheilutapahtumiin ja uutisiin, tehden globaaleista tapahtumista välittömästi saatavilla. Yhdistämällä tätä toiseen jännittävään innovaatioomme, eTTs™-ominaisuuteemme, joka on oma teknologia, joka sallii ihmisen äänen luomisen tekstin perusteella suuressa mittakaavassa ja täydellisen emotionaalisen tuen ja kaupallisten oikeuksien kanssa, voimme tarjota korkealaatuisia, aitoja, emotionaalisia, reaaliaikaisia dubbauspalveluita, joita ei ole aiemmin ollut markkinoilla.

Ota esimerkiksi olympialaisten avajaisseremonia tai mikä tahansa live-urheilutapahtuma. Vaikka paikalliset lähetykset tarjoavat yleensä kommentaattorin alueellisella kielellä ja murteella, tämä teknologia mahdollistaa katsojille ympäri maailman kokea koko tapahtuman heidän äidinkielellään, kun se tapahtuu.

Reaaliaikainen dubbaus määrittää uudelleen, miten live-tapahtumia koetaan maailmanlaajuisesti, varmistaen, että kieli ei ole enää este.

Tekoälyvoimainen dubbaus on kohdannut kritiikkiä joissakin projekteissa viime aikoina. Mitä luulet olevan avaintekijöitä, jotka ajavat näitä kritiikkejä?

Pääasialliset kritiikit johtuvat aitouden, eettisyyden ja laadun huoleista. Jotkut tekoälyvoimaiset äänet ovat puuttuneet emotionaalisesta resonanssista ja nuanssista, jotka ovat välttämättömiä upottavaan kertomiseen. Deepdubilla olemme ratkaisseet tämän kehittämällä emotionaalisesti ilmaisevia tekoälyääniä, varmistaen, että ne säilyttävät alkuperäisen suorituksen sielun. Deepdub on saavuttanut yli 70 % poikkeuksellisen katsojien tyytyväisyyden kaikilla mittareilla, mukaan lukien erinomaiset valinnat, selkeä vuoropuhelu, vaivattomat synchronisoinnit ja täydellinen tahti.

Toinen ongelma on tekoälyäänten eettinen käyttö. Deepdub on johtava vastuullisen tekoälydubbaamisen edelläkävijä, ja olemme pioneerina alan ensimmäisessä Royalty-ohjelmassa, joka korvaa ääninäyttelijöitä tekoälyvoimaisista suorituksista. Uskomme, että tekoäly tulisi parantaa ihmisten luovuutta, ei korvata sitä, ja tämä sitoutuminen heijastuu kaikessa, mitä rakennamme.

Miten näet tekoälydubbaamisen muuttavan globaalia viihde-alaa seuraavien 5-10 vuoden aikana?

Seuraavassa vuosikymmenessä tekoälyvoimainen dubbaus demokratisoi sisältöä, tehden elokuvista, TV-ohjelmista ja live-lähetyksistä saatavilla jokaiselle yleisölle, missä tahansa, heidän äidinkielellään välittömästi.

Me näemme maailman, jossa suoratoistopalvelut ja lähetykset integroivat reaaliaikaisen monikielisen dubbaamisen, poistaen kielelliset esteet ja sallien tarinoiden kiertää perinteisten lokalisaatiomenetelmien sijaan.

Lisäksi tekoälydubbaus voi parantaa median saatavuutta sokeille ja näkövammaisille. Monet riippuvat ääni kuvausten avulla seuratakseen visuaalista sisältöä, ja tekoälydubbaus sallii heidän osallistua vieraskieliseen sisältöön, kun tekstitykset eivät ole saatavilla. Murtamalla sekä kielellisiä että aistillisia esteitä, tekoälyvoimainen dubbaus auttaa luomaan inklusiivisemman viihteen kokemuksen kaikille, mikä on erityisen tärkeää, kun uudet säädökset median saatavuudesta tulevat voimaan tänä vuonna maailmanlaajuisesti.

Mitkä ovat suurimmat haasteet, jotka vielä tarvitsevat ratkaisemista, jotta tekoälydubbaus voi tulla todella valtavirtaiseksi?

Suurimmat haasteet ovat ylläpitäminen ultra-korkeaa laatua suuressa mittakaavassa, varmistaminen kulttuurisesta ja kielellisestä tarkkuudesta sekä eettisten ohjeiden perustaminen tekoälyvoimaisille äänille. Mutta haasteiden ulkopuolella, tekoälydubbaamisen hyväksyntä riippuu luottamuksesta. Katsojien on tunnistettava, että tekoälyvoimaiset äänet säilyttävät alkuperäisten suoritusten aitouden ja emotionaalisen syvyyden, eikä kuulosta tekoälyltä tai irti.

Jotta tekoälydubbaus voidaan täysin hyväksyä, se on oltava korkealaatuista yhdistämällä ihmisten taiteellisuutta ja teknologiaa suuressa mittakaavassa ja osoittamalla kunnioitusta luovan integriteetin, kielellisen nuanssin ja kulttuurisen kontekstin kohtaan. Tämä tarkoittaa varmistamista, että äänet säilyttävät alkuperäisten näyttelijöiden intention, välttäen epätarkkuuksia, jotka voivat erottaa yleisöjä, ja ratkaisemalla eettisiä huolenaiheita tekoälyäänten ja äänen omistajuuden ympärillä.

Kun tekoälydubbaus tulee yleisemmäksi, teknologia tarjoajien on toteutettava tiukat standardit äänen aitoudelle, turvallisuudelle ja immateriaalioikeuksien suojalle. Deepdub on johtava tällä alalla, varmistaen, että tekoälyäänten teknologia parantaa globaalia kertomista kunnioittaen samalla ihmisten taiteellista ja ammattitaitoista panosta. Vasta silloin katsojat, sisällönluojat ja alan sidosryhmät täysin hyväksyvät tekoälydubbaamisen luotettavana ja arvokkaana työkaluna.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla Deepdub:lla.