Ofir Krakowski, Deepdub CEO'su ve Kurucu Ortağı – Röportaj Dizisi

Ofir Krakowski Deepdub'un kurucu ortağı ve CEO'sudur. Bilgisayar bilimi ve makine öğrenimi alanında 30 yıllık deneyime sahip olan, İsrail Hava Kuvvetleri'nin makine öğrenimi ve inovasyon departmanının 25 yıl boyunca kurulmasında ve yönetilmesinde önemli bir rol oynamıştır.

Derin Dublaj film, TV ve dijital içerik için yüksek kaliteli, ölçeklenebilir yerelleştirme sağlamak amacıyla derin öğrenme ve ses klonlamadan yararlanan bir AI destekli dublaj şirketidir. 2019 yılında kurulan şirket, içerik oluşturucularının diyalogları sorunsuz bir şekilde birden fazla dile çevirirken orijinal performansları korumasını sağlar. Yapay zeka destekli konuşma sentezini insan dilsel denetimiyle entegre ederek Deepdub, küresel içerik erişilebilirliğini artırarak geleneksel dublajın zamanını ve maliyetini azaltır. Şirket, eğlence sektöründe AI yerelleştirme teknolojisini genişletmek için büyük ortaklıklar, sertifikalar ve fon sağlayarak yenilikçiliğiyle sektörde tanınırlık kazanmıştır.

2019'da Deepdub'ı kurmanız için size ilham veren şey neydi? Yaratılışına yol açan belirli bir an veya zorluk oldu mu?

Geleneksel dublaj, uzun zamandır içerik yerelleştirme için endüstri standardı olmuştur, ancak pahalı, zaman alıcı ve kaynak yoğun bir süreçtir. Yapay zeka tarafından üretilen ses çözümleri mevcut olsa da, bir oyuncunun performansını gerçekten yakalamak için gereken duygusal derinlikten yoksundu ve bu da onları yüksek kaliteli, karmaşık içerikler için uygunsuz hale getiriyordu.

Orijinal performansın duygusal gerçekliğini korurken verimliliği önemli ölçüde artıran AI destekli bir yerelleştirme çözümü geliştirerek bu boşluğu kapatma fırsatını belirledik. AI tarafından oluşturulan seslerin insan aktörlerle aynı duygusal ağırlığı, tonu ve nüansı taşımasını sağlayan tescilli eTTS™ (Duygu-Metin-Konuşma) teknolojimizi geliştirdik.

Dil ve kültürel engellerin artık küresel içerik erişilebilirliğinin önünde engel olmadığı bir dünya öngörüyoruz. Platformumuzu oluştururken, eğlence, e-öğrenme, FAST ve diğer sektörlerdeki dil sınırlamalarının zorluğunu fark ettik ve içerik yerelleştirmesinde devrim yaratmaya koyulduk.

Deepdub'ın çözümünün, karmaşık içerikler için büyük ölçekte en yüksek kalitede yerelleştirme ve seslendirme sağladığından emin olmak için, eTTS™ teknolojimizle birlikte, sürece dil ve ses uzmanlarını dahil ederek hibrit bir yaklaşım benimsemeye karar verdik.

Vizyonumuz, ses üretimini demokratikleştirmek, onu büyük ölçüde ölçeklenebilir, evrensel olarak erişilebilir, kapsayıcı ve kültürel açıdan alakalı hale getirmektir.

Deepdub'ı piyasaya sürerken karşılaştığınız en büyük teknik ve ticari zorluklar nelerdi ve bunların üstesinden nasıl geldiniz?

Deepdub'ı piyasaya sürerken eğlence sektörünün güvenini kazanmak büyük bir engeldi. Hollywood onlarca yıldır geleneksel dublaja güveniyordu ve yapay zeka odaklı çözümlere geçiş, yapay zekaya genellikle şüpheyle yaklaşan bir sektörde stüdyo kalitesinde sonuçlar sunma yeteneğimizi göstermemizi gerektiriyordu.

Bu şüpheciliği gidermek için, öncelikle tam lisanslı bir ses bankası oluşturarak yapay zeka tarafından üretilen seslerimizin gerçekliğini artırdık. Bu banka gerçek insan sesi örneklerini içeriyor ve Hollywood'da kabul görmek için çok önemli olan çıktılarımızın doğallığını ve ifade gücünü önemli ölçüde iyileştiriyor.

Daha sonra, Accent Control gibi özelliklerle birlikte eTTS™ gibi tescilli teknolojiler geliştirdik. Bu teknolojiler, AI tarafından oluşturulan seslerin yalnızca duygusal derinliği ve nüansları yakalamasını değil, aynı zamanda yüksek kaliteli dublaj için gereken bölgesel özgünlüğe de uymasını sağlar.

Ayrıca, teknolojimizle yakından çalışan özel bir şirket içi post prodüksiyon ekibi kurduk. Bu ekip, yapay zeka çıktılarını hassas bir şekilde ayarlayarak her içeriğin kusursuz olmasını ve sektörün yüksek standartlarını karşılamasını sağlıyor.

Ayrıca, yaklaşımımızı insan uzmanlarından oluşan küresel bir ağı da kapsayacak şekilde genişlettik: dünyanın dört bir yanından seslendirme sanatçıları, dilbilimciler ve yönetmenler. Bu profesyoneller paha biçilmez kültürel içgörüler ve yaratıcı uzmanlıklar getirerek, dublajlı içeriklerimizin kültürel doğruluğunu ve duygusal yankısını artırıyor.

Dilbilim ekibimiz, hedef kitlenin kültürel bağlamına uygun olarak kullanılan dilin doğruluğunu sağlamak için teknoloji ve küresel uzmanlarımızla birlikte çalışır, ayrıca özgünlüğü ve yerel normlara uyumu garanti altına alır.

Bu stratejiler sayesinde, gelişmiş teknolojiyi güçlü bir küresel uzman ekibi ve şirket içi bir post prodüksiyon ekibiyle birleştiren Deepdub, yapay zekanın geleneksel dublaj iş akışlarını önemli ölçüde iyileştirebileceğini Hollywood'a ve dünya çapındaki diğer üst düzey prodüksiyon şirketlerine başarıyla göstermiştir. Bu entegrasyon yalnızca prodüksiyonu kolaylaştırmakla kalmaz, aynı zamanda pazar genişlemesi olanaklarını da genişletir.

Deepdub'ın yapay zeka destekli dublaj teknolojisi, geleneksel dublaj yöntemlerinden nasıl farklılaşıyor?

Geleneksel dublaj, seslendirme sanatçılarının, ses mühendislerinin ve post prodüksiyon ekiplerinin diyalogları farklı dillerde manuel olarak yeniden oluşturmasını gerektirdiğinden, proje başına aylar sürebilen emek yoğun bir işlemdir. Çözümümüz, teknoloji ve insan uzmanlığını birleştiren hibrit bir uçtan uca çözüm sunarak bu süreci devrim niteliğinde değiştirir ve doğrudan post prodüksiyon iş akışlarına entegre edilir, böylece yerelleştirme maliyetlerini %70'e kadar ve teslim sürelerini %50'ye kadar azaltır.

Diğer yapay zeka destekli ses çözümlerinin aksine, tescilli eTTS™ teknolojimiz, geleneksel yöntemlerin ölçekte ulaşmakta zorlandığı bir düzeyde duygusal derinlik, kültürel özgünlük ve ses tutarlılığı sağlar.

Deepdub'ın kullandığı hibrit yaklaşımı bize anlatabilir misiniz? Yapay zeka ve insan uzmanlığı dublaj sürecinde nasıl birlikte çalışıyor?

Deepdub'ın hibrit modeli, yapay zekanın hassasiyetini ve ölçeklenebilirliğini insan uzmanlığının yaratıcılığı ve kültürel duyarlılığıyla birleştirir. Yaklaşımımız, geleneksel dublajın sanatını gelişmiş yapay zeka teknolojisiyle harmanlayarak yerelleştirilmiş içeriğin orijinalin duygusal özgünlüğünü ve etkisini korumasını sağlar.

Çözümümüz, yerelleştirmenin temel yönlerini otomatikleştirmek için AI'dan yararlanırken, insan profesyoneller duygusal nüansları, vurguları ve kültürel ayrıntıları rafine eder. AI tarafından üretilen seslerin doğal ifade gücünü artırmak için hem tescilli eTTs™'imizi hem de Sesten Sese (V2V) teknolojilerimizi bir araya getirerek, insan performanslarının derinliğini ve gerçekçiliğini yakalamalarını sağlarız. Bu şekilde, her içerik parçasının yerelleştirilmiş haliyle orijinalinde olduğu kadar gerçek ve etkili hissettirmesini sağlarız.

Dilbilimciler ve ses uzmanları, yapay zeka tarafından üretilen içeriğin kültürel doğruluğunu artırdıkları için bu süreçte önemli bir rol oynarlar. Küreselleşme eğlencenin geleceğini şekillendirmeye devam ederken, yapay zekanın insan sanatıyla bütünleştirilmesi içerik yerelleştirmesi için altın standart haline gelecektir.

Ayrıca, Ses Sanatçısı Telif Hakkı Programımız, yapay zeka destekli dublajda sesleri kullanıldığında profesyonel seslendirme sanatçılarına tazminat ödeyerek, ses yapay zeka teknolojisinin etik kullanımını garanti altına alıyor.

Deepdub'ın tescilli eTTS™ (Duygu-Metin-Konuşma) teknolojisi, dublajlı içerikte ses gerçekliğini ve duygusal derinliği nasıl artırır?

Geleneksel AI tarafından üretilen sesler genellikle performansları ilgi çekici kılan ince duygusal ipuçlarından yoksundur. Bu açığı kapatmak için Deepdub, AI ve derin öğrenme modellerinden yararlanarak yalnızca orijinal aktörün performansının tüm duygusal derinliğini korumakla kalmayıp aynı zamanda insan duygusal zekasını otomatik sürece entegre eden konuşmalar üretmek için tescilli eTTS™ teknolojisini geliştirdi. Bu gelişmiş yetenek, AI'nın sentezlenen sesleri neşe, öfke veya üzüntü gibi amaçlanan duyguları yansıtacak şekilde ince bir şekilde ayarlamasına ve izleyicilerle otantik bir şekilde yankılanmasına olanak tanır. Ayrıca eTTS™, gerçek ve ilgi çekici replikleri iletmek için gerekli olan perde, ton ve hız gibi insan konuşmasındaki doğal nüansları taklit ederek yüksek kaliteli ses çoğaltma üretmede mükemmeldir. Teknoloji ayrıca, aksanları kontrol etmek için çıktıları ustaca uyarlayarak kültürel duyarlılığı artırır ve dublajlı içeriğin kültürel nüanslara saygı duymasını ve onlarla uyumlu olmasını sağlayarak küresel çekiciliğini ve etkinliğini artırır.

Yapay zeka tarafından üretilen seslere yönelik yaygın eleştirilerden biri, robotik ses çıkarabilmeleridir. Deepdub, yapay zeka tarafından üretilen seslerin doğallığını ve duygusal nüansını nasıl korur?

Tescilli teknolojimiz, orijinal amacı, stili, mizahı ve kültürel nüansları koruyan ölçeklenebilir, yüksek kaliteli dublaj çözümleri sunmak için derin öğrenme ve makine öğrenme algoritmalarını kullanır.

Deepdub'ın yenilikçi paketi, eTTS™ teknolojimizle birlikte Sesten Sese (V2V), Ses Klonlama, Aksan Kontrolü ve Vokal Duygu Bankamız gibi özellikler içerir; bu özellikler, prodüksiyon ekiplerinin performansları yaratıcı vizyonlarına uyacak şekilde ince ayar yapmalarına olanak tanır. Bu özellikler, her sesin ilgi çekici hikaye anlatımı ve etkili kullanıcı deneyimleri için gerekli duygusal derinliği ve nüansı taşımasını sağlar.

Son birkaç yıldır Medya ve Eğlence sektöründe çözümlerimizin giderek daha başarılı olduğunu gördük, bu nedenle yakın zamanda Hollywood onaylı seslendirmelerimize geliştiriciler, işletmeler ve içerik oluşturucularıyla erişim sağlamaya karar verdik. AI Ses API'sieTTS™ teknolojimizle desteklenen API, vurgu, duygusal ton, tempo ve vokal stili gibi gelişmiş özelleştirme parametreleriyle gerçek zamanlı ses üretimine olanak tanır.

API'mizin amiral gemisi özelliği, en çok talep edilen seslendirme ihtiyaçlarıyla yılların sektör deneyimine dayanarak tasarlanmış ses ön ayarlarıdır. Bu önceden yapılandırılmış ayarlar, kullanıcıların kapsamlı manuel yapılandırma veya keşif gerektirmeden farklı içerik türlerini hızla uyarlamasını sağlar. Mevcut sunumlar arasında sesli açıklamalar ve sesli kitaplar, belgesel veya gerçeklik anlatımı, drama ve eğlence, haber sunumu, spor yorumları, anime veya çizgi film seslendirmeleri, Etkileşimli Sesli Yanıt (IVR) ve ayrıca promosyon ve ticari içerik bulunur.

Yapay zeka dublajı kültürel ve dilsel uyarlamayı içerir. Deepdub, dublaj çözümlerinin kültürel açıdan uygun ve doğru olmasını nasıl sağlar?

Yerelleştirme yalnızca kelimeleri çevirmekle ilgili değildir; anlamı, amacı ve kültürel bağlamı çevirmekle ilgilidir. Deepdub'ın karma yaklaşımı, AI destekli otomasyonu insan dil uzmanlığıyla birleştirerek çevrilen diyaloğun hedef kitlenin kültürel ve duygusal nüanslarını yansıtmasını sağlar. Yerelleştirme uzmanlarından oluşan ağımız, dublajlı içeriğin bölgesel lehçeler, ifadeler ve kültürel hassasiyetlerle uyumlu olmasını sağlamak için AI ile birlikte çalışır.

Yapay zeka dublajını bir üst seviyeye taşımak için şu anda üzerinde çalıştığınız en heyecan verici yenilikler nelerdir?

Yaklaşan en büyük yeniliklerimizden biri, spor etkinlikleri ve haber medyası gibi canlı yayınlar için gerçek zamanlı dublajı mümkün kılacak ve küresel etkinliklere anında erişim sağlayacak Canlı/Akış Dublajı. Bunu, heyecan verici yeniliklerimizden bir diğeri olan eTTs™ özelliğimizle birleştirerek, metinden büyük ölçekte ve tam duygusal destek ve ticari haklar dahil olmak üzere insan sesine benzeyen seslerin oluşturulmasına olanak tanıyan tescilli bir teknolojiyle, piyasadaki hiçbir şeye benzemeyen yüksek kaliteli, otantik, duygusal, canlı dublaj sunabileceğiz.

Örneğin Olimpiyatların veya herhangi bir canlı spor etkinliğinin açılış törenlerini ele alalım. Yerel yayıncılar genellikle kendi bölgesel dillerinde ve lehçelerinde yorum sağlarken, bu teknoloji dünyanın dört bir yanındaki izleyicilerin etkinliğin tamamını kendi ana dillerinde deneyimlemelerine olanak tanıyacak.

Canlı dublaj, canlı etkinliklerin dünya çapında nasıl deneyimlendiğini yeniden tanımlayacak ve dilin asla bir engel teşkil etmeyeceğini garantileyecek.

Yapay zeka tarafından üretilen dublaj son zamanlarda bazı projelerde eleştirilere maruz kaldı. Sizce bu eleştirileri yönlendiren temel faktörler nelerdir?

Başlıca eleştiriler, özgünlük, etik ve kalite konusundaki endişelerden kaynaklanmaktadır. Bazı AI tarafından oluşturulan sesler, sürükleyici hikaye anlatımı için gereken duygusal rezonanstan ve nüanstan yoksundur. Deepdub'da, duygusal olarak ifade edici AI sesleri geliştirerek ve orijinal performansın ruhunu koruyarak bu sorunu ele aldık. Deepdub, mükemmel oyuncu kadrosu, net diyalog, kusursuz senkronizasyon ve mükemmel tempo dahil olmak üzere tüm boyutlarda %70'in üzerinde olağanüstü izleyici memnuniyeti elde etti.

Bir diğer konu da AI seslerinin etik kullanımıdır. Deepdub, AI tarafından üretilen performanslar için seslendirme sanatçılarına tazminat ödeyen sektörün ilk Telif Programı'na öncülük eden, sorumlu AI dublajında ​​liderdir. AI'nın insan yaratıcılığını geliştirmesi gerektiğine inanıyoruz, onun yerini almaması gerektiğine ve bu bağlılığın inşa ettiğimiz her şeye yansıdığına inanıyoruz.

Yapay zeka dublajının önümüzdeki 5-10 yıl içinde küresel eğlence sektörünü nasıl değiştireceğini düşünüyorsunuz?

Önümüzdeki on yılda, yapay zeka destekli dublaj, içerikleri daha önce hiç olmadığı kadar demokratikleştirecek; filmleri, TV şovlarını ve canlı yayınları her izleyici kitlesine, her yerde, anında kendi ana dilinde ulaştıracak.

Yayın platformlarının ve yayıncıların gerçek zamanlı çok dilli dublajı entegre ettiği, dil engellerini ortadan kaldırdığı ve hikayelerin geleneksel yerelleştirme yöntemlerinin izin verdiğinden daha uzağa ve daha hızlı ulaşmasına olanak tanıyan bir dünya öngörüyoruz.

Dil erişilebilirliğinin ötesinde, AI dublajı körler ve görme engelliler için medya erişimini de artırabilir. Birçoğu görsel içeriği takip etmek için sesli açıklamalara güveniyor ve AI dublajı altyazılar erişilebilir bir seçenek olmadığında yabancı dildeki içerikle etkileşime girmelerini sağlıyor. Hem dilsel hem de duyusal engelleri ortadan kaldırarak, AI destekli dublaj herkes için daha kapsayıcı bir eğlence deneyimi yaratmaya yardımcı olacak ve bu özellikle bu yıl dünya çapında medya erişilebilirliğiyle ilgili yeni düzenlemeler yürürlüğe girdiği için kritik önem taşıyor.

Yapay zeka dublajının gerçek anlamda ana akım haline gelmesi için hâlâ çözülmesi gereken en büyük zorluklar nelerdir?

En büyük zorluklar, ölçekte ultra yüksek kaliteyi korumak, kültürel ve dilsel hassasiyeti sağlamak ve AI tarafından üretilen sesler için etik kurallar oluşturmaktır. Ancak, teknik engellerin ötesinde, AI dublajının kamuoyu tarafından kabul görmesi güvene bağlıdır. İzleyicilerin, AI tarafından üretilen seslerin sentetik veya kopuk gelmek yerine performansların özgünlüğünü ve duygusal derinliğini koruduğunu hissetmeleri gerekir.

Yapay zeka dublajının tam anlamıyla benimsenmesi için, insan sanatçılığı ve teknolojiyi ölçeklenebilir bir şekilde birleştirerek yüksek kalitede olması ve aynı zamanda yaratıcı bütünlüğe, dilsel nüanslara ve kültürel bağlama saygı göstermesi gerekir. Bu, seslerin orijinal oyuncuların niyetine sadık kalmasını sağlamak, izleyicileri yabancılaştırabilecek yanlışlıklardan kaçınmak ve deepfake riskleri ve ses sahipliğiyle ilgili etik endişeleri ele almak anlamına gelir.

Yapay zeka dublajı daha yaygın hale geldikçe, teknoloji sağlayıcıları ses gerçekliği, güvenlik ve fikri mülkiyet koruması için titiz standartlar uygulamalıdır. Deepdub, bu alanlarda aktif olarak öncülük ederek, yapay zeka ses teknolojisinin insan yeteneğinin sanatsal ve profesyonel katkılarına saygı gösterirken küresel hikaye anlatımını geliştirmesini sağlar. Ancak o zaman izleyiciler, içerik oluşturucular ve sektör paydaşları yapay zeka dublajını güvenilir ve değerli bir araç olarak tam olarak benimseyecektir.

Harika röportaj için teşekkürler, daha fazla bilgi edinmek isteyen okuyucular ziyaret etmelidir. Derin Dublaj.