Ofir Krakowski, CEO dan Co-Founder Deepdub – Seri Wawancara

Ofir Krakowski adalah co-founder dan CEO Deepdub. Dengan 30 tahun pengalaman di bidang ilmu komputer dan pembelajaran mesin, ia memainkan peran kunci dalam mendirikan dan memimpin departemen inovasi dan pembelajaran mesin Angkatan Udara Israel selama 25 tahun.

Deepdub adalah perusahaan dubbing yang didorong oleh AI yang memanfaatkan pembelajaran dalam dan pengkloning suara untuk menyediakan lokalasi yang berkualitas tinggi dan dapat diskalakan untuk film, TV, dan konten digital. Didirikan pada 2019, ia memungkinkan pembuat konten untuk mempertahankan kinerja asli sambil menerjemahkan dialog ke dalam beberapa bahasa secara mulus. Dengan mengintegrasikan sintesis ucapan yang didukung AI dengan pengawasan linguistik manusia, Deepdub meningkatkan aksesibilitas konten global, mengurangi waktu dan biaya dubbing tradisional. Perusahaan ini telah mendapatkan pengakuan industri untuk inovasinya, memperoleh kemitraan besar, sertifikasi, dan pendanaan untuk memperluas teknologi lokalasi AI di sektor hiburan.

Apa yang menginspirasi Anda untuk mendirikan Deepdub pada 2019? Apakah ada momen atau tantangan tertentu yang menyebabkan pendiriannya?

Dubbing tradisional telah lama menjadi standar industri untuk memlocalisasi konten, tetapi proses ini mahal, memakan waktu, dan intensif sumber daya. Sementara solusi suara yang dihasilkan AI ada, mereka kekurangan kedalaman emosional yang dibutuhkan untuk benar-benar menangkap kinerja aktor, membuatnya tidak cocok untuk konten yang kompleks dan berkualitas tinggi.

Kami mengidentifikasi kesempatan untuk menjembatani kesenjangan ini dengan mengembangkan solusi lokalasi yang didorong AI yang mempertahankan autentisitas emosional dari kinerja asli sambil secara dramatis meningkatkan efisiensi. Kami mengembangkan teknologi eTTS™ (Emotion-Text-to-Speech) proprietary, yang memastikan bahwa suara yang dihasilkan AI membawa bobot emosional, nada, dan nuansa yang sama dengan aktor manusia.

Kami membayangkan dunia di mana hambatan bahasa dan budaya tidak lagi menjadi penghalang aksesibilitas konten global. Dalam menciptakan platform kami, kami mengakui tantangan keterbatasan bahasa dalam industri hiburan, e-learning, FAST, dan lain-lain, dan berusaha untuk merevolusi lokalasi konten.

Untuk memastikan bahwa solusi Deepdub menyediakan lokalasi dan dubbing berkualitas tinggi untuk konten yang kompleks dalam skala besar, kami memutuskan untuk mengambil pendekatan hibrida dan mengintegrasikan ahli linguistik dan suara ke dalam proses, bersama dengan teknologi eTTS™ kami.

Visi kami adalah mendemokratisasi produksi suara, membuatnya sangat dapat diskalakan, universal, inklusif, dan relevan budaya.

Apa tantangan teknis dan bisnis terbesar yang Anda hadapi saat meluncurkan Deepdub, dan bagaimana Anda mengatasi mereka?

Menghasilkan kepercayaan industri hiburan adalah hambatan besar saat meluncurkan Deepdub. Hollywood telah bergantung pada dubbing tradisional selama dekade, dan beralih ke solusi yang didorong AI memerlukan demonstrasi kemampuan kami untuk menghasilkan hasil studio-kualitas dalam industri yang sering skeptis terhadap AI.

Untuk mengatasi skeptisisme ini, kami pertama-tama meningkatkan autentisitas suara yang dihasilkan AI dengan menciptakan bank suara yang sepenuhnya dilisensikan. Bank ini mengintegrasikan sampel suara manusia asli, secara signifikan meningkatkan naturalness dan ekspresivitas output kami, yang sangat penting untuk penerimaan di Hollywood.

Kemudian, kami mengembangkan teknologi proprietary, seperti eTTS™, bersama dengan fitur seperti Accent Control. Teknologi ini memastikan bahwa suara yang dihasilkan AI tidak hanya menangkap kedalaman emosional dan nuansa, tetapi juga mematuhi autentisitas regional yang diperlukan untuk dubbing berkualitas tinggi.

Kami juga membangun tim pasca-produksi internal yang didedikasikan yang bekerja sama dengan teknologi kami. Tim ini mempertajam output AI, memastikan setiap konten dipolish dan memenuhi standar tinggi industri.

Lebih lanjut, kami memperluas pendekatan kami untuk mencakup jaringan global ahli manusia—aktor suara, ahli bahasa, dan sutradara dari seluruh dunia. Profesional ini membawa wawasan budaya dan kreatif yang tak ternilai, meningkatkan akurasi budaya dan resonansi emosional dari konten yang didubbing.

Tim linguistik kami bekerja bersama dengan teknologi dan ahli global kami untuk memastikan bahwa bahasa yang digunakan sempurna untuk konteks budaya audiens target, lebih lanjut memastikan autentisitas dan kepatuhan terhadap norma lokal.

Melalui strategi ini, menggabungkan teknologi canggih dengan tim ahli global yang kuat dan tim pasca-produksi internal, Deepdub telah berhasil menunjukkan kepada Hollywood dan perusahaan produksi top-tier di seluruh dunia bahwa AI dapat secara signifikan meningkatkan alur kerja dubbing tradisional. Integrasi ini tidak hanya mempermudah produksi tetapi juga memperluas kemungkinan untuk ekspansi pasar.

Bagaimana teknologi dubbing yang didorong AI oleh Deepdub berbeda dari metode dubbing tradisional?

Dubbing tradisional adalah proses yang intensif tenaga kerja dan dapat memakan waktu beberapa bulan per proyek, karena memerlukan aktor suara, insinyur suara, dan tim pasca-produksi untuk merekam ulang dialog dalam bahasa yang berbeda. Solusi kami merevolusi proses ini dengan menawarkan solusi hibrida ujung-ke-ujung – menggabungkan teknologi dan keahlian manusia – yang terintegrasi langsung ke dalam alur kerja pasca-produksi, sehingga mengurangi biaya lokalasi hingga 70% dan waktu tunggu hingga 50%.

Tidak seperti solusi suara yang dihasilkan AI lainnya, teknologi eTTS™ proprietary kami memungkinkan tingkat kedalaman emosional, autentisitas budaya, dan konsistensi suara yang metode tradisional sulit capai dalam skala besar.

Bisakah Anda menjelaskan pendekatan hibrida yang digunakan Deepdub—bagaimana AI dan keahlian manusia bekerja sama dalam proses dubbing?

Model hibrida Deepdub menggabungkan presisi dan skalabilitas AI dengan kreativitas dan sensitivitas budaya keahlian manusia. Pendekatan kami menggabungkan kesenian dubbing tradisional dengan teknologi AI canggih, memastikan bahwa konten yang dilokalisasi mempertahankan autentisitas emosional dan dampak aslinya.

Solusi kami menggunakan AI untuk mengotomatisasi aspek dasar lokalasi, sementara profesional manusia mempertajam nuansa emosional, aksen, dan detail budaya. Kami mengintegrasikan teknologi eTTS™ dan Voice-to-Voice (V2V) kami untuk meningkatkan ekspresivitas alami suara yang dihasilkan AI, memastikan bahwa setiap konten terasa asli dan berdampak dalam bentuk lokalnya seperti aslinya.

Ahli bahasa dan profesional suara memainkan peran kunci dalam proses ini, karena mereka meningkatkan akurasi budaya konten yang dihasilkan AI. Ketika globalisasi terus membentuk masa depan hiburan, integrasi AI dengan kesenian manusia akan menjadi standar emas untuk lokalasi konten.

Tambahan lagi, Program Royalti Artis Suara kami mengkompensasi aktor suara profesional setiap kali suara mereka digunakan dalam dubbing yang dibantu AI, memastikan penggunaan etis teknologi suara AI.

Bagaimana teknologi eTTS™ (Emotion-Text-to-Speech) proprietary Deepdub meningkatkan autentisitas suara dan kedalaman emosional dalam konten yang didubbing?

Suara yang dihasilkan AI tradisional sering kekurangan sinyal emosional halus yang membuat kinerja menarik. Untuk mengatasi kekurangan ini, Deepdub mengembangkan teknologi eTTS™, yang menggunakan AI dan model pembelajaran dalam untuk menghasilkan ucapan yang tidak hanya mempertahankan kedalaman emosional penuh kinerja aktor asli tetapi juga mengintegrasikan kecerdasan emosional manusia ke dalam proses otomatis. Kemampuan canggih ini memungkinkan AI untuk menyesuaikan suara sintetis dengan presisi untuk mencerminkan emosi yang dimaksud seperti kegembiraan, kemarahan, atau kesedihan, beresonansi secara autentik dengan audiens. Selain itu, eTTS™ unggul dalam menghasilkan replikasi suara berkualitas tinggi, meniru nuansa alami dalam ucapan manusia seperti pitch, nada, dan kecepatan, yang penting untuk mengirimkan baris yang asli dan menarik. Teknologi ini juga meningkatkan sensitivitas budaya dengan mengadaptasi output untuk mengontrol aksen, sehingga konten yang didubbing menghormati dan selaras dengan nuansa budaya, meningkatkan daya tarik global dan efektivitasnya.

Salah satu kritik umum terhadap suara yang dihasilkan AI adalah bahwa mereka dapat terdengar seperti robot. Bagaimana Deepdub memastikan bahwa suara yang dihasilkan AI mempertahankan naturalness dan nuansa emosional?

Teknologi proprietary kami menggunakan algoritma pembelajaran dalam dan pembelajaran mesin untuk mengirimkan solusi dubbing yang skalabel, berkualitas tinggi, dan mempertahankan niat, gaya, humor, dan nuansa budaya asli.

Bersama dengan teknologi eTTS™, suite inovatif Deepdub termasuk fitur seperti Voice-to-Voice (V2V), Voice Cloning, Accent Control, dan Vocal Emotion Bank, yang memungkinkan tim produksi untuk mempertajam kinerja agar sesuai dengan visi kreatif mereka. Fitur-fitur ini memastikan bahwa setiap suara membawa kedalaman emosional dan nuansa yang diperlukan untuk cerita yang menarik dan pengalaman pengguna yang berdampak.

Selama beberapa tahun terakhir, kami telah melihat kesuksesan solusi kami di industri Media & Hiburan, sehingga kami baru-baru ini memutuskan untuk membuka akses ke voiceover yang telah disetujui Hollywood kami kepada pengembang, perusahaan, dan pembuat konten dengan API Audio AI kami. Didukung oleh teknologi eTTS™, API ini memungkinkan generasi suara waktu nyata dengan parameter kustomisasi lanjutan, termasuk aksen, nada emosional, tempo, dan gaya vokal.

Fitur unggulan dari API kami adalah preset audio, yang dirancang berdasarkan tahun-tahun pengalaman industri dengan kebutuhan voiceover yang paling banyak diminta. Pengaturan preset ini memungkinkan pengguna untuk dengan cepat menyesuaikan berbagai jenis konten tanpa memerlukan konfigurasi manual atau eksplorasi yang luas. Preset yang tersedia termasuk deskripsi audio dan buku audio, narasi dokumenter atau kenyataan, drama dan hiburan, penyampaian berita, komentari olahraga, voiceover anime atau kartun, Interactive Voice Response (IVR), serta konten promosi dan komersial.

Dubbing AI melibatkan adaptasi budaya dan linguistik—bagaimana Deepdub memastikan bahwa solusi dubbingnya tepat secara budaya dan akurat?

Lokalisasi bukan hanya tentang menerjemahkan kata-kata – itu tentang menerjemahkan makna, niat, dan konteks budaya. Pendekatan hibrida Deepdub menggabungkan otomatisasi yang didorong AI dengan keahlian linguistik manusia, memastikan bahwa dialog yang diterjemahkan mencerminkan nuansa budaya dan emosional audiens target. Jaringan ahli lokalasi kami bekerja bersama AI untuk memastikan bahwa konten yang didubbing selaras dengan dialek regional, ekspresi, dan sensitivitas budaya.

Apa inovasi paling menarik yang saat ini Anda kerjakan untuk mendorong dubbing AI ke tingkat berikutnya?

Salah satu inovasi terbesar kami yang akan datang adalah Live/Streaming Dubbing, yang akan memungkinkan dubbing waktu nyata untuk siaran langsung seperti acara olahraga dan media berita, membuat acara global langsung tersedia secara instan. Dengan menggabungkan ini dengan inovasi lain yang menarik, fitur eTTs™ kami, teknologi proprietary yang memungkinkan penciptaan suara yang terdengar seperti manusia dari teks dalam skala besar dan dengan dukungan emosional penuh dan hak komersial yang terintegrasi, kami akan dapat menawarkan dubbing langsung berkualitas tinggi, autentik, dan emosional yang tidak ada bandingannya di pasar.

Ambil contoh upacara pembukaan Olimpiade atau acara olahraga langsung. Sementara penyiar lokal biasanya menyediakan komentari dalam bahasa dan dialek regional mereka, teknologi ini akan memungkinkan pemirsa dari seluruh dunia untuk mengalami acara penuh dalam bahasa asli mereka saat terjadi.

Dubbing langsung akan mendefinisikan kembali bagaimana acara langsung dialami di seluruh dunia, memastikan bahwa bahasa tidak pernah menjadi penghalang.

Dubbing yang dihasilkan AI telah menghadapi kritik dalam beberapa proyek baru-baru ini. Apa yang Anda pikir adalah faktor-faktor kunci yang mendorong kritik ini?

Kritik utama berasal dari kekhawatiran tentang autentisitas, etika, dan kualitas. Beberapa suara yang dihasilkan AI kekurangan resonansi emosional dan nuansa yang dibutuhkan untuk cerita yang immersive. Di Deepdub, kami telah menangani ini dengan mengembangkan suara yang dihasilkan AI yang ekspresif secara emosional, memastikan bahwa mereka mempertahankan jiwa kinerja asli. Deepdub telah mencapai lebih dari 70% kepuasan pemirsa yang luar biasa di semua dimensi, termasuk casting yang luar biasa, dialog yang jelas, sinkronisasi yang mulus, dan pacing yang sempurna.

Isu lainnya adalah penggunaan etis suara AI. Deepdub adalah pemimpin dalam dubbing AI yang bertanggung jawab, mempelopori Program Royalti industri pertama yang mengkompensasi aktor suara untuk kinerja yang dihasilkan AI. Kami percaya AI harus meningkatkan kreativitas manusia, bukan menggantikannya, dan komitmen ini tercermin dalam semua yang kami bangun.

Bagaimana Anda melihat dubbing AI mengubah industri hiburan global dalam 5-10 tahun ke depan?

Dalam dekade berikutnya, dubbing yang didorong AI akan mendemokratisasi konten seperti tidak pernah sebelumnya, membuat film, acara TV, dan siaran langsung dapat diakses oleh setiap audiens, di mana saja, dalam bahasa asli mereka secara instan.

Kami membayangkan dunia di mana platform streaming dan penyiar mengintegrasikan dubbing multibahasa waktu nyata, menghilangkan hambatan bahasa dan memungkinkan cerita untuk bepergian lebih jauh dan lebih cepat daripada metode lokalasi tradisional.

Di luar aksesibilitas bahasa, dubbing AI juga dapat meningkatkan akses media bagi mereka yang buta atau memiliki keterbatasan visual. Banyak dari mereka mengandalkan deskripsi audio untuk mengikuti konten visual, dan dubbing AI memungkinkan mereka untuk terlibat dengan konten berbahasa asing ketika subtitle tidak tersedia sebagai pilihan yang dapat diakses. Dengan memecahkan hambatan linguistik dan sensorik, dubbing yang didorong AI akan membantu menciptakan pengalaman hiburan yang lebih inklusif untuk semua, yang sangat kritis karena peraturan baru tentang aksesibilitas media mulai berlaku di seluruh dunia.

Apa tantangan terbesar yang masih perlu diatasi agar dubbing AI menjadi benar-benar mainstream?

Tantangan terbesar adalah mempertahankan kualitas ultra-tinggi dalam skala besar, memastikan presisi linguistik dan budaya, dan menetapkan pedoman etika untuk suara yang dihasilkan AI. Namun, di luar hambatan teknis, penerimaan publik terhadap dubbing AI bergantung pada kepercayaan. Pemirsa perlu merasa bahwa suara yang dihasilkan AI mempertahankan autentisitas dan kedalaman emosional kinerja asli daripada terdengar sintetis atau terlepas.

Agar dubbing AI dapat sepenuhnya diterima, itu harus memiliki kualitas tinggi dengan menggabungkan kesenian manusia dan teknologi dalam skala besar dan juga menunjukkan rasa hormat terhadap integritas kreatif, nuansa linguistik, dan konteks budaya. Ini berarti memastikan bahwa suara tetap setia pada niat aktor asli, menghindari ketidakakuratan yang dapat mengasingkan audiens, dan mengatasi kekhawatiran etika seputar risiko deepfake dan kepemilikan suara.

Seiring dubbing AI menjadi lebih umum, penyedia teknologi harus menerapkan standar yang ketat untuk autentisitas suara, keamanan, dan perlindungan properti intelektual. Deepdub secara aktif memimpin upaya ini, memastikan bahwa teknologi suara AI meningkatkan cerita global sambil menghormati kontribusi profesional dan artistik bakat manusia. Hanya dengan cara itu, audiens, pembuat konten, dan pemangku kepentingan industri akan sepenuhnya menerima dubbing AI sebagai alat yang tepercaya dan berharga. Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Deepdub.