Wawancara

Anton Dvorkovich, CEO dan Pendiri Dubformer – Seri Wawancara

Antoine Tardif
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaDubbing AI masih gagal menghasilkan penampilan yang autentik secara emosional bahkan…
Lihat selengkapnya
  • Dubbing AI masih gagal menghasilkan penampilan yang autentik secara emosional bahkan ketika suara terdengar seperti manusia.
  • Tolok ukur terbuka VOX-DUB memaksa perusahaan membuktikan klaim kualitas dubbing dengan bukti yang terukur.
  • Lokalisasi AI akan memungkinkan kreator independen menjangkau audiens global yang dulu hanya bisa diakses studio besar.

Anton Dvorkovich, CEO dan pendiri Dubformer, telah menghabiskan lebih dari satu dekade membentuk persimpangan antara AI, bahasa, dan teknologi suara. Sebelum meluncurkan Dubformer pada 2023, ia memimpin inisiatif pembelajaran mesin dan NLP utama di Yandex, mengawasi produk seperti Yandex Translate, Yandex Keyboard, dan asisten suara Alice, masing-masing melayani jutaan pengguna. Di Nebius, ia menjabat sebagai Kepala AI, memajukan infrastruktur skala besar untuk sistem cerdas. Pengalamannya mengelola tim fungsional lintas disiplin yang terdiri dari lebih dari 100 insinyur, pengembang, dan peneliti memberikan landasan untuk visi Dubformer—menghubungkan perbedaan bahasa melalui dubbing AI canggih.

Dubformer adalah startup dubbing yang ditenagai AI yang berkantor pusat di Amsterdam dan telah memproses lebih dari satu juta menit konten video lokal. Perusahaan ini mengkhususkan diri dalam menerjemahkan dan mendubbing video menggunakan suara sintetis yang mempertahankan nada emosional, waktu, dan individualitas pembicara, membantu kreator, studio, dan perusahaan membuat konten mereka dapat diakses secara global. Platformnya menggunakan model pembelajaran dalam untuk pengenalan suara, cloning suara, dan terjemahan, menawarkan hasil yang terdengar alami dan jauh melampaui alat dubbing tradisional.

Setelah memimpin tim NLP dan suara di Yandex dan menjabat sebagai Kepala AI di Nebius, apa yang memotivasi Anda untuk membangun perusahaan dubbing AI khusus, dan bagaimana pengalaman tersebut membentuk visi Anda?

Bekerja di Yandex sebagai Kepala NLP, saya mengembangkan minat untuk menghancurkan hambatan bahasa dengan teknologi. Saya menyaksikan (dan berpartisipasi dalam) revolusi AI yang terjadi pada terjemahan mesin – dan kemudian saya menyadari bahwa kesenjangan besar yang masih belum terpecahkan adalah terjemahan media (audio & video). Ketika Anda melihat terjemahan teks menjadi hampir sempurna, Anda mulai bertanya: apa tentang cerita yang sebenarnya memindahkan orang? Apa tentang penampilan yang membuat Anda tertawa atau menangis? Jadi kami memutuskan untuk mengambil tantangan membangun teknologi dubbing AI, dan untuk melampaui terjemahan media yang hanya dapat dipahami, ke yang benar-benar dinikmati. Ini adalah alasan kami meluncurkan Dubformer.

Apa kesenjangan spesifik dalam lokalisisasi media yang Anda identifikasi, dan bagaimana latar belakang Anda dalam terjemahan mesin saraf dan teknologi suara mempengaruhi pendekatan Anda untuk memecahkan masalah tersebut?

Lokalisasi media saat ini hampir seluruhnya dilakukan dengan aktor suara, dan itu memiliki beberapa kelemahan: itu cukup mahal, waktu putarannya lambat, dan menskalakan itu sangat sulit dan menyebabkan biaya overhead besar dalam manajemen orang. Pikirkan tentangnya: kerajinan dubbing tradisional luar biasa, tetapi keterbatasan itu berarti banyak proyek tidak pernah didubbing sama sekali. Jadi, sementara dubbing tradisional cukup baik, ada banyak proyek yang tidak didubbing saat ini karena kelemahan yang disebutkan sebelumnya. Faktanya, 95% konten hanya tersedia dalam bahasa aslinya. Itulah kesenjangan yang kami tangani.

VOX-DUB benchmark adalah sebuah tonggak penting untuk mengevaluasi kualitas dubbing. Apa wawasan yang diperoleh dari partisipasi tentang di mana industri saat ini berdiri?

Hasil VOX-DUB mengungkapkan sesuatu yang penting: industri telah menyelesaikan masalah membuat suara AI terdengar ‘mirip manusia’ untuk konten di mana komponen emosional tidak kritis. Namun, mendubbing konten di mana emosi benar-benar penting tetap menjadi tantangan yang belum terpecahkan, bahkan jika tampaknya semuanya sudah terpecahkan. Banyak sistem dapat menghasilkan ucapan yang dapat dipahami, tetapi sangat sedikit yang dapat menciptakan penampilan yang terasa autentik dan selaras emosional dengan aslinya. Kami telah menguasai membaca teks dengan suara, tetapi kami masih belajar bagaimana sebenarnya memainkan adegan.

Anda telah berbicara tentang trade-off antara fidelitas suara dan kualitas ucapan secara keseluruhan. Bagaimana Anda mendekati keseimbangan antara faktor-faktor tersebut dalam sistem Anda?

Dalam kenyataan, trade-off sering tidak antara fidelitas suara dan kualitas, tetapi antara kedalaman transfer emosional, intonasi, dan ekspresi dan stabilitas hasilnya. Semakin Anda mencoba mentransfer, semakin tinggi risiko membawa sesuatu yang tidak tepat, terutama karena emosi terdengar dan diekspresikan secara berbeda di seluruh bahasa. Apa yang terdengar bersemangat dalam satu bahasa mungkin terdengar tidak alami atau bahkan mengganggu dalam bahasa lain. Kami bertujuan untuk menemukan keseimbangan antara akurasi emosional dan kealamiannya, memastikan output tetap ekspresif tetapi nyaman didengar.

Dalam pandangan Anda, apa yang membuat dubbing AI secara fundamental berbeda dari teks-ke-suara tradisional—baik secara teknis maupun artistik?

TTS tradisional fokus pada membaca teks, biasanya dengan nada netral. Dubbing AI, terutama di industri media, adalah tugas yang jauh lebih kompleks, di mana tujuannya tidak hanya untuk menyampaikan makna tetapi untuk menciptakan kesan kehadiran dan penampilan yang sebenarnya. Emosi, intonasi, dan jeda alami semua memainkan peran penting, bersama dengan tantangan seperti mixing, adaptasi akustik, dan sinkronisasi dengan gerakan bibir dan irama adegan. Secara artistik, dubbing AI jauh lebih dekat dengan akting daripada membaca; sistem harus memainkan baris, bukan hanya mengucapkannya.

Apa aspek dari kerangka evaluasi VOX-DUB yang Anda temukan paling berharga dalam mendorong transparansi dan akuntabilitas dalam lokalisisasi media AI?

Apa yang membuat VOX-DUB sangat berharga untuk transparansi adalah itu memaksa semua orang untuk jujur tentang apa yang sebenarnya dapat mereka capai. Sebelum kerangka ini, perusahaan dapat membuat klaim tentang kualitas dubbing mereka tanpa cara untuk memverifikasinya. Pemecahan yang krusial adalah VOX-DUB memperkenalkan katalog sistematis pertama dari kesalahan dubbing AI melalui benchmark berbasis manusia yang komprehensif. Dataset open-source ini menciptakan bahasa bersama untuk kualitas – fragmen ucapan asli dengan terjemahan, audio yang dihasilkan dari sistem yang berbeda, dan anotasi manusia di seluruh lima aspek kritis: pengucapan, kealamiannya, kualitas suara, kesamaan emosi, dan kesamaan suara. Untuk pertama kalinya, kami memiliki standar untuk evaluasi manusia dari dubbing dengan pedoman dan contoh yang jelas. Sekarang ketika tim berbicara tentang kualitas, semua orang sebenarnya berbicara tentang hal yang sama. Hasil yang dipublikasikan yang dapat dilihat oleh semua orang menciptakan akuntabilitas nyata. Tim harus mendukung klaim pemasaran mereka dengan data kinerja di seluruh lima dimensi kualitas. Jenis keterbukaan ini mengubah cara seluruh industri beroperasi dan membangun kepercayaan dengan kreator yang membutuhkan hasil yang dapat diandalkan dan terukur.

Bagaimana Anda melihat benchmark seperti VOX-DUB mempengaruhi kecepatan kemajuan dalam pembuatan dan distribusi konten multibahasa?

Hal yang indah tentang memiliki benchmark yang jelas adalah itu menciptakan peta jalan untuk semua orang mengikuti. Ketika tim melihat apa yang dapat dicapai melalui hasil VOX-DUB, itu mempercepat timeline pengembangan mereka sendiri. Daripada menebak apa yang terlihat seperti kualitas, mereka memiliki target yang jelas untuk dituju. Saya menyaksikan perusahaan mempercepat jadwal mereka karena mereka dapat melihat bukti apa yang berhasil di tempat lain. Pemahaman bersama ini membantu seluruh bidang bergerak lebih cepat bersama, yang berarti lebih banyak konten yang beragam dapat mencapai audiens global lebih cepat.

Platform Anda mencapai hasil yang kuat dalam pengucapan dan kealamiannya. Apa inovasi atau pilihan model yang berkontribusi paling banyak pada hal ini?

Itu semua tentang memahami bahwa dubbing tidak hanya tentang kata-kata individu; itu tentang ekosistem penampilan keseluruhan. Dua pemecahan membuat perbedaan. Pertama, kami berhenti mengobati pengucapan sebagai murni teknis dan mulai mengobatinya sebagai emosional. Orang tidak berbicara dengan suara yang diartikulasikan dengan sempurna; mereka menggabungkan kata-kata ketika sedih, mereka terburu-buru ketika bersemangat. Menangkap ketidaksempurnaan alami itu sangat penting. Kedua, kami harus memikirkan tentang lanskap suara keseluruhan. Ketika seseorang berbicara dalam adegan dengan hujan, atau di katedral yang bergema, suaranya secara alami menyesuaikan diri. Sistem kami belajar untuk bercampur dengan lingkungan akustik asli. Ini tidak hanya perbaikan teknis. Ini tentang memahami apa yang membuat ucapan terdengar manusia.

Bagaimana platform Anda menggabungkan keahlian manusia dengan otomatisasi untuk menghasilkan dubbing kelas profesional dalam skala besar?

Kami bekerja sama dengan studio dubbing tradisional, membantu mereka melatih tim mereka dalam keterampilan baru dan profesi yang muncul. AI menangani terjemahan, sinkronisasi, dan generasi suara, sementara reviewer profesional, penerjemah, dan insinyur suara melakukan pemeriksaan kualitas akhir melalui platform kami. Pendekatan ini memungkinkan kami untuk mempertahankan kualitas studio sambil mengurangi waktu putaran dari minggu menjadi jam. Otomatisasi menyediakan skalabilitas, dan keahlian manusia memastikan ekspresivitas artistik. Ini adalah yang terbaik dari kedua dunia: efisiensi mesin dengan seni manusia.

Dengan pasar lokalisisasi media AI yang tumbuh dengan cepat, apa peran yang lebih luas yang Anda lihat AI memainkan dalam membentuk kembali produksi kreatif global?

Lokalisasi AI akan membuat dubbing dapat diakses oleh jangkauan kreator dan pembuat cerita yang jauh lebih luas. Ini akan memungkinkan mereka untuk berbagi cerita mereka dengan audiens global tanpa kehilangan kedalaman emosional atau autentikasi budaya. Dalam waktu, ini akan menyebabkan keragaman konten yang jauh lebih besar, membuka pintu untuk proyek niche dan audiens khusus yang sebelumnya tidak dapat membiayai dubbing profesional. Pikirkan tentang pembuat film independen, pembuat dokumenter, kreator konten pendidikan; mereka akhirnya dapat mencapai audiens global yang sebelumnya tidak terjangkau.

Apakah kemajuan atau kolaborasi yang akan datang yang paling Anda antisipasi saat melihat ke tahap pengembangan berikutnya?

Apa yang paling saya antisipasi adalah terus memperbaiki kemampuan transfer emosional kami. Kami telah membuat kemajuan yang baik, tetapi masih banyak ruang untuk menjadi lebih baik dalam melestarikan nuansa halus yang membuat penampilan terasa autentik. Dalam hal kolaborasi, kami sedang membangun kemitraan yang lebih dalam dengan studio dubbing tradisional untuk menciptakan alur kerja hibrida yang menggabungkan yang terbaik dari kedua dunia. Studio-studio ini memiliki dekade keahlian yang kami pelajari, sementara kami menyediakan teknologi untuk menskalakan seni mereka. Kolaborasi yang paling menarik adalah dengan studio yang melihat AI bukan sebagai pengganti, tetapi sebagai cara untuk meningkatkan tim mereka dan mengambil proyek yang lebih beragam yang sebelumnya tidak dapat mereka tangani. Pemecahan nyata akan terjadi ketika kami dapat secara konsisten menghasilkan penampilan yang audiens lupa bahwa itu dibuat oleh AI. Itulah arah yang kami tuju.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Dubformer.

Antoine adalah pemimpin visioner dan mitra pendiri Unite.AI, yang didorong oleh semangat tak tergoyahkan untuk membentuk dan memajukan masa depan AI dan robotika. Sebagai pengusaha yang telah mendirikan beberapa perusahaan, ia percaya bahwa AI akan mengubah masyarakat secara mendasar seperti listrik. Ia kerap berbicara dengan antusias tentang potensi teknologi disruptif dan kecerdasan buatan umum (AGI).

Sebagai futuris, ia berdedikasi untuk menelusuri bagaimana inovasi ini akan membentuk dunia kita. Ia juga merupakan pendiri Securities.io, platform yang berfokus pada investasi dalam teknologi mutakhir yang mendefinisikan ulang masa depan dan mengubah berbagai sektor secara menyeluruh.