Röportajlar
Anton Dvorkovich, Dubformer’in CEO’su ve Kurucu Ortağı – Röportaj Serisi

Öne çıkan noktalarYapay zekâ dublajı, konuşma insan gibi kulağa gelse bile duygusal açıdan otantik…
Daha fazla göster
- Yapay zekâ dublajı, konuşma insan gibi kulağa gelse bile duygusal açıdan otantik performanslarda hâlâ başarısız oluyor.
- VOX-DUB'ın açık kıyaslama ölçütü, şirketleri dublaj kalitesi iddialarını ölçülebilir kanıtlarla ispatlamaya zorluyor.
- Yapay zekâ yerelleştirme, bağımsız içerik üreticilerinin bir zamanlar yalnızca büyük stüdyolara ayrılmış olan küresel izleyici kitlelerine ulaşmasını sağlayacak.
Anton Dvorkovich, Dubformer’in CEO’su ve kurucu ortağı, AI, dil ve konuşma teknolojilerinin kesişme noktasını on yıldan fazla bir süredir şekillendirmiştir. 2023 yılında Dubformer’i kurmadan önce, Yandex’de büyük ölçekli makine öğrenimi ve NLP girişimlerini yönetmiş, Yandex Translate, Yandex Keyboard ve ses asistanı Alice gibi ürünleri denetlemiştir. Nebius’da AI başkanı olarak görev yapmış, akıllı sistemler için büyük ölçekli altyapı geliştirmiştir. 100’den fazla mühendis, geliştirici ve araştırmacının yer aldığı çok fonksiyonlu ekiplere liderlik etmesi, Dubformer’in vizyonuna temel oluşturmuştur – gelişmiş AI dubbing yoluyla dil engelini aşmak.
Dubformer, Amsterdam merkezli bir AI destekli dubbing şirketi olup, bereits bir milyondan fazla dakika yerel video içeriğini işlemiştir. Şirket, sentetik sesler kullanarak videoları çevirmekte ve dublajlamakta, böylece yaratıcılar, stüdyolar ve şirketler içeriklerini küresel olarak erişilebilir hale getirebilmektedir. Platformu, konuşma tanıma, ses klonlama ve çeviri için derin öğrenme modellerini kullanmakta, geleneksel dubbing araçlarını aşan doğal sesler üretmektedir.
Yandex ve Nebius’daki NLP ve konuşma ekiplerini yönettikten sonra, neden bir AI dubbing şirketi kurmaya karar verdiniz ve bu deneyimler vizyonunuzu nasıl şekillendirdi?
Yandex’de NLP başkanı olarak, teknolojiyle dil engelini aşma konusunda bir tutku geliştirdim. AI devrimini şahsen yaşadım ve katıldım – ve sonra medya çevirisi konusundaki büyük boşluğu fark ettim. Metin çevirisi neredeyse mükemmel hale geldikçe, insanlar şu soruyu sormaya başladı: Peki, insanları etkileyen hikayeler ne olacak? Peki, insanları güldüren veya ağlatan performanslar ne olacak? İşte bu nedenle AI dubbing teknolojisini geliştirmeye ve sadece anlaşılabilecek değil, keyif alabilecek bir medya çevirisi yapmaya karar verdik. Bu nedenle Dubformer’i kurduk.
Medya lokalizasyonunda hangi boşluğu tespit ettiniz ve nöral makine çevirisi ve ses teknolojilerindeki geçmişiniz bu boşluğu çözme yaklaşiminizi nasıl etkiledi?
Medya lokalizasyonu bugün neredeyse tamamen ses oyuncuları tarafından yapılmakta ve bu beberapa dezavantaja sahiptir: çok pahalıdır, dönüşüm süreleri yavaşdır ve ölçeklendirme çok zordur. Geleneksel dubbing zanaatı inanılmazdır, ancak bu kısıtlamalar nedeniyle birçok proje hiç dublajlanmaz. Aslında, içeriklerin %95’i yalnızca orijinal dilinde mevcuttur. İşte bu boşluğu çözüyoruz.
VOX-DUB benchmark, dubbing kalitesini değerlendirme açısından önemli bir kilometre taşıdır. Katılım, endüstrinin şu anki durumuna ilişkin hangi içgörülere sahip oldu?
VOX-DUB sonuçları, endüstrinin zaten insan benzeri sesler oluşturma sorununu çözdüğünü, ancak duyguların gerçekten önemli olduğu içeriklerin dublajı konusundaki zorluğun devam ettiğini gösterdi. Birçok sistem anlaşılabilecek konuşma üretebilir, ancak çok azı orijinal ile aynı duygusal tonu ve ifadeyi yakalayabilir. Metinleri yüksek sesle okumayı öğrendik, ancak sahne performanslarını gerçekten nasıl yapacağımızı hala öğreniyoruz.
Ses sadakatini ve genel konuşma kalitesini dengeleme konusundaki yaklaşiminiz nedir?
Aslında, dengeleme genellikle ses sadakati ve kalite arasında değil, duygusal, tonlama ve ifade aktarımının derinliği ile sonuçların stabilitesi arasında yapılır. Aktardığınız ne kadar çok şey, yanlış aktarma riski o kadar yüksek olur, özellikle de duyguların farklı dillerde farklı şekilde ifade edildiği durumlarda. Bir dilde tutkulu olan bir şey, başka bir dilde doğal veya even jarring olabilir. Duygusal doğruluk ve doğalNESS arasında denge kurmaya çalışıyoruz, böylece çıktı hem ifade edici hem de dinlemesi rahat olur.
AI dubbing’i geleneksel metin-okuma sistemlerinden teknik ve sanatsal açıdan farklı kılan nedir?
Geleneksel metin-okuma sistemleri, genellikle nötr bir tonla metin okumaya odaklanır. AI dubbing, özellikle medya endüstrisinde, anlamı aktarmak değil, varlığın ve gerçek performansın hissinin yaratılmasıdır. Duygular, tonlamalar ve doğal duraklamalar kritik bir rol oynar, ayrıca karıştırma, akustik adaptasyon ve dudak hareketleri ve sahne ritmi ile senkronizasyon gibi zorluklar vardır. Sanatsal açıdan, AI dubbing, okumaktan çok oyunculuğa yakındır; sistem, satırı sadece telaffuz etmez, performansını gösterir.
VOX-DUB değerlendirme çerçevesinin şeffaflık ve hesap verebilirlik açısından en değerli bulduğunuz yönleri nelerdir?
VOX-DUB’un değerli olmasının nedeni, herkesin gerçekten ne teslim edebileceğini dürüst olmasıdır. Bu çerçeve olmadan, şirketler dubbing kalitesi hakkında iddialarda bulunabilir, ancak bunları doğrulamak için bir yol yoktur. VOX-DUB, AI dubbing hatalarının ilk sistematik kataloğunu sunar, bu da şeffaflık için çok önemlidir. Bu açık kaynak veri kümesi, kalite için ortak bir dil oluşturur – orijinal konuşma parçaları, çeviriler, üretilen sesler ve beş kritik açıdan insan notasyonları: telaffuz, doğalNESS, ses kalitesi, duygu benzerliği ve ses benzerliği. İlk kez, dubbing için net bir standart ve rehberlik vardır. Şimdi, ekipler kalite hakkında konuştuğunda, herkes aynı şeyi kasteder. Yayınlanan sonuçlar, gerçek hesap verebilirlik sağlar. Ekipler, pazarlama iddialarını performans verilerine dayandırmak zorundadır. Bu tür açıklık, tüm endüstrinin nasıl çalıştığını değiştirir ve yaratıcılarla güvenilir, ölçülebilir sonuçlar sağlar.
Çok dilli içerik oluşturma ve dağıtımı açısından VOX-DUB gibi benchmark’lerin ilerlemeyi nasıl etkileyeceğini düşünüyorsunuz?
Net benchmark’lerin güzel yanı, herkesin takip etmesi için bir yol haritası oluşturmasıdır. Ekipler VOX-DUB sonuçlarını gördüklerinde, kendi geliştirme zamanlarını hızlandırır. Kalitenin neye benzediğini bilmeleri, somut hedeflere ulaşmalarını sağlar. Şirketlerin yol haritalarını sıkıştırırken şahit oluyorum, çünkü başka yerlerde neler çalıştığını görebiliyorlar. Bu ortak anlayış, tüm alanın birlikte daha hızlı ilerlemesine yardımcı oluyor, bu da daha çeşitli içeriklerin küresel izleyicilere ulaşmasını sağlıyor.
Platformunuz, telaffuz ve doğalNESS açısından güçlü sonuçlar elde etti. Bu başarıya en çok hangi yenilikler veya model seçimleri katkıda bulundu?
Bu, dubbing’in sadece bireysel kelimelerden değil, tüm performans ekosisteminden oluştuğunu anlamaktan kaynaklanıyor. İki önemli yenilik fark yarattı. İlk olarak, telaffuzu salt teknik olarak değil, duygusal olarak ele almaya başladık. İnsanlar mükemmel olarak telaffuz etmezler; kelimeleri üzdüklerinde slurlar, heyecanlandıklarında hızlanırlar. Bu doğal kusurları yakalamak kritikti. İkincisi, tüm ses manzarasını düşünmek zorunda kaldık. Bir sahnedeki yağmur veya yankılı bir katedralde konuşan birinin sesi doğal olarak adapte olur. Sistemimiz, orijinal akustik ortamla uyumlu hale gelmeyi öğrendi. Bunlar sadece teknik geliştirmeler değildi, insan konuşmasının nasıl hissettirdiğini anlamaktı.
Platformunuz, profesyonel düzeyde dubbing sunmak için insan uzmanlığı ile otomasyonu nasıl birleştirir?
Geleneksel dubbing stüdyolarıyla yakın çalışıyoruz, onlara yeni beceriler ve ortaya çıkan meslekler konusunda eğitim vermelerine yardımcı oluyoruz. AI, çeviri, senkronizasyon ve ses oluşturmayı ele alırken, profesyonel inceleyiciler, çevirmenler ve ses mühendisleri platformumuz aracılığıyla final kalite kontrolünü gerçekleştirir. Bu yaklaşım, stüdyo düzeyinde kaliteyi korurken, dönüşüm sürelerini haftalardan saatlere indirgeyebilmemizi sağlar. Otomasyon, ölçeklenebilirlik sağlar ve insan uzmanlığı, sanatsal ifadeyi güvence altına alır. Makine verimliliği ve insan zanaatkarlığının en iyisini bir araya getirir.
AI medya lokalizasyon pazarı hızla büyürken, küresel yaratıcı üretimi yeniden şekillendirmede AI’ın daha geniş bir rolü olacağını düşünüyor musunuz?
AI lokalizasyonu, dubbing’i daha geniş bir yaratıcı ve hikaye anlatıcı kitlesine ulaştıracaktır. Onlara, duygusal derinlik veya kültürel otantiklik kaybetmeden hikayelerini küresel izleyicilerle paylaşma imkanı sağlayacaktır. Bu, içerikte çeşitlilik artışına yol açacak, bağımsız film yapımcıları, belgeselciler, eğitim içerik oluşturucuları gibi niş projelerin ve uzmanlaşmış izleyicilerin profesyonel dubbing’e erişmelerini sağlayacaktır.
Gelecek gelişmeler veya işbirlikleri konusunda en çok nelerden heyecan duyuyorsunuz?
En çok, duygusal aktarım yeteneklerimizi geliştirmeye devam etmekten heyecan duyuyorum. İlerleme kaydettik, ancak performansların gerçekten otantik hissetmesi için masih çok şey öğrenmemiz gerekiyor. İşbirlikleri konusunda, geleneksel dubbing stüdyolarıyla daha derin ortaklıklar kuruyoruz, böylece her iki dünyanın en iyisini birleştiren hibrit iş akışları oluşturuyoruz. Bu stüdyolar, on yıllarca süren uzmanlıklarıyla bizim için çok değerli, biz de onlara ölçeklenebilirlik için teknoloji sağlıyoruz. En heyecan verici işbirlikleri, AI’ı bir replacement olarak değil, ekiplerini çeşitlendirmelerine ve daha önce ele alamadıkları projeleri ele almalarına yardımcı olarak gören stüdyolarla oluyor. Gerçek kırılma noktası, AI tarafından oluşturulmuş performansların gerçekten unutulmayacak olmasıdır. Oraya gidiyoruz.
Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Dubformer‘i ziyaret edebilir.












