Fish Audio, Yapay Zekâ Seslerini Yönlendirmek ve Tek Bir Kelimeyi Düzenlemek için Drama 3’ü Tanıttı

Bir diyalog satırında doğru kelimelerin tümü yer alabilir ama yine de yanlış bir performans ortaya çıkabilir. Duraklama çok erken gelir. Sahne tereddüt gerektirirken karakter kendinden emin duyulur. Yanlış telaffuz edilen tek bir kelime, başka açılardan inandırıcı olan bir anlatımı bozar.

Fish Audio, 13 Ekim’de duyurduğu yeni metinden konuşmaya modelini Drama 3 ile bu yapım sorunlarını çözmeyi hedefliyor. Şirket, içerik üreticilerinin konuşma biçimini günlük dille yönlendirebildiğini, birden fazla konuşmacının yer aldığı sahneler oluşturabildiğini ve sentezlenmiş sesin seçili bir bölümünü, çevresindeki performansı yeniden oluşturmadan onarabileceğini söylüyor.

En önemli özellik, belki de en küçük düzenleme olabilir: Öncesindeki ve sonrasındaki sesi, duyguyu ve ritmi koruyarak tek bir kelimeyi değiştirmek. Sesli kitap, dublajlı içerik, oyun veya sesli drama üreten ekipler için sentetik bir sesin değeri, giderek ne kadar kolay düzenlenebildiğine bağlı hâle geliyor.

Bir Ses Performansına Yön Vermek

Drama 3; ton, tempo ve karakter betimlemelerini, cümle içinde konuşma biçimini değiştiren talimatlar da dâhil olmak üzere kabul ediyor. Duyuruya göre bir bölüm sakin başlayıp paniğe dönüşebilir; her duygu bölümü için yeniden üretim yapmak gerekmez.

Fish Audio’nun kurucu ortağı ve CEO’su Rissa Cao, lansman duyurusunda, “Sesli yapay zekâ, konuşma üretme konusunda çok iyi bir noktaya geldi. Sıradaki adım, bir performansa yön vermek,” dedi.

Şirketin herkese açık Drama 3 önizleme sayfası, kontrolleri daha somut biçimde gösteriyor. Kullanıcılar köşeli parantezler içine yönlendirmeler, sesler ve duraklamalar ekleyebiliyor ya da seçili kelimelere eşleşen etiketler uygulayabiliyor. Böylece yazar, fısıltı, vurgu veya daha yavaş konuşma gibi bir etkiyi belirli bir ifadeyle sınırlayabiliyor. Otomatik Etiketleme özelliği, bir senaryo için başlangıç niteliğinde yönlendirmeler de önerebiliyor; içerik üreticileri daha sonra bunları düzenleyebiliyor.

Yaratıcı açıdan sonuç açık: Senaryo, hem diyalogdan hem de performans yönergelerinden oluşuyor. Yazarlar aynı düzenlenebilir metin üzerinde karakterin ne demek istediği, nefesin nerede alınacağı ve hangi ifadenin vurgulanması gerektiği üzerinde çalışabiliyor.

Ses Onarımı: Aksayan Anı Düzeltmek

Fish Audio, Drama 3’ün ses onarma özelliğini, mevcut performansın bir bölümünü seçip talimatları güncelledikten sonra çevresindeki sesi koruyarak o bölümü yeniden oluşturmanın bir yolu olarak tanımlıyor. Kurucu ortak ve baş bilim insanı Shijia Liao, modelin değiştirilmiş kelimenin öncesindeki ve sonrasındaki sesi kullanarak yeni kelimenin performansa uyum sağlamasını sağladığını söylüyor.

Bu, tek başına duran yeni bir replik üretmekten farklı bir iş. Yeni sesin mevcut performansla bütünleşmesi gerekiyor: Düzenlemenin sınırlarında zamanlama, tonlama ve ses kimliği inandırıcılığını korumalı.

Bir anlatıcının bir paragrafı doğru biçimde okuduğu ancak bir özel adı tuhaf biçimde vurguladığı kurgusal bir sesli kitap yapımını düşünün. Hedefli bir düzeltme, paragrafın geri kalanındaki başarılı okumayı koruyabilir. Aynı yaklaşım, senaryoda yapılan bir değişikliğin ardından bir oyun ekibinin kısa bir diyalog bölümünü gözden geçirmesine de yardımcı olabilir.

Bunlar, ölçülmüş verimlilik artışları değil, olası iş akışı avantajlarıdır. Duyuruda, tek kelimelik düzeltmelerin farklı seslerde, aksanlarda veya zorlu geçişlerde çevredeki sesi ne ölçüde güvenilir biçimde koruduğuna ilişkin bağımsız bir değerlendirme sunulmuyor.

Sahneler, Karakterler ve Diller Arası Tutarlılık

Drama 3, birden fazla konuşmacının yer aldığı eksiksiz bir sahneyi tek seferde oluşturmayı da destekliyor. Fish Audio, her karakterin kendine özgü sesini koruduğunu ve kendinden önceki diyaloğun bağlamına uygun yanıt verdiğini söylüyor. Lansmanda, uzun senaryolar boyunca karakter tutarlılığı, bir sahne içinde dil değişiklikleri ve İngilizce, Çince, Japonca ve Korece dâhil dillerde fonem düzeyinde telaffuz kontrolü öne çıkarılıyor.

Diyalogda süreklilik, kimin konuştuğunu anlamaktan daha fazlasını gerektirir. Bir yanıt, diziye sonradan eklenmiş ilgisiz bir kayıt gibi değil, önceki repliğin devamıymış gibi duyulmalıdır. Yerelleştirmede ise telaffuz ve karakter özellikleri, diller arası geçişte de korunmalıdır.

Şirketin iddiaları her iki soruna da yanıt veriyor; ancak pratikte belirleyici olan, tamamlanmış sahne olacak: Konuşmacılar değiştiğinde, bir bölüm düzenlendiğinde veya senaryo başka bir dile çevrildiğinde dinleyiciler ses kimliğinde ya da konuşma biçiminde ani değişiklikler duymamalı.

Drama 3’ün Fish Audio Teknolojisindeki Yeri

Önce yönlendirmeye odaklanan bu yaklaşım, Fish Audio’nun daha önce anlattığı araştırma çizgisini sürdürüyor. Şirketin daha önce yayımladığı S2 araştırma sürümü, doğal dildeki talimatların belirli kelime veya ifade konumlarına yerleştirilmesini destekliyordu. Şirket, ses zaman çizgisi boyunca tahmin yapmayı daha ince akustik ayrıntılar üretmekten ayıran çift otoregresif bir mimarinin yanı sıra anlaşılırlık, talimatlara uyum ve ses benzerliği için pekiştirmeli öğrenmeyle hizalamayı da tanımlamıştı.

Önceki çalışmalar, Fish Audio’nun kontrol edilebilir konuşmaya odaklanmasını anlamak için yararlı bir bağlam sunuyor. Ancak bunlar Drama 3’ün mimarisinin tam olarak ne olduğunu ortaya koymuyor: Yeni duyuruda mimari bir değişiklikten söz ediliyor, fakat iki sistemi eşdeğer saymaya veya S2’nin kıyaslama sonuçlarını Drama 3’e aktarmaya yetecek ayrıntı yayımlanmıyor.

Geliştiriciler için metinden konuşmaya API belgeleri, Drama 3’ü model tanımlayıcısı altında listeliyor drama-3-preview. Çok konuşmacılı isteklerde, metin içinde bir ses tanımlayıcıları listesi ve konuşmacı işaretleri kullanılıyor. Uç nokta ayrıca hız, ses düzeyi ve örnekleme denetimlerinin yanı sıra WAV, PCM, MP3 ve Opus dâhil çıktı biçimleri de sunuyor.

Ürün sayfası ve API belgeleri, Drama 3’ü hâlâ önizleme sürümü olarak tanımlıyor. Fish Audio, sonuçların denemeden denemeye değiştiğini ve modelin geliştirilmeye devam edeceğini belirtiyor. Bu nedenle prodüksiyon ekipleri, lansmanda öne sürülen özellik iddialarını kendi içeriklerinde gözlemledikleri tutarlılıktan ayrı değerlendirmeli.

Bir Prodüksiyon Aracı, Revizyonlarıyla Değerlendirilir

Fish Audio, artık 15 milyondan fazla kullanıcıya hizmet verdiğini ve yıllık yinelenen gelirinin 21 milyon dolara ulaştığını söylüyor. Şirketin bildirdiği bu rakamlar, Drama 3’ü konuşma üretimi, transkripsiyon, ses klonlama ve yaratıcı araçları kapsayan daha geniş bir platformun parçası olarak konumlandırıyor.

Şirket, lansman kapsamında ilk 30 gün boyunca API kullanımında %80 indirim uygulanacağını, ses sağlayıcısını değiştiren uygun koşulları sağlayan işletmelere ise üç ay ücretsiz kullanım sunulacağını belirtiyor. Güncel planlar ve teklif ayrıntıları için okurlar Fish Audio’nun fiyatlandırma sayfasına göz atabilir.

Drama 3’ün en güçlü yanı, üretimle düzenlemenin kesiştiği noktada ortaya çıkıyor. Etkileyici bir ilk deneme elbette işe yarar; ancak bir ses modelini prodüksiyon iş akışına daha kolay uyarlamayı sağlayan şey, başarılı bölümleri korurken zayıf olanları düzeltmektir. Lansman, Fish Audio’nun yeni döneminin merkezine bu yeteneği yerleştiriyor.