Fish Audio Meluncurkan Drama 3 untuk Mengarahkan Suara AI dan Menyunting Satu Kata

Sebuah dialog bisa memuat semua kata yang tepat, tetapi tetap terdengar dengan cara yang keliru. Jeda muncul terlalu cepat. Tokohnya terdengar percaya diri padahal adegannya menuntut keraguan. Satu kata yang salah pengucapannya dapat merusak narasi yang sebelumnya meyakinkan.

Fish Audio menyasar masalah produksi tersebut dengan Drama 3, model sintesis ucapan terbarunya yang diumumkan pada 13 Oktober. Perusahaan itu mengatakan bahwa kreator dapat mengarahkan penyampaian dengan bahasa sehari-hari, membuat adegan dengan beberapa penutur, dan memperbaiki segmen audio sintetis yang dipilih tanpa membuat ulang bagian lain dari penampilan tersebut.

Fitur yang paling berarti mungkin justru penyuntingan terkecil: mengubah satu kata sambil mempertahankan suara, suasana, dan ritme di sekitarnya. Bagi tim yang membuat buku audio, konten sulih suara, gim, atau drama audio, nilai suara sintetis semakin bergantung pada kemudahan untuk merevisinya.

Mengarahkan Penampilan Suara

Drama 3 menerima deskripsi tentang nada, tempo, dan karakter, termasuk instruksi untuk mengubah penyampaian di tengah kalimat. Menurut pengumuman tersebut, sebuah bagian dapat dimulai dengan tenang lalu berubah menjadi panik, tanpa perlu menghasilkan ulang setiap bagian yang menggambarkan emosi berbeda.

“AI suara telah menjadi sangat baik dalam menghasilkan ucapan. Langkah berikutnya adalah mengarahkan sebuah penampilan,” kata Rissa Cao, salah satu pendiri sekaligus CEO Fish Audio, dalam pengumuman peluncuran.

Halaman pratinjau Drama 3 yang dapat diakses publik milik perusahaan itu memberikan gambaran yang lebih konkret tentang kontrolnya. Pengguna dapat menambahkan arahan, suara, dan jeda di dalam tanda kurung siku, atau menerapkan tag berpasangan pada kata-kata tertentu. Dengan begitu, penulis dapat membatasi efek seperti bisikan, penekanan, atau penyampaian yang lebih lambat pada frasa tertentu. Fitur Auto Tag juga dapat menyarankan arahan awal untuk naskah, yang kemudian dapat direvisi oleh kreator.

Implikasi kreatifnya jelas: naskah menjadi dialog sekaligus serangkaian instruksi penampilan. Penulis dapat mengerjakan maksud seorang tokoh, menentukan letak tarikan napas, dan memilih frasa yang perlu diberi penekanan dalam teks yang sama dan dapat disunting.

Inpainting Audio: Memperbaiki Bagian yang Tidak Berhasil

Fish Audio menjelaskan bahwa inpainting audio di Drama 3 memungkinkan pengguna memilih sebagian dari penampilan yang sudah ada, memperbarui instruksinya, lalu membuat ulang segmen tersebut sambil mempertahankan audio di sekitarnya. Salah satu pendiri sekaligus kepala ilmuwan Shijia Liao mengatakan bahwa model ini menggunakan suara di kedua sisi kata yang disunting agar kata penggantinya terdengar menyatu.

Tugas ini berbeda dari membuat baris pengganti yang berdiri sendiri. Audio baru harus menyatu dengan penampilan yang sudah ada: waktu, intonasi, dan identitas suaranya harus tetap terdengar meyakinkan pada batas-batas penyuntingan.

Bayangkan sebuah produksi buku audio fiktif ketika narator membawakan sebuah paragraf dengan benar, tetapi memberi penekanan yang janggal pada satu nama. Perbaikan terarah dapat mempertahankan penyampaian bagian paragraf lainnya yang sudah berhasil. Pendekatan yang sama dapat membantu tim gim merevisi dialog singkat setelah naskah berubah.

Manfaat ini merupakan potensi peningkatan alur kerja, bukan peningkatan produktivitas yang telah diukur. Rilis tersebut tidak menyertakan evaluasi independen tentang seberapa andal perbaikan satu kata dalam mempertahankan audio di sekitarnya untuk berbagai suara, aksen, atau transisi yang sulit.

Adegan, Karakter, dan Konsistensi Multibahasa

Drama 3 juga mendukung pembuatan adegan lengkap dengan beberapa penutur dalam satu kali proses. Fish Audio mengatakan bahwa setiap karakter mempertahankan suara yang khas dan merespons sesuai konteks dialog sebelumnya. Peluncuran ini menyoroti konsistensi karakter dalam naskah panjang, pergantian bahasa di tengah adegan, serta kontrol pengucapan hingga tingkat fonem dalam bahasa seperti Inggris, Mandarin, Jepang, dan Korea.

Dalam dialog, kesinambungan lebih dari sekadar mengenali siapa yang sedang berbicara. Sebuah tanggapan harus terdengar seperti kelanjutan dari baris sebelumnya, bukan seperti rekaman tak terkait yang ditempelkan ke dalam rangkaian dialog. Untuk pelokalan, pengucapan dan penokohan juga harus tetap terjaga saat berpindah bahasa.

Klaim perusahaan tersebut mencakup kedua masalah itu, tetapi ujian sesungguhnya ada pada adegan yang sudah jadi: pendengar seharusnya tidak mendengar perubahan mendadak pada identitas suara atau cara penyampaian saat penutur berganti, suatu bagian disunting, atau bahasa naskah berubah.

Posisi Drama 3 dalam Teknologi Fish Audio

Pendekatan yang mengutamakan arahan ini melanjutkan jalur riset yang sebelumnya telah dijelaskan Fish Audio. Rilis riset S2 sebelumnya mendukung instruksi dalam bahasa alami yang disisipkan pada posisi kata atau frasa tertentu. Perusahaan itu menjelaskan arsitektur autoregresif ganda yang memisahkan prediksi sepanjang linimasa audio dari pembuatan detail akustik yang lebih halus, serta penyelarasan melalui pembelajaran penguatan untuk meningkatkan kejelasan ucapan, kepatuhan terhadap instruksi, dan kemiripan suara.

Karya sebelumnya itu memberi konteks yang berguna untuk memahami fokus Fish Audio pada ucapan yang dapat dikendalikan. Namun, karya tersebut tidak memastikan arsitektur persis Drama 3: pengumuman baru itu menyebutkan perubahan arsitektur, tetapi tidak memublikasikan detail yang cukup untuk menyamakan kedua sistem atau menerapkan hasil tolok ukur S2 pada Drama 3.

Bagi para pengembang, dokumentasi API teks-ke-ucapan mencantumkan Drama 3 dengan pengenal model drama-3-preview. Permintaan dengan beberapa pembicara menggunakan daftar pengenal suara dan penanda pembicara di dalam teks. Titik akhir ini juga menyediakan kontrol untuk kecepatan, volume, pengambilan sampel, dan format keluaran, termasuk WAV, PCM, MP3, dan Opus.

Halaman produk publik dan dokumentasi API masih menyebut Drama 3 sebagai pratinjau. Fish Audio menyatakan bahwa hasilnya dapat berbeda-beda di setiap percobaan dan model akan terus berubah. Karena itu, tim produksi sebaiknya membedakan klaim fitur saat peluncuran dari konsistensi yang mereka amati pada materi mereka sendiri.

Kualitas Alat Produksi Dinilai dari Revisi yang Dihasilkannya

Fish Audio menyatakan bahwa kini layanannya digunakan oleh lebih dari 15 juta pengguna dan telah mencapai pendapatan berulang tahunan sebesar $21 juta. Angka yang dilaporkan perusahaan itu menempatkan Drama 3 dalam platform yang lebih luas, yang mencakup pembuatan ucapan, transkripsi, kloning suara, dan alat kreatif.

Untuk peluncuran ini, perusahaan menyatakan bahwa penggunaan API akan mendapat diskon 80% selama 30 hari pertama, dengan tiga bulan gratis bagi perusahaan yang memenuhi syarat dan beralih penyedia suara. Pembaca dapat melihat halaman harga Fish Audio untuk mengetahui paket dan detail penawaran terbaru.

Keunggulan Drama 3 paling terasa saat proses pembuatan bertemu dengan revisi. Hasil awal yang memikat memang berguna; kemampuan mempertahankan bagian yang berhasil sambil memperbaiki bagian yang lemah membuat model suara lebih mudah disesuaikan dengan alur kerja produksi. Peluncuran ini menempatkan kemampuan tersebut sebagai inti babak berikutnya bagi Fish Audio.