تُطلق Fish Audio نموذج Drama 3 لتوجيه أصوات الذكاء الاصطناعي وتحرير كلمة واحدة

قد يحتوي سطر حوار على الكلمات الصحيحة كلها، لكنه يظل أداءً غير مناسب. تأتي الوقفة أبكر مما ينبغي. وتبدو الشخصية واثقة حين يتطلب المشهد ترددًا. وقد تكسر كلمة واحدة منطوقة على نحو خاطئ إلقاءً مقنعًا فيما عدا ذلك.

تستهدف Fish Audio هذه المشكلات الإنتاجية من خلال Drama 3، وهو نموذجها الجديد لتحويل النص إلى كلام، الذي أُعلن عنه في 13 أكتوبر. وتقول الشركة إن بإمكان المبدعين توجيه طريقة الإلقاء بلغة عادية، وإنشاء مشاهد متعددة المتحدثين، وإصلاح مقطع محدد من صوت مُولَّد اصطناعيًا من دون إعادة إنشاء الأداء المحيط به.

قد تكون الميزة الأهم هي أصغر تعديل: تغيير كلمة واحدة مع الحفاظ على الصوت والمزاج والإيقاع قبلها وبعدها. وبالنسبة إلى الفرق التي تنتج الكتب الصوتية أو المحتوى المدبلج أو الألعاب أو الأعمال الدرامية الصوتية، تعتمد قيمة الصوت الاصطناعي على نحو متزايد على مدى سهولة تنقيحه.

توجيه الأداء الصوتي

يقبل Drama 3 أوصافًا للنبرة والوتيرة والشخصية، بما في ذلك تعليمات تغيّر طريقة الإلقاء داخل الجملة. ووفقًا للإعلان، يمكن أن يبدأ المقطع بهدوء ثم يتحول إلى الذعر، بدلًا من الحاجة إلى إنشاء مقطع جديد لكل جزء عاطفي.

قالت ريسا كاو، الشريكة المؤسسة والرئيسة التنفيذية لشركة Fish Audio، في إعلان الإطلاق: «أصبح الذكاء الاصطناعي الصوتي جيدًا جدًا في توليد الكلام. والخطوة التالية هي توجيه الأداء».

تقدم صفحة المعاينة العامة لـ Drama 3 التابعة للشركة صورة أوضح لعناصر التحكم. يمكن للمستخدمين وضع التوجيهات والأصوات والوقفات بين معقوفين، أو تطبيق وسوم مزدوجة على كلمات محددة. ويتيح ذلك للكاتب تحديد موضع تأثير مثل الهمس أو التشديد أو الإلقاء الأبطأ ضمن عبارة بعينها. كما يمكن لميزة Auto Tag اقتراح توجيهات أولية للنص، يمكن للمبدعين تعديلها بعد ذلك.

والدلالة الإبداعية واضحة: يصبح النص حوارًا ومجموعة من تعليمات الأداء في آن واحد. ويمكن للكتّاب العمل على ما تعنيه الشخصية، وموضع النفس، والعبارة التي تستحق التشديد، كل ذلك ضمن النص نفسه القابل للتحرير.

ترميم الصوت: إصلاح اللحظة التي لا تنجح

تصف Fish Audio ترميم الصوت في Drama 3 بأنه وسيلة لاختيار جزء من أداء موجود، وتحديث التعليمات، ثم إعادة إنشاء ذلك المقطع مع الإبقاء على الصوت المحيط به. ويقول شيجيا لياو، الشريك المؤسس وكبير العلماء، إن النموذج يستخدم الصوت على جانبي الكلمة المعدّلة لجعل البديل منسجمًا معها.

تختلف هذه المهمة عن إنشاء سطر بديل معزول. إذ يجب أن ينسجم الصوت الجديد مع أداء راسخ؛ فلا بد أن يظل التوقيت والتنغيم والهوية الصوتية مقنعة عند حدود التعديل.

لنتصور إنتاجًا خياليًا لكتاب صوتي يقرأ فيه راوٍ فقرة على نحو سليم، لكنه يشدد على أحد الأسماء بطريقة غير موفقة. وقد يتيح إصلاح موجّه الحفاظ على جودة إلقاء بقية الفقرة. ويمكن أن تساعد الطريقة نفسها فريقًا لتطوير الألعاب على تنقيح مقطع حواري قصير بعد تعديل النص.

هذه فوائد محتملة لسير العمل، وليست مكاسب إنتاجية مقاسة. ولا يتضمن الإصدار تقييمًا مستقلًا لمدى موثوقية إصلاح الكلمات المفردة في الحفاظ على الصوت المحيط بها عبر مختلف الأصوات واللهجات أو الانتقالات الصعبة.

المشاهد والشخصيات والاتساق متعدد اللغات

يدعم Drama 3 أيضًا إنشاء مشهد كامل متعدد المتحدثين دفعة واحدة. وتقول Fish Audio إن كل شخصية تحتفظ بصوت مميز وتستجيب في سياق الحوار السابق. ويركز الإعلان على اتساق الشخصيات في النصوص الطويلة، والانتقال بين اللغات داخل المشهد، والتحكم في النطق على مستوى الفونيم في لغات منها الإنجليزية والصينية واليابانية والكورية.

في الحوار، لا يقتصر الاتساق على معرفة المتحدث. بل ينبغي أن يبدو الرد امتدادًا للسطر السابق، لا تسجيلًا منفصلًا أُدرج في تسلسل. أما في توطين المحتوى، فيجب أن يصمد النطق وبناء الشخصية أيضًا عند الانتقال بين اللغات.

تتناول ادعاءات الشركة المشكلتين، لكن الاختبار العملي سيكون في المشهد النهائي: ينبغي ألا يلحظ المستمعون تغيرات مفاجئة في الهوية أو طريقة الإلقاء عند تناوب المتحدثين، أو تعديل مقطع، أو تغيير لغة النص.

مكانة Drama 3 ضمن تقنيات Fish Audio

يبني النهج الذي يعطي الأولوية للتوجيه على مسار بحثي سبق أن وصفته Fish Audio. وكان إصدار S2 البحثي السابق يدعم تعليمات باللغة الطبيعية تُدرج عند مواضع محددة من الكلمات أو العبارات. ووصفت الشركة بنية ذاتية الانحدار مزدوجة تفصل بين التنبؤ على امتداد الخط الزمني للصوت وتوليد التفاصيل الصوتية الأدق، إلى جانب المواءمة بالتعلم المعزز لتحسين الوضوح والالتزام بالتعليمات والتشابه الصوتي.

يوفر ذلك العمل السابق سياقًا مفيدًا لفهم تركيز Fish Audio على الكلام القابل للتحكم. لكنه لا يثبت البنية الدقيقة لـ Drama 3: فالإعلان الجديد يشير إلى تغيير في البنية، لكنه لا ينشر تفاصيل كافية تسمح باعتبار النظامين متطابقين أو بنقل نتائج اختبارات S2 المعيارية إلى Drama 3.

بالنسبة إلى المطورين، تُدرج وثائق واجهة برمجة التطبيقات لتحويل النص إلى كلام Drama 3 ضمن معرّف النموذج drama-3-preview. تستخدم الطلبات متعددة المتحدثين قائمةً بمعرّفات الأصوات وعلامات المتحدثين داخل النص. وتتيح نقطة النهاية أيضًا عناصر تحكم في السرعة ومستوى الصوت وأخذ العينات، إلى جانب تنسيقات الإخراج، ومنها WAV وPCM وMP3 وOpus.

لا تزال صفحة المنتج العامة ووثائق واجهة برمجة التطبيقات تصفان Drama 3 بأنه إصدار تجريبي. وتوضح Fish Audio أن النتائج تختلف من محاولة إلى أخرى، وأن النموذج سيواصل التغيّر. لذلك، ينبغي لفرق الإنتاج التمييز بين الميزات التي أُعلن عنها عند الإطلاق وبين مدى الاتساق الذي تلاحظه في موادها الخاصة.

تُقاس قيمة أداة الإنتاج بمدى سهولة مراجعة مخرجاتها

تقول Fish Audio إنها تخدم الآن أكثر من 15 مليون مستخدم، وإن إيراداتها السنوية المتكررة بلغت 21 مليون دولار. وتضع هذه الأرقام التي أعلنتها الشركة Drama 3 ضمن منصة أوسع تشمل توليد الكلام والتفريغ النصي واستنساخ الأصوات والأدوات الإبداعية.

تقول الشركة إن استخدام واجهة برمجة التطبيقات سيحصل عند الإطلاق على خصم بنسبة 80% خلال أول 30 يومًا، مع ثلاثة أشهر مجانية للمؤسسات المؤهلة التي تنتقل من مزوّدي خدمات الصوت. ويمكن للقراء الاطلاع على صفحة الأسعار لدى Fish Audio لمعرفة الخطط الحالية وتفاصيل العرض.

تتجلى أبرز مزايا Drama 3 عند التقاء التوليد بالمراجعة. فالمحاولة الأولى المتميزة مفيدة، لكن الاحتفاظ باللحظات الناجحة فيها مع إصلاح مواطن الضعف هو ما يجعل مواءمة النموذج الصوتي مع سير عمل الإنتاج أسهل. ويضع الإطلاق هذه الإمكانية في صميم المرحلة التالية من مسيرة Fish Audio.