نماذج ومنصات الذكاء الاصطناعي
StyleTTS 2: تحويل النص إلى كلام بمستوى بشري باستخدام نماذج اللغة الكلامية الكبيرة
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةStyleTTS 2 models speech style as a latent variable and samples it via diffusion for…
عرض المزيد
- StyleTTS 2 models speech style as a latent variable and samples it via diffusion for diverse synthesis without reference audio.
- The framework uses a pre-trained WavLM speech language model as a discriminator to enhance naturalness through adversarial training.
- StyleTTS 2 achieves state-of-the-art results with high data efficiency, outperforming models trained on far larger datasets.
أدى التقدم في أساليب توليد الكلام الطبيعي والاصطناعي إلى أحد أبرز إنجازات صناعة الذكاء الاصطناعي في السنوات الأخيرة: تطوير أنظمة فعالة لتحويل النص إلى كلام، مع تطبيقات في الكتب الصوتية والمساعدين الافتراضيين والتعليق الصوتي وغيرها. وتقدم بعض النماذج المتقدمة أداء وكفاءة بمستوى بشري في طيف واسع من المهام الصوتية. ومع ذلك، ما تزال هناك جوانب تحتاج إلى تحسين، منها إنتاج كلام متنوع ومعبر، والحاجة إلى كميات كبيرة من بيانات التدريب لتحسين التحويل دون أمثلة مسبقة، والتعامل مع النصوص الخارجة عن توزيع بيانات التدريب. وتدفع هذه التحديات المطورين إلى بناء أنظمة أكثر متانة وإتاحة.
نتناول في هذا المقال StyleTTS2، وهو إطار مبتكر ومتين لتحويل النص إلى كلام، يستند إلى StyleTTS ويهدف إلى دفع أنظمة توليد الكلام المتقدمة خطوة إلى الأمام. يمثل الإطار أنماط الكلام بمتغيرات عشوائية كامنة، ويستخدم نموذج انتشار احتماليا لأخذ عينات منها، مما يسمح بتوليد كلام واقعي دون إدخال تسجيل صوتي مرجعي. ويساعده هذا النهج على تقديم نتائج وكفاءة أفضل مقارنة بأنظمة متقدمة أخرى، مع الاستفادة من تنوع التوليد الذي تتيحه نماذج الانتشار. سنستعرض بنيته ومنهجيته والنتائج التي حققها.
مقدمة إلى StyleTTS2 لتحويل النص إلى كلام
يمثل StyleTTS2 خطوة نحو بناء أنظمة تحويل النص إلى كلام بمستوى بشري. وهو يستند إلى StyleTTS، وهو نموذج لتوليد الكلام يعتمد على الأسلوب. ويمثل StyleTTS2 أنماط الكلام بمتغيرات عشوائية كامنة يأخذ عينات منها باستخدام نموذج انتشار احتمالي، ليولد كلاما واقعيا دون تسجيل صوتي مرجعي. وهذا التمثيل هو ما يميزه عن سابقه: إذ يهدف إلى توليد النمط الأنسب للنص المدخل، ويحقق انتشارا فعالا في الفضاء الكامن مع الاستفادة من تنوع نماذج الانتشار. ويستخدم أيضا نماذج لغة كلامية كبيرة مدربة مسبقا، مثل WavLM، بوصفها مميزات ضمن التدريب التنافسي، ويجمعها مع طريقة جديدة لنمذجة المدة قابلة للاشتقاق لتدريب النظام من البداية إلى النهاية وإنتاج كلام أكثر طبيعية. وبهذا النهج يتفوق على أنظمة متقدمة في مهام توليد الكلام، ويعد من الأطر الفعالة لتدريب نماذج كلام واسعة النطاق مسبقا بغرض التكيف مع المتحدث دون أمثلة تدريبية خاصة به.
للوصول إلى هذا المستوى، يستفيد StyleTTS2 من الأبحاث السابقة في نماذج الانتشار لتوليد الكلام ونماذج اللغة الكلامية الكبيرة. وتستخدم نماذج الانتشار في التوليد الصوتي لقدرتها على التحكم الدقيق في الكلام وأخذ عينات متنوعة. لكنها أقل كفاءة من الأنظمة غير التكرارية القائمة على الشبكات التوليدية التنافسية، ويرجع ذلك بدرجة كبيرة إلى ضرورة أخذ عينات متكررة من التمثيلات الكامنة والموجات الصوتية ومخططات طيف ميل حتى بلوغ مدة الكلام المطلوبة.
في المقابل، أظهرت الأبحاث الحديثة أن نماذج اللغة الكلامية الكبيرة تستطيع تحسين جودة تحويل النص إلى كلام والتكيف مع المتحدث. وتحول هذه النماذج عادة النص إلى تمثيلات مكممة أو مستمرة مشتقة من نماذج كلامية مدربة مسبقا، من أجل إعادة بناء الكلام. لكن سماتها ليست محسنة مباشرة لتوليد الكلام. أما StyleTTS2 فيستفيد من المعرفة التي اكتسبتها تلك النماذج، مستخدما التدريب التنافسي لتوليد سماتها دون خرائط وسيطة للفضاء الكامن، وبذلك يتعلم مباشرة فضاء كامنا محسنا لتوليد الكلام.
StyleTTS2: البنية والمنهجية
يستند StyleTTS2 إلى StyleTTS، وهو نظام غير ذاتي الانحدار لتحويل النص إلى كلام. ويستخدم StyleTTS مشفر أسلوب لاستخلاص متجه أسلوبي من الصوت المرجعي، بما يسمح بإنتاج كلام طبيعي ومعبر. ويدمج هذا المتجه مباشرة في المشفر ومكونات التنبؤ بالمدة باستخدام تطبيع المثيل التكيفي، أو AdaIN، لتوليد مخرجات تختلف في التنغيم والمدة وحتى العاطفة. ويتكون StyleTTS من ثمانية نماذج موزعة على ثلاث فئات:
- النماذج الصوتية أو نظام توليد الكلام، وتشمل مشفر الأسلوب ومشفر النص وفاك ترميز الكلام.
- نظام التنبؤ لتحويل النص إلى كلام، ويستخدم متنبئات التنغيم والمدة.
- نظام مساعد يضم محاذي النص ومستخرج طبقة الصوت ومميزا لأغراض التدريب.
يحقق StyleTTS بهذا النهج أداء متقدما في توليد كلام متنوع يمكن التحكم فيه. لكن ذلك يصاحبه بعض القيود، مثل تراجع جودة بعض العينات وحدود التعبير والاعتماد على مكونات تعوق استخدام توليد الكلام في الزمن الحقيقي.
يحسن StyleTTS2 مهام تحويل النص إلى كلام المعبر، مع أداء أفضل خارج توزيع التدريب وجودة عالية بمستوى بشري. ويستخدم تدريبا من البداية إلى النهاية يحسن المكونات المختلفة بصورة مشتركة عبر التدريب التنافسي والتوليد المباشر للموجة الصوتية. وعلى خلاف StyleTTS، يمثل أسلوب الكلام بمتغير كامن ويأخذ عينات منه عبر نماذج الانتشار، فيولد عينات متنوعة دون صوت مرجعي. وفيما يلي تفاصيل هذه المكونات.
التدريب من البداية إلى النهاية والاستدلال
يستخدم StyleTTS2 التدريب من البداية إلى النهاية لتحسين مكونات تحويل النص إلى كلام من أجل الاستدلال، دون الاعتماد على مكونات ثابتة. ويعدل فاك الترميز ليولد الموجة مباشرة من متجه الأسلوب ومنحنيات طبقة الصوت والطاقة والتمثيلات المحاذاة. وتزال طبقة الإسقاط الأخيرة، ويستعاض عنها بفاك ترميز للموجة الصوتية. ويستخدم الإطار تصميمين لفك الترميز: تصميما قائما على HifiGAN يولد الموجة مباشرة، وآخر قائما على تحويل فورييه قصير الأمد العكسي، أو iSTFT، ينتج الطور والمقدار اللذين يحولان إلى موجات، لتسريع الاستدلال والتدريب.
يوضح الشكل أعلاه النماذج الصوتية المستخدمة في التدريب المسبق والتدريب المشترك. ولتقليل زمن التدريب، تحسن الوحدات أولا في مرحلة التدريب المسبق، ثم تحسن جميع المكونات باستثناء مستخرج طبقة الصوت في مرحلة التدريب المشترك. ولا يحسن مستخرج طبقة الصوت في هذه المرحلة لأنه يوفر القيم المرجعية الحقيقية لمنحنيات طبقة الصوت.
يوضح الشكل أعلاه التدريب التنافسي والاستدلال باستخدام نموذج لغة كلامية، مع WavLM مدرب مسبقا دون ضبط مسبق لهذه المهمة. وتختلف العملية عن السابقة في قدرتها على استقبال نصوص إدخال متغيرة، مع تجميع التدرجات لتحديث المعلمات في كل دفعة.
انتشار الأسلوب
يهدف StyleTTS2 إلى نمذجة الكلام كتوزيع شرطي بواسطة متغير كامن يتبع ذلك التوزيع. ويسمى هذا المتغير الأسلوب العام للكلام، ويشمل أي خاصية في العينة الصوتية تتجاوز محتواها الفونيمي، بما في ذلك النبر المعجمي والتنغيم وسرعة الكلام وحتى انتقالات الترددات الرنانة.
مميزات نماذج اللغة الكلامية
تتميز نماذج اللغة الكلامية بقدرتها على ترميز معلومات مفيدة عن جوانب دلالية وصوتية واسعة. وقد استطاعت تمثيلاتها محاكاة الإدراك البشري عند تقييم جودة الكلام الاصطناعي. ويستخدم StyleTTS2 تدريبا تنافسيا للاستفادة من قدرات مشفرات هذه النماذج في المهام التوليدية، مع اعتماد WavLM ذي الاثنتي عشرة طبقة مميزا. ويتيح ذلك التدريب على نصوص خارج توزيع بيانات التدريب لتحسين الأداء. وللحد من فرط التخصيص، يأخذ الإطار عينات من النصوص داخل التوزيع وخارجه باحتمال متساو.
نمذجة المدة القابلة للاشتقاق
تستخدم أنظمة تحويل النص إلى كلام عادة متنبئا للمدة ينتج مدد الفونيمات. لكن طرق رفع معدل أخذ العينات التي تستخدمها هذه المتنبئات كثيرا ما تعوق تدفق التدرجات أثناء التدريب من البداية إلى النهاية. ويستخدم NaturalSpeech وحدة لرفع معدل العينات تعتمد على الانتباه لتحقيق تحويل بمستوى بشري. إلا أن StyleTTS2 يجد هذا النهج غير مستقر أثناء التدريب التنافسي، بسبب اختلاف الأطوال الناشئ عن الانحرافات عند الجمع بين رفع معدل العينات القابل للاشتقاق والأهداف التنافسية. ويمكن للمحاذاة الزمنية الديناميكية اللينة أن تخفف هذا الاختلاف، لكنها مكلفة حسابيا، كما يثير استقرارها مخاوف عند استخدامها مع الأهداف التنافسية أو إعادة بناء طيف ميل. ولذلك يعتمد StyleTTS2 نهجا غير معلمي لرفع معدل العينات، من أجل تثبيت التدريب التنافسي وتحقيق الأداء البشري. ويعد رفع معدل العينات الغاوسي نهجا غير معلمي شائعا لتحويل المدد المتنبأ بها، لكنه مقيد بأطوال نوى غاوسية ثابتة تحدد مسبقا، مما يحد من دقته في نمذجة المحاذاة ذات الأطوال المختلفة.
لمعالجة هذا القيد، يقترح StyleTTS2 طريقة جديدة غير معلمية لرفع معدل العينات، لا تتطلب تدريبا إضافيا وتستوعب تفاوت أطوال المحاذاة. ويمثل الإطار محاذاة كل فونيم بمتغير عشوائي يحدد فهرس إطار الكلام الذي يحاذيه ذلك الفونيم.
تدريب النموذج وتقييمه
درب StyleTTS2 واختبر على مجموعات VCTK وLibriTTS وLJSpeech. ويدرب مكون المتحدث الواحد على LJSpeech، التي تضم أكثر من 13,000 عينة صوتية تقريبا: 12,500 للتدريب و100 للتحقق ونحو 500 للاختبار، بإجمالي يقارب 24 ساعة. ويدرب المكون متعدد المتحدثين على VCTK، التي تضم أكثر من 44,000 مقطع لأكثر من 100 متحدث أصلي بلكنات مختلفة، وتقسم إلى 43,500 عينة تدريب و100 للتحقق ونحو 500 للاختبار. ولإتاحة التكيف دون أمثلة مسبقة، يدرب الإطار على مجموعة LibriTTS المجمعة، التي تضم نحو 250 ساعة صوتية لأكثر من 1,150 متحدثا. ويستخدم مقياسين للتقييم: MOS-N، أي متوسط درجات الرأي في طبيعية الكلام، وMOS-S، أي متوسط درجات الرأي في التشابه.
النتائج
تظهر نتائج StyleTTS2 فاعلية نهجه ومنهجيته، إذ يتفوق على عدد من أنظمة تحويل النص إلى كلام المتقدمة، ولا سيما في المقارنة مع NaturalSpeech، ويضع معيارا جديدا للأداء في التقييم المعروض. كما يتفوق على VITS في مجموعة VCTK، كما يوضح الشكل التالي.
يتفوق StyleTTS2 أيضا على النماذج السابقة في LJSpeech، ولا يظهر تراجعا في الجودة مع النصوص الخارجة عن توزيع التدريب، خلافا لبعض الأنظمة السابقة عند استخدام المقاييس نفسها. وفي وضع التكيف دون أمثلة مسبقة، يتفوق على Vall-E من حيث طبيعية الكلام، لكنه يتأخر عنه في التشابه. ويحقق هذا الأداء التنافسي رغم تدريبه على 245 ساعة صوتية فقط، مقارنة بأكثر من 60 ألف ساعة لتدريب Vall-E، مما يجعله بديلا أكثر كفاءة في استخدام البيانات لأساليب التدريب المسبق واسعة النطاق.
ونظرا إلى نقص البيانات التي تجمع النصوص والتسجيلات الصوتية الموسومة بالعواطف، يستخدم الإطار GPT-4 لتوليد أكثر من 500 مثال تغطي عواطف مختلفة، بهدف عرض متجهات الأسلوب التي ينشئها بعملية الانتشار.
يعرض الرسم الأول أنماطا عاطفية تستجيب لمشاعر النص المدخل عبر متجهات أسلوب نموذج LJSpeech، ويوضح القدرة على توليد كلام معبر بعواطف متنوعة. ويبين الرسم الثاني تجمعات متميزة لكل واحد من خمسة متحدثين، موضحا تنوعا واسعا ينطلق من ملف صوتي واحد. أما الرسم الأخير فيعرض تجمعات العواطف الأقل تماسكا للمتحدث الأول. ورغم بعض التداخل، تبقى التجمعات العاطفية واضحة، مما يشير إلى إمكانية التحكم في النبرة العاطفية للمتحدث بصرف النظر عن العينة المرجعية ونبرتها. وعلى الرغم من اعتماده على الانتشار، يتفوق StyleTTS2 على أنظمة متقدمة، منها VITS وProDiff وFastDiff.
أفكار ختامية
استعرضنا StyleTTS2، وهو إطار جديد ومتين لتحويل النص إلى كلام يستند إلى StyleTTS ويسعى إلى تطوير أنظمة توليد الكلام المتقدمة. ويمثل أنماط الكلام بمتغيرات عشوائية كامنة يأخذ عينات منها بنموذج انتشار احتمالي، ليولد كلاما واقعيا دون إدخال صوت مرجعي. ويجمع بين انتشار الأسلوب ومميزات نماذج اللغة الكلامية لتحقيق أداء بمستوى بشري، متفوقا على أنظمة متقدمة في مجموعة واسعة من مهام الكلام.
