التطورات الحديثة والتقدم في قدرات نماذج اللغة الكبيرة لعبت دورًا حاسمًا في تقدم الإطارات القائمة على LLM لتركيب الصوت وتوليد الكلام، خاصة في إعدادات دون أمثلة مسبقة (zero-shot). شهدت الإطارات التقليدية لتركيب الصوت تقدمًا كبيرًا نتيجة لإضافة ميزات إضافية مثل الكودك الصوتي العصبي للصوت المتقطع ووحدات الكلام. على الرغم من أن إطارات توليد الصوت والكلام هذه توفر نتائج مرضية، هناك لا يزال مجال للتحسين، حيث أن الإطارات الحالية القائمة على LLM تتمتع بثلاثة قيود رئيسية

1. هم يميلون إلى توليد خرج صوتي تلقائي يؤدي إلى نقص في المتانة وتباطؤ في سرعة الاستدلال وينتج عن ذلك تلفظ خاطئ أو تخطي أو تكرار.
2. هم يعتمدون بشكل كبير على وحدات الكلام المنفصلة أو الكودك الصوتي العصبي المسبق التدريب.
3. هم يتطلبون كمية كبيرة من بيانات التدريب.

لمواجهة المشاكل المذكورة أعلاه، وتحسين قدرات نماذج الصوت والكلام القائمة على LLM، قام المطورون بإنشاء HierSpeech++، وهو تركيب صوتي قوي وكفء لتحويل الصوت والنص إلى كلام أو مهام TTS. إطار HierSpeech++ يعتمد على التعلم الهرمي لتركيب الصوت الذي لا يزيد فقط من المتانة ولكن أيضًا يضيف إلى التعبيرية للصوت الاصطناعي بينما يزيد من الطبيعية وشباهة المتحدث في الصوت الاصطناعي حتى في إعدادات دون أمثلة مسبقة (zero-shot).

في هذه المقالة، سنناقش إطار HierSpeech++ بالتفصيل، ونلقي نظرة على هيكله ونتائجه عند مقارنته بنماذج توليد النص والصوت الحالية. لذا، دعونا نبدأ.

HierSpeech++ : الاستدلال التبايني الهرمي لتركيب الصوت دون أمثلة مسبقة (zero-shot)

HierSpeech++ هو إطار تركيب صوت سريع ومتين وكفء لتركيب الصوت دون أمثلة مسبقة (zero-shot)، يستخدم خط أنابيب تركيب الصوت الهرمي، وبالاعتماد على هذا الإطار من النهاية إلى النهاية، يمكن لنموذج HierSpeech++ تحقيق أقصى إمكانات توليد الشكل الموجي عالي الجودة لجسور الفجوة بين التمثيلات الدلالية والصوتية من خلال اعتماد تمثيل صوتي ذاتي الإشراف كتمثيل دلالي للصوت، وبالتالي يحاول حل القيود الحالية لتكييف الأسلوب. قُدم إطار توليد الكلام من البداية إلى النهاية أولًا في نموذج VITS، الذي يستخدم مُرمّزًا تلقائيًا تباينيًا (VAE) مع تدريب تنافسي وتدفق مُطبِّع. ويمكن لهذه الأطر توليد موجات صوتية عالية الجودة بمستوى إدراكي أفضل من أطر تركيب كلام أخرى.

جودة إعادة بناء الصوت لهذه الإطارات يمكن تحسينها بشكل أكبر باستخدام مُرمّز تلقائي تبايني شرطي هرمي كما هو مستخدم في إطار HierSpeech. على الرغم من إمكانياتها، فإن نماذج خط الأنابيب التدريبي من النهاية إلى النهاية تتمتع بقيود معينة، خاصة في إعدادات دون أمثلة مسبقة (zero-shot)، حيث يمكنها توليد عينات صوتية ذات جودة عالية، ولكن شباهة المتحدث في مهام التكرار الصوتي دون أمثلة مسبقة (zero-shot) لا تزال تعاني من تعقيد حسابي كبير.

من ناحية أخرى، تعمل نماذج تركيب الكلام القائمة على الانتشار جيدًا فيما يتعلق بتعديلات المتحدث، لكنها لا تزال بعيدة عن الكمال لأنها تستخدم عملية توليد تكرارية تبطئ من سرعة الاستدلال، وهي عرضة للبيانات الصاخبة، ونتيجة لعدم تطابق بين التدريب والاستدلال في عملية التوليد بخطوتين بين مخطط ميل الطيفي والصوت المرجعي الحقيقي، فإن جودة الصوت ليست على مستوى عال.

للمواجهة مع التحديات التي تواجه سلالتها، يستخدم نموذج HierSpeech++ تركيب صوتي هرمي وتركيب صوتي فائق الدقة ومكون النص إلى المتجه (TTV)، ويقدم تركيب صوتي هرمي محسّن مبني على مُرمّز تلقائي تبايني شرطي هرمي. في محاولة لتعزيز جودة الصوت وراء الجودة الحسية، يعتمد إطار HierSpeech++ على صوت ثنائي لتعزيز التوزيع الاحتمالي الصوتي اللاحق، ويعزز تعميم خارج التوزيع من خلال استخدام مولد هرمي قابل للتكيف يدعم التوليد الشرطي وغير الشرطي. ولفصل مكونات الكلام وتحسين المعلومات الدلالية المرتبطة بالمتحدث والمستقلة عنه، يستخدم مُرمّزًا دلاليًا متعدد المسارات قائمًا على نظرية المصدر والمرشح. يربط VAE التمثيلات ويتعلمها هرميًا، ويتكيف تدريجيًا مع أسلوب الصوت الهدف لاستنتاج الموجة الصوتية. كما يستخدم شبكة ثنائية الاتجاه من محولات التدفق المُطبِّع لتحسين التكيف وتقليل الفجوة بين التدريب والاستدلال.

• استخدام إطار تركيب الصوت الهرمي للسيطرة على نقل أسلوب الصوت والتنغيم.
• تمكين قابلية توسيع البيانات وتوليد صوت عالي الدقة عن طريق عينة الشكل الموجي الصوتي من 16 إلى 48 كيلوهرتز.
• تحقيق القدرة البشرية عبر مهام تحويل الصوت دون أمثلة مسبقة (zero-shot) وتوليد النص إلى كلام.

HierSpeech++ : مكونات النموذج وهيكله

كما ناقشنا، HierSpeech++ هو نموذج لتركيب الصوت دون أمثلة مسبقة (zero-shot) يهدف إلى تحقيق دقة على مستوى الإنسان فيما يتعلق بتشابه الصوت وطبيعة الكلام.

يتكون نموذج HierSpeech++ من مكونات مختلفة، بما في ذلك تركيب صوتي هرمي وتركيب صوتي فائق الدقة والنص إلى المتجه (TTV)، تعمل معًا لتمكين تدريب كل نموذج لاستخدام كمية كبيرة من بيانات الصوت منخفضة الدقة لتحويل الصوت. دعونا نناقش هيكل الإطار ونتحدث عن كل مكون.

تمثيلات الصوت

نظرًا لأن نطاق التردد البشري يقع تحت 4 كيلوهرتز، فإن إطار HierSpeech++ يخفض عينة الصوت إلى 16 كيلوهرتز لتركيب الصوت. بالإضافة إلى ذلك، من أجل إعادة بناء إشارة الصوت، من المهم استخدام على الأقل ضعف أعلى مكون تردد الصوت إلى جانب خفض معدل أخذ العينات. ولتحسين الجودة الإدراكية يستخدم مكون الدقة الفائقة للكلام SpeechSR لرفع معدل أخذ العينات من 16 إلى 48 كيلوهرتز، مع استخدام تمثيلات منخفضة الدقة للمعلومات الدلالية والصوتية.

للاتمثيلات الصوتية، يستخدم إطار تحويل النص إلى كلام التقليدي مخطط طيف ميل كوسمة صوتية وسيطة، ثم يتم تحويله من الشكل الموجي باستخدام تحويل فورييه الزمني القصير. ومع ذلك، يُلاحظ أن الخصائص الصوتية غنية بالتمثيلات التي تتضمن العديد من السمات، بما في ذلك المحتوى والتنطق، ومعلومات الصوت، وغيرها، مما يجعل من الصعب على الإطار استنتاج هذه التمثيلات، مما يؤدي إلى تلفظ خاطئ أو نقص في التشابه أو التنعيم المفرط للكلام.

متحركًا إلى الأمام، لاستخراج تمثيل دلالي مستمر من الشكل الموجي، يستخدم إطار HierSpeech++ إطار Wav2Vec على عكس النهج الشائع لتمثيل الصوت الذاتي الإشراف للتمثيلات الدلالية. على الرغم من أن هذا النهج يُعتبر بديلًا جيدًا لنموذج غني أحادي اللغة، إلا أنه يؤثر على قدرات التكرار الصوتي دون أمثلة مسبقة (zero-shot) للنموذج من حيث المتانة والتعبير، خاصة في مهام التوليد الصوتي المتعددة اللغات.

تركيب الصوت الهرمي

مكون تركيب الصوت الهرمي هو الحجر الزاوي لإطار HierSpeech++ لأنه يسمح بتدريب الوحدة بدون استخدام أي تسميات مثل التفريغ النصي أو هوية المتحدث، ويعتمد فقط على بيانات الكلام. لزيادة القدرة الصوتية استبدلت نماذج سابقة مخطط ميل الطيفي بطيف خطي، لكن هذا النهج يرتبط بقيود تتعلق بتباعد KL ودورية النغمة وPESQ وتمييز المقاطع المجهورة وغير المجهورة ومسافة ميل الطيفية.

يستخدم تركيب الصوت الهرمي مُرمّز صوتي مزدوج لتحديد تمثيلات صوتية أكثر غنى وشمولا. بالإضافة إلى ذلك، يستخدم تركيب الصوت الهرمي مُرمّز الموجة الصوتية لاستخراج المعلومات من الشكل الموجي الصوتي الخام، ويربطه بتمثيل الطيف الخطي، وأخيرًا يعرض التمثيل الصوتي كتمثيل مترافق.

للمواجهة مع التمثيلات الدلالية غير المرتبطة بالمتحدث ومرتبطة بالمتحدث، يستخدم إطار HierSpeech++ تمثيل صوتي ذاتي الإشراف متعددة المسارات، حيث يتم استخدام كل تمثيل فردي لتعديل الأسلوب الهرمي مع التمثيلات الدلالية المستخرجة لاستخراج المعلومات اللغوية من الطبقة الوسطى في MMS. ويستخدم التردد الأساسي لتعزيز فصل مكونات الكلام، مما يتيح التحكم اليدوي في منحنى النغمة. تُستخدم التمثيلات اللغوية شرطًا لتوليد الموجة هرميًا مع تعزيز التمثيل اللغوي ذاتي الإشراف. ويُعاد بناء الموجة الخام من التمثيل الصوتي المستخرج أثناء التدريب من الموجة والطيف الخطي، ويربط الاستدلال التبايني الهرمي هذا التمثيل بالتمثيلات اللغوية متعددة المسارات. كما يولد المولد التكيفي الهرمي (HAG) عينات من الدلالة إلى الموجة؛ وتُمرر تمثيلات الأسلوب والصوت إلى مولدي المصدر والموجة.

النص إلى المتجه (TTV)

لتركيب الصوت من النص، يستخدم إطار HierSpeech++ نموذج النص إلى المتجه (TTV) الذي يولد ترددًا أساسيًا وتمثيلًا دلاليًا من تسلسل النص، ويعتمد على بحث المحاذاة الرتيبة مع مُرمّز تلقائي تبايني للتركيب الداخلي للنص والصوت.

يستبدل إطار HierSpeech++ مخطط الطيف الخطي بتمثيل خطي ذاتي الإشراف، ويعيد بناء التمثيل نفسه ليكون مخرجًا لـTTV. ويتنبأ أيضًا بالتردد الأساسي بدقة أعلى بأربعة أضعاف من التمثيلات الصوتية ذاتية الإشراف، ويستخدم تمثيلًا نصيًا شرطيًا كمعلومة قبلية. وتتيح الدلالات نقل أسلوب التنغيم في نموذج TTV، مع تمرير تمثيل كامن إلى مُرمّز الفونيمات لتعزيز المعلومات اللغوية.

تركيب الصوت الفائق الدقة أو تركيب الصوت الفائق

يتدرب إطار HierSpeech++ على مجموعة بيانات منخفضة الدقة نسبيًا لكفاءة استخدام البيانات وتوفرها، ويرفع معدل أخذ العينات من 16 إلى 48 كيلوهرتز. ويستبدل الالتفاف المنقول بوحدة رفع عينات لأقرب جار، المعروفة بتخفيف التشوهات الناتجة عن الالتفاف المنقول.

الهيكل

يتكون مُرمّز المحتوى في TTV من 16 طبقة WaveNet غير سببية بحجم نواة 5 وبُعد مخفي 256؛ ويتكون مفكك المحتوى من 8 طبقات غير سببية بحجم نواة 5 وبُعد مخفي 512. ويضم مُرمّز النص ثلاث شبكات Transformer مشروطة بالتنغيم وثلاثًا غير مشروطة، بحجم نواة 9 ومرشح 1024 وبُعد مخفي 256 ومعدل إسقاط 0.2. وتستخدم كتل Transformer شبكة CNN بحجم نواة 5 لترميز السياق المجاور وتحسين تكييف التنغيم. أما SpeechSR فيضم كتلة AMP واحدة ذات 32 قناة ابتدائية دون طبقة رفع عينات، ويستخدم أقرب جار لرفع عينات التمثيلات المخفية. ويستخدم مُميّز MPD بستة أحجام نوافذ مختلفة وأربعة مُميّزات للنطاقات الفرعية.

الشكل أعلاه يظهر خط أنابيب الاستدلال لإطار HierSpeech++ الذي يبدأ باستخراج التمثيلات الدلالية من الصوت بتردد 16 كيلوهرتز، والتردد الأساسي باستخدام خوارزمية YAPPT. قبل إدخال التردد الأساسي إلى المركب الهرمي يُطبَّع باستخدام المتوسط والانحراف المعياري للصوت المصدر، ثم يُعكس التطبيع باستخدام متوسط الصوت الهدف وانحرافه المعياري. وفي تحويل النص إلى كلام يستخرج الإطار تمثيلات نصية بدل الصوتية ويستخدم TTV لتوليد تمثيل دلالي من موجّه التنغيم.

التجربة والنتائج

يستخدم الإطار مجموعة بيانات LibriTTS العامة لتدريب مكون تركيب الصوت الهرمي، مع خطوة أولى هي تدريب النموذج على مجموعات فرعية trainclean من مجموعة البيانات، واستخدام البيانات المتبقية لتحسين نقل أسلوب الصوت. ولزيادة التنوع والمتانة يوسع الإطار مجموعة البيانات إلى 1 كيلوهرتز، كما يبين الشكل التالي.

إعادة البناء والمهام الإعادة التركيب وتحويل الصوت

للتقييم الأداء لإطار HierSpeech++ في مهام إعادة البناء وإعادة التركيب، قام المطورون بسبعة معايير موضوعية، وتم عرض النتائج في الأشكال التالية لمهام إعادة البناء وإعادة التركيب على التوالي.

للمهام تحويل الصوت، يستخدم الإطار مقياسين ذاتيين للتقييم: متوسط تقييم تشابه الصوت sMOS ومتوسط تقييم طبيعية الصوت nMOS مع ثلاثة معايير موضوعية للطبيعية واثنين من معايير التشابه الموضوعية.

متحركًا إلى الأمام، الهدف الرئيسي لإطار HierSpeech++ هو تمكين تركيب الصوت دون أمثلة مسبقة (zero-shot)، وللتقييم الأداء دون أمثلة مسبقة (zero-shot)، يتم مقارنته بنماذج أساسية أخرى مثل AutoVC و VoiceMixer والنماذج القائمة على الانتشار وغيرها، مع عرض النتائج في الشكل التالي.

الأشكال التالية تعرض نتائج تحويل النص إلى كلام دون أمثلة مسبقة مع موجّهات مشوشة وموجّهات شديدة التشويش على التوالي.

أفكار ختامية

في هذه المقالة، ناقشنا نموذج HierSpeech++، وهو نهج جديد لتمكين تركيب صوت قوي وفعال في إعدادات دون أمثلة مسبقة (zero-shot)، وتجاوز القيود التي تواجه إطارات تركيب الصوت الحالية، بما في ذلك الاعتماد الكبير على كميات كبيرة من بيانات التدريب، والاعتماد على وحدات الصوت المنفصلة أو الكودك الصوتي العصبي المسبق التدريب، وتميل إلى توليد خرج صوتي تلقائي يؤدي إلى نقص في المتانة وتباطؤ في سرعة الاستدلال وينتج عن ذلك تلفظ خاطئ أو تخطي أو تكرار.

• استخدام إطار تركيب الصوت الهرمي للسيطرة على نقل أسلوب الصوت والتنغيم.
• تمكين قابلية توسيع البيانات وتوليد صوت عالي الدقة عن طريق عينة الشكل الموجي الصوتي من 16 إلى 48 كيلوهرتز.
• تحقيق القدرة البشرية عبر مهام تحويل الصوت دون أمثلة مسبقة (zero-shot) وتوليد النص إلى كلام.