نماذج ومنصات الذكاء الاصطناعي

الذكاء الاصطناعي التوليدي من النص إلى الموسيقى: Stable Audio وMusicLM من جوجل وغيرها

Aayush Mittal
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيستخدم Stable Audio تضمينات التوقيت للسماح للمستخدمين بالتحكم في المدة الزمنية الدقيقة…
عرض المزيد
  • يستخدم Stable Audio تضمينات التوقيت للسماح للمستخدمين بالتحكم في المدة الزمنية الدقيقة للمقاطع الصوتية المُولدة.
  • يحول MusicLM الألحان المُهمهمة إلى أغانٍ كاملة تتطابق مع أوصاف نمط نصي محدد.
  • يواجه توليد الموسيقى بالذكاء الاصطناعي مناقشات حول الشرعية في الصناعة، كما يتضح من رفض ترشيح لجائزة جرامي.

الموسيقى، وهي شكل فني يرتبط بالروح البشرية، كانت رفيقًا دائمًا لجميعنا. بدأ إنشاء الموسيقى باستخدام الذكاء الاصطناعي منذ عدة عقود. في البداية، كانت المحاولات بسيطة وحدسية، حيث كانت الخوارزميات الأساسية تنتج نغمات مملة. ومع تقدم التكنولوجيا، زادت تعقيدات وقدرات مولدات الموسيقى بالذكاء الاصطناعي، مما مهد الطريق للتعلم العميق ومعالجة اللغة الطبيعية (NLP) للعب دور حاسم في هذه التكنولوجيا.

اليوم، تستخدم منصات مثل Spotify الذكاء الاصطناعي لتعديل تجارب المستخدمين بشكل دقيق. تقوم الخوارزميات القائمة على التعلم العميق بتحليل تفضيلات الفرد بناءً على عناصر موسيقية مختلفة مثل الإيقاع والمزاج لإنشاء اقتراحات أغاني مخصصة. كما أنها تحلل أنماط الاستماع الأوسع وتفحص الإنترنت لمناقشات حول الأغاني لإنشاء ملفات أغنية مفصلة.

في هذه الأثناء، بدأت رحلة الذكاء الاصطناعي في الموسيقى من التأليف الخوارزمي إلى النمذجة التوليدية.

أصل الذكاء الاصطناعي في الموسيقى: رحلة من التأليف الخوارزمي إلى النمذجة التوليدية

في المراحل الأولى للذكاء الاصطناعي في الموسيقى، التي امتدت من الخمسينيات إلى السبعينيات، كان التركيز في الغالب على التأليف الخوارزمي. كان هذا طريقة تستخدم فيها الحواسيب مجموعة محددة من القواعد لإنشاء الموسيقى. وكانت أول إبداع ملحوظ خلال هذه الفترة هي متتالية إيلياك للرباعي الوتري في عام 1957. استخدمت خوارزمية مونت كارلو، وهي عملية تتضمن أرقامًا عشوائية لتحديد النغمة والإيقاع داخل حدود النظرية الموسيقية التقليدية والاحتمالات الإحصائية.

صورة أنشأها الكاتب باستخدام Midjourney

صورة أنشأها الكاتب باستخدام Midjourney

خلال هذه الفترة، كان هناك رائد آخر، يانيس كسيناكيس، الذي استخدم العمليات العشوائية، وهي مفهوم يتضمن توزيعات احتمالية عشوائية، لإنشاء الموسيقى. استخدم الحواسيب ولغة FORTRAN للربط بين دوال احتمالية متعددة، مما خلق نمطًا حيث تقابل فيه التمثيلات الرسومية المختلفة فضاءات صوتية متنوعة.

تعقيد ترجمة النص إلى موسيقى

تخزين الموسيقى في شكل غني ومتعدد الأبعاد من البيانات الذي يضم عناصر مثل اللحن والتناغم والإيقاع وسرعة الإيقاع، يجعل مهمة ترجمة النص إلى موسيقى معقدة للغاية. تمثل الأغنية القياسية تقريبًا مليون رقم في الكمبيوتر، وهو رقم أعلى بكثير من أشكال أخرى من البيانات مثل الصور والنص وغيرها.

في مجال توليد الصوت، نشهد نهجًا مبتكرًا للتغلب على تحديات إنشاء صوت واقعي. يتضمن أحد هذه النهوج توليد مخطط طيفي للصوت، ثم تحويله مرة أخرى إلى صوت.

استراتيجية أخرى تعتمد على التمثيل الرمزي للموسيقى، مثل النوتة الموسيقية، والتي يمكن تفسيرها وتنفيذها من قبل الموسيقيين. نجحت رقمنة لهذه الطريقة، مع أدوات مثل مولد موسيقى الحجرة من ماجنتا، الذي يخلق الموسيقى في صيغة MIDI، وهي بروتوكول يسهل التواصل بين الحواسيب والآلات الموسيقية.

رغم تقدم هذه النهوج في هذا المجال، إلا أنها تأتي مع مجموعة من القيود، مما يؤكد على الطبيعة المعقدة لتوليد الصوت.

نماذج الانحدار الذاتي القائمة على Transformer ونماذج الانتشار القائمة على U-Net، هي في طليعة التكنولوجيا، وتنتج نتائج متقدمة في توليد الصوت والنص والموسيقى وغيرها. تعتمد سلسلة GPT من OpenAI ومعظم نماذج LLM الأخرى الحالية على الترانسفورمر، باستخدام إما بنية المشفر أو مفكك الترميز أو كليهما. في الجانب الفني والصورة، تعتمد MidJourney وStability AI وDALL-E 2 جميعًا على أطر الانتشار. لقد كانت هذه التكنولوجيا الأساسية حاسمة في تحقيق نتائج متقدمة في قطاع الصوت.

(GOOGL )

في هذه المقالة، سنغوص في MusicLM من جوجل وStable Audio، اللذين يعتبران شاهدين على القدرات الرائعة لتكنولوجيا الذكاء الاصطناعي.

MusicLM من جوجل

تم إطلاق MusicLM من جوجل في مايو من هذا العام. يمكن لـMusicLM توليد قطع موسيقية عالية الجودة، تتوافق مع المشاعر الموضحة في النص. باستخدام النمذجة الهرمية من تسلسل إلى تسلسل، يمكن لـMusicLM تحويل الأوصاف النصية إلى موسيقى بتردد أخذ عينات يبلغ 24 كيلوهرتز لمدد طويلة.

يعمل النموذج على مستوى متعدد الأبعاد، لا يلتزم فقط بالمدخلات النصية ولكن أيضًا يظهر القدرة على التكييف على اللحن. هذا يعني أنه يمكنه أخذ لحن مدندن أو صفير وتحويله وفقًا للنمط المحدد في وصف نصي.

التحليل الفني

يعتمد MusicLM على مبادئ AudioLM، وهو إطار تم تقديمه في عام 2022 لتوليد الصوت. يصوغ AudioLM الصوت كمهام نمذجة اللغة في مساحة تمثيلية منفصلة، باستخدام تسلسل هرمي لوحدات صوتية منفصلة من التمثيل الخشن إلى الدقيق، والمعروفة باسم الرموز. هذا النهج يضمن جودة عالية وتماسك طويل الأمد على مدد زمنية كبيرة.

لتمكين عملية التوليد، يوسع MusicLM قدرات AudioLM لدمج التكييف النصي، وهو تقنية تتوافق مع الصوت المتولَّد مع تفاصيل النص المدخل الدقيقة. يتم تحقيق ذلك من خلال مساحة التضمين المشتركة التي تم إنشاؤها باستخدام MuLan، وهو نموذج موسيقي-نصي مشترك تم تدريبه لجعل الموسيقى ووصفها النصي قريبين من بعضهما البعض في مساحة التضمين. هذه الاستراتيجية تلغي بشكل فعال الحاجة إلى أوصاف نصية أثناء التدريب، مما يسمح للنموذج بالتدريب على مجموعات بيانات صوتية ضخمة فقط.

كما يستخدم نموذج MusicLM SoundStream بوصفه أداة لترميز الصوت، الذي يمكنه إعادة بناء موسيقى 24 كيلوهرتز عند 6 كيلوبت في الثانية مع وضوح مثير للإعجاب، مستفيدًا من التكميم المتجهي المتبقي (RVQ) لضغط الصوت بكفاءة وجودة عالية.

An illustration of the independent pretraining process for the foundational models of MusicLM: SoundStream, w2v-BERT, and MuLan,

رسم يوضح التدريب المسبق لمكونات MusicLM: ‏SoundStream وw2v-BERT وMuLan | مصدر الصورة: هنا

علاوة على ذلك، يوسع MusicLM قدراته من خلال السماح بتكييف اللحن. هذا النهج يضمن أن حتى لحن مدندن يمكن أن يؤسس لتجربة صوتية رائعة، متوافقة مع وصف نمط النص بدقة.

أتاح مطورو MusicLM مجموعة MusicCaps مفتوحة المصدر، وهي مجموعة بيانات تحتوي على 5.5 آلاف زوج من الموسيقى والنص، كل منها مصحوب بوصف نصي غني من قبل خبراء بشريين. يمكنك الاطلاع عليه هنا: MusicCaps على Hugging Face.

هل أنت مستعد لإنشاء موسيقى صوتية بالذكاء الاصطناعي باستخدام MusicLM من جوجل؟ ها هي الطريقة للبدء:

  1. زر الموقع الرسمي لMusicLM واضغط على “ابدأ”.
  2. انضم إلى قائمة الانتظار باختيار “سجل اهتمامك”.
  3. سجل الدخول باستخدام حساب جوجل.
  4. بمجرد الحصول على الوصول، اضغط على “جرب الآن” لبدء التشغيل.

فيما يلي بعض الأمثلة على الموجهات النصية التي جربتها:

“أغنية هادئة، مهدئة، مع مزامير وقيثارات. الموسيقى بطيئة، مع التركيز على خلق شعور بالسلام والهدوء”.

“جاز مع ساكسفون”.

عند المقارنة مع نماذج SOTA السابقة مثل Riffusion وMubert في التقييم النوعي، تم تفضيل MusicLM أكثر من غيره، حيث قيم المشاركون بشكل إيجابي توافق الأوصاف النصية مع مقاطع صوتية مدتها 10 ثوان.

أداء MusicLM comparision

أداء MusicLM, مصدر الصورة: هنا

Stable Audio

أعلنت Stability AI مؤخرًا عن “Stable Audio“، وهو نموذج انتشار كامن مشروط بالبيانات الوصفية النصية ومدة الملف الصوتي ووقت بدء المقطع. هذا النهج، مثل MusicLM من جوجل، يسمح بالتحكم في المحتوى وطول الصوت المتولَّد، مما يتيح إنشاء مقاطع صوتية بطول محدد يصل إلى حجم النافذة التدريبية.

التحليل الفني

يتكون Stable Audio من مكونات متعددة، بما في ذلك مُرمّز تلقائي تبايني (VAE) ونموذج انتشار مشروط قائم على U-Net، يعملان معًا مع مشفر نصي.

An illustration showcasing the integration of a variational autoencoder (VAE), a text encoder, and a U-Net-based conditioned diffusion model

بنية Stable Audio, مصدر الصورة: هنا

يسمح VAE بإنشاء أسرع وتدريب أسرع من خلال ضغط الصوت الاستريو إلى ترميز كامن مضغوط ومقاوم للضوضاء وقابل لإعادة البناء مع فقدان بعض المعلومات، مما يتجاوز الحاجة للعمل مع عينات صوتية خام.

يلعب مشفر النص، المشتق من نموذج CLAP، دورًا حاسمًا في فهم العلاقات المعقدة بين الكلمات والأصوات، مما يوفر تمثيلًا مفيدًا للنص المدخل المقسّم إلى رموز. يتم تحقيق ذلك من خلال استخدام ميزات النص من الطبقة قبل الأخيرة من مشفر النص CLAP، والتي يتم دمجها في شبكة U-Net عبر طبقات الانتباه المتقاطع.

جوانب مهمة هي دمج التضمين الزمني، الذي يتم حسابه بناءً على خاصيتين: ثانية البدء للقطعة الصوتية ومدة الملف الصوتي الأصلي. يتم تحويل هذه القيم إلى تضمينات متعلمة منفصلة لكل ثانية، والتي يتم دمجها مع رموز الموجه وتمريرها إلى طبقات الانتباه المتقاطع في U-Net، مما يمنح المستخدمين القدرة على تحديد الطول الإجمالي للصوت الناتج.

تم تدريب نموذج Stable Audio باستخدام مجموعة بيانات واسعة تضم أكثر من 800,000 ملف صوتي، من خلال التعاون مع مزود الموسيقى الخلفية AudioSparx.

Stable audio commercials

خطط Stable Audio التجارية

يقدم Stable Audio إصدارًا مجانيًا، يسمح بإنشاء 20 مقطعًا صوتيًا شهريًا بمدة تصل إلى 20 ثانية للمقطع، وخططًا احترافية بسعر 12 دولارًا في الشهر، مما يسمح بإنشاء 500 مقطع شهريًا بمدة تصل إلى 90 ثانية للمقطع.

فيما يلي مقطع صوتي أنشأته باستخدام Stable Audio:

صورة أنشأها الكاتب باستخدام Midjourney

صورة أنشأها الكاتب باستخدام Midjourney

“سينمائي، موسيقى تصويرية، أمطار خفيفة، أجواء محيطة ومهدئة، نباح كلاب بعيد، حفيف أوراق مريح، رياح خفيفة، 40 نبضة في الدقيقة”.

تطبيقات هذه المقاطع الصوتية المصممة بعناية لا حدود لها. يستطيع صناع الأفلام استخدام التقنية لإنشاء مشاهد صوتية غنية وغامرة، ويستطيع المعلنون الاستفادة من المقاطع المخصصة في القطاع التجاري. كما تتيح للمبدعين والفنانين الأفراد التجربة والابتكار، وتقدم مساحة واسعة لإنتاج مقاطع تروي قصصًا وتثير مشاعر وتخلق أجواء بعمق كان من الصعب تحقيقه دون ميزانية كبيرة أو خبرة تقنية.

نصائح صياغة الموجهات

أنشئ الصوت المثالي باستخدام موجهات نصية. إليك دليلًا سريعًا لبدء التشغيل:

  1. كن مفصلًا: حدد الأنواع والمزاج والأدوات. على سبيل المثال: سينمائي، الغرب الأمريكي، آلات إيقاعية، متوتر، أجواء محيطة.
  2. إعداد المزاج: اجمع بين المصطلحات الموسيقية والعاطفية لنقل المزاج المرغوب.
  3. اختيار الآلة: عزز أسماء الآلات بالصفات، مثل “غيتار بتأثير الصدى” أو “جوقة قوية”.
  4. النبضة في الدقيقة: اطابق الإيقاع مع النوع لخرج متناغم، مثل “170 نبضة في الدقيقة” لأغنية درام وبيس.

ملاحظات الختام

صورة أنشأها الكاتب باستخدام Midjourney

صورة أنشأها الكاتب باستخدام Midjourney

في هذه المقالة، استعرضنا في الموسيقى المولدة بالذكاء الاصطناعي، من التأليف الخوارزمي إلى الإطارات التوليدية المتقدمة مثل MusicLM من جوجل وStable Audio. هذه التكنولوجيا، التي تعتمد على التعلم العميق ونماذج الضغط الأحدث أداءً، لا تعزز فقط توليد الموسيقى ولكن أيضًا تعديل تجارب المستمعين.

ومع ذلك، فإنها مجال في تطور مستمر، مع عقبات مثل الحفاظ على التماسك على المدى الطويل والجدل المستمر حول مصداقية الموسيقى المولدة بالذكاء الاصطناعي، مما يمثل تحديًا لأصحاب هذه التكنولوجيا. قبل أسبوع واحد فقط، كان كل الحديث عن أغنية مولدة بالذكاء الاصطناعي تقلد أسلوب دريك وذا ويكند، والتي كانت قد اكتسبت شعبية على الإنترنت في وقت سابق من هذا العام. ومع ذلك، تم إزالتها من قائمة الترشيحات لجائزة جرامي، مما يظهر الجدل المستمر حول شرعية الموسيقى المولدة بالذكاء الاصطناعي في الصناعة (المصدر). مع استمرار الذكاء الاصطناعي في ردم الفجوة بين الموسيقى والمستمعين، فإنه يروج لبيئة حيث التكنولوجيا تعيش جنبًا إلى جنب مع الفن، مما يؤدي إلى الابتكار مع احترام التقاليد.

أمضيت السنوات الخمس الماضية منغمسًا في عالم التعلم الآلي والتعلم العميق المثير للاهتمام. وقد دفعني شغفي وخبرتي إلى المساهمة في أكثر من 50 مشروعًا متنوعًا في هندسة البرمجيات، مع التركيز بشكل خاص على الذكاء الاصطناعي والتعلم الآلي. كما جذبني فضولي المستمر إلى معالجة اللغة الطبيعية، وهو مجال أتطلع إلى استكشافه بمزيد من التعمق.