تكنولوجيا النص إلى الموسيقى الإبداعية بالذكاء الاصطناعي: Stability Audio و MusicLM من جوجل وغيرها

الموسيقى، وهي شكل فني يرتبط بالروح البشرية، كانت رفيقًا دائمًا لجميعنا. بدأ创azione الموسيقى باستخدام الذكاء الاصطناعي منذ عدة عقود. في البداية، كانت المحاولات بسيطة و直forwardة، حيث كانت الخوارزميات الأساسية تنتج نغمات مملة. ومع تقدم التكنولوجيا، زادت تعقيدات وقدرات مولدات الموسيقى الإصطناعية، مما مهد الطريق للتعلم العميق ومعالجة اللغة الطبيعية (NLP) للعب دور حاسم في هذه التكنولوجيا.

اليوم، تستخدم منصات مثل Spotify الذكاء الاصطناعي لتعديل تجارب المستخدمين بشكل دقيق. تقوم الخوارزميات القائمة على التعلم العميق بتحليل تفضيلات الفرد بناءً على عناصر موسيقية مختلفة مثل الإيقاع والمزاج لإنشاء اقتراحات أغاني مخصصة. كما أنها تحليل أنماط الاستماع الأوسع وتفحص الإنترنت لمناقشات حول الأغاني لإنشاء ملفات أغنية مفصلة.

في هذه الأثناء، بدأت رحلة الذكاء الاصطناعي في الموسيقى من التأليف الخوارزمي إلى النمذجة التوليدية.

أصل الذكاء الاصطناعي في الموسيقى: رحلة من التأليف الخوارزمي إلى النمذجة التوليدية

في المراحل الأولى للذكاء الاصطناعي في الموسيقى، التي امتدت من الخمسينيات إلى السبعينيات، كان التركيز في الغالب على التأليف الخوارزمي. كان هذا طريقة تستخدم فيها الحواسيب مجموعة محددة من القواعد لإنشاء الموسيقى. وكانت أول إبداع ملحوظ خلال هذه الفترة هي سويت إيلياك للكوارتيت الوتري في عام 1957. استخدمت خوارزمية مونت كارلو، وهي عملية تتضمن أرقامًا عشوائية لتحديد النغمة والإيقاع داخل حدود النظرية الموسيقية التقليدية والاحتمالات الإحصائية.

خلال هذه الفترة، كان هناك رائد آخر، يانيس كсенاكيس، الذي استخدم العمليات العشوائية، وهي مفهوم ي涉ل الأرقام العشوائية، لإنشاء الموسيقى. استخدم الحواسيب ولغة فورتران للربط بين وظائف احتمالية متعددة، مما خلق نمطًا حيث تمثل تمثيلات رسومية مختلفة لمساحات صوتية متنوعة.

تعقيد ترجمة النص إلى موسيقى

تخزين الموسيقى في شكل غني ومتعدد الأبعاد من البيانات الذي يضم عناصر مثل اللحن والتناغم والإيقاع والايقاع، يجعل مهمة ترجمة النص إلى موسيقى معقدة للغاية. تمثل الأغنية القياسية تقريبًا مليون رقم في الكمبيوتر، وهو رقم أعلى بكثير من أشكال أخرى من البيانات مثل الصور والنص وغيرها.

في مجال توليد الصوت، نشهد نهجًا مبتكرًا للتغلب على تحديات إنشاء صوت واقعي. يتضمن أحد هذه النهوج توليد طيف الصوت، ثم تحويله مرة أخرى إلى صوت.

استراتيجية أخرى تعتمد على التمثيل الرمزي للموسيقى، مثل النوتة الموسيقية، والتي يمكن تفسيرها وتنفيذها من قبل الموسيقيين. تم نجاح التمثيل الرقمي لهذه الطريقة، مع أدوات مثل مولد أنسجام الغرفة من ماجنتا، الذي يخلق الموسيقى في صيغة MIDI، وهي بروتوكول يسهل التواصل بين الحواسيب والأدوات الموسيقية.

尽管 تقدمت هذه النهوج في هذا المجال، إلا أنها تأتي مع مجموعة من القيود، مما يؤكد على الطبيعة المعقدة لتوليد الصوت.

نماذج الترانسفورمر القائمة على التوليد التلقائي ونمذجة الاندماج القائمة على التبديد، هي في طليعة التكنولوجيا، وتنتج نتائج متقدمة في توليد الصوت والنص والموسيقى وغيرها. تعتمد سلسلة GPT من OpenAI ومعظم نماذج LLM الأخرى الحالية على الترانسفورمر، باستخدام إما معمارية المرسل أو المenerima أو كليهما. في الجانب الفني والصورة، تعتمد MidJourney وStability AI وDALL-E 2 جميعًا على إطارات التبديد. لقد كانت هذه التكنولوجيا الأساسية حاسمة في تحقيق نتائج متقدمة في قطاع الصوت.

في هذه المقالة، سنغوص في MusicLM من جوجل وStable Audio، اللذين يعتبران شاهدين على القدرات الرائعة لتكنولوجيا الذكاء الاصطناعي.

MusicLM من جوجل

تم إطلاق MusicLM من جوجل في مايو من هذا العام. يمكن لـMusicLM توليد قطع موسيقية عالية الجودة، تتوافق مع المشاعر الموضحة في النص. باستخدام نمذجة التسلسل المتسلسل الهرمي، يمكن لـMusicLM تحويل وصفات النص إلى موسيقى تتوافق عند 24 كيلوهرتز لمدد طويلة.

يعمل النموذج على مستوى متعدد الأبعاد، لا يلتزم فقط بالمدخلات النصية ولكن أيضًا يظهر القدرة على التكييف على اللحن. هذا يعني أنه يمكنه أخذ لحن مهمل أو صفير وتحويله وفقًا للنمط المحدد في كابشن نصية.

التحليل الفني

يعتمد MusicLM على مبادئ AudioLM، وهو إطار تم تقديمه في عام 2022 لتوليد الصوت. ي合ن AudioLM الصوت كمهام نمذجة اللغة في مساحة تمثيلية منفصلة، باستخدام هرمية وحدات صوتية متسلسلة خشن إلى دقيق، والمعروفة باسم الرموز. هذا النهج يضمن جودة عالية وتماسك طويل الأمد على مدد زمنية كبيرة.

لتمكين عملية التوليد، يوسع MusicLM قدرات AudioLM لدمج التكييف النصي، وهو تقنية تتوافق مع الصوت المتولَّد مع دقائق النص المدخل. يتم تحقيق ذلك من خلال مساحة التضمين المشتركة التي تم إنشاؤها باستخدام MuLan، وهو نموذج موسيقي-نصي مشترك تم تدريبه لجعل الموسيقى ووصفها النصي قريبين من بعضهما البعض في مساحة التضمين. هذه الاستراتيجية تلغي بشكل فعال الحاجة إلى كابشن أثناء التدريب، مما يسمح للنموذج بالتدريب على مجموعات بيانات صوتية ضخمة فقط.

كما يستخدم نموذج MusicLM SoundStream كtokenizer الصوت، الذي يمكن إعادة بناء موسيقى 24 كيلوهرتز عند 6 كيلوبت في الثانية مع وضوح مثير للإعجاب، مستفيدًا من الكمية المتعاقبة لل量 (RVQ) لتقليل وتخزين الصوت بفعالية.

علاوة على ذلك، يوسع MusicLM قدراته من خلال السماح بتكييف اللحن. هذا النهج يضمن أن حتى لحن مهمل يمكن أن يؤسس لتجربة صوتية رائعة، متوافقة مع وصف نمط النص بدقة.

تم إطلاق MusicCaps، وهو مجموعة بيانات تحتوي على 5.5 آلاف زوج من الموسيقى والنص، كل منها مصحوب بوصف نصي غني من قبل خبراء بشريين. يمكنك الاطلاع عليه هنا: MusicCaps على Hugging Face.

هل أنت مستعد لإنشاء موسيقى صوتية بالذكاء الاصطناعي باستخدام MusicLM من جوجل؟ ها هي الطريقة للبدء:

1. زر الموقع الرسمي لMusicLM واضغط على “ابدأ”.
2. انضم إلى قائمة الانتظار bằng اختيار “سجل интересك”.
3. سجل الدخول باستخدام حساب جوجل.
4. بمجرد الحصول على الوصول، اضغط على “جرب الآن” لبدء التشغيل.

فيما يلي بعض الأمثلة على الدفعات التي جربتها:

“أغنية هادئة، مهدئة، مع ألات نفخ وقيثارات. الموسيقى بطيئة، مع التركيز على خلق شعور بالسلام والهدوء”.

عند المقارنة مع نماذج SOTA السابقة مثل Riffusion وMubert في التقييم النوعي، تم تفضيل MusicLM أكثر من غيره، حيث قيم المشاركون بشكل إيجابي توافق كابشن النص مع مقاطع صوتية مدتها 10 ثوان.

Stability Audio

أعلنت Stability AI مؤخرًا عن “Stable Audio“، وهي نموذج لاتنتي ديفيشن معرض على النص والبيانات الزمنية للملف الصوتي ووقت البدء. هذا النهج، مثل MusicLM من جوجل، يسمح بالتحكم في المحتوى وطول الصوت المتولَّد، مما يتيح إنشاء مقاطع صوتية بطول محدد يصل إلى حجم النافذة التدريبية.

التحليل الفني

يتكون Stable Audio من مكونات متعددة، بما في ذلك مشفر فارياسيونال أوتوإنكودر (VAE) ونموذج ديفيشن مشروط قائم على U-Net، يعملان معًا مع مشفر نصي.

يسمح VAE بإنشاء أسرع وتدريب أسرع من خلال ضغط الصوت الاستريو إلى تمثيل-lossy قابل للعكس، مما ي绕 quanh الحاجة للعمل مع عينات صوتية خام.

يلعب مشفر النص، المشتق من نموذج CLAP، دورًا حاسمًا في فهم العلاقات المعقدة بين الكلمات والأصوات، مما يوفر تمثيلًا مفيدًا للنص المدخل المقطع. يتم تحقيق ذلك من خلال استخدام ميزات النص من الطبقة الأخيرة من مشفر النص CLAP، والتي يتم دمجها في شبكة U-Net عبر طبقات الانتباه المتقاطع.

جوانب مهمة هي دمج التضمين الزمني، الذي يتم حسابه بناءً على خاصيتين: ثانية البدء للقطعة الصوتية ومدة الملف الصوتي الأصلي. يتم تحويل هذه القيم إلى تضمينات متعلمة منفصلة لكل ثانية، والتي يتم دمجها مع رموز الدفعة وتمريرها إلى طبقات الانتباه المتقاطع في U-Net، مما يمنح المستخدمين القدرة على ديكتاتور طول الصوت الناتج.

تم تدريب نموذج Stable Audio باستخدام مجموعة بيانات واسعة تضم أكثر من 800,000 ملف صوتي، من خلال التعاون مع مزود الموسيقى الخلفية AudioSparx.

يقدم Stable Audio إصدارًا مجانيًا، يسمح بإنشاء 20 قطعة صوتية في الشهر، وخططًا احترافية بسعر 12 دولارًا في الشهر، مما يسمح بإنشاء 500 قطعة صوتية في الشهر.

فيما يلي مقطع صوتي أنشأته باستخدام Stable Audio:

“سينمائي، موسيقى خلفية هادئة، جو مريح، مع نغمة بعيدة للكلب، هامس أوراق شجرة، رياح خفيفة، 40 إيقاع في الدقيقة”.

نصائح الدفعة

أنشئ الصوت المثالي باستخدام دفعات نصية. ها هي دليل سريع لبدء التشغيل:

1. كن مفصلًا: حدد الأنواع والمزاج والأدوات. على سبيل المثال: السينما، الغرب المتوحش، الإيقاع، المزاج، الجو.
2. إعداد المزاج: اجمع بين المصطلحات الموسيقية والعاطفية لنقل المزاج المرغوب.
3. اختيار الأداة: عزز أسماء الأدوات بالصفات، مثل “جيتار معزز” أو “جوقة قوية”.
4. الإيقاع في الدقيقة: اطابق الإيقاع مع النوع لخرج متناغم، مثل “170 إيقاع في الدقيقة” لأغنية درام وبيس.

ملاحظات الختام

في هذه المقالة، غوصنا في الموسيقى المولدة بالذكاء الاصطناعي، من التأليف الخوارزمي إلى الإطارات التوليدية المتقدمة مثل MusicLM من جوجل وStable Audio. هذه التكنولوجيا، التي تعتمد على التعلم العميق وأفضل نماذج الضغط، لا تعزز فقط توليد الموسيقى ولكن أيضًا تعديل تجارب المستمعين.

ومع ذلك، فإنها مجال في تطور مستمر، مع عقبات مثل الحفاظ على التماسك على المدى الطويل والجدل المستمر حول مصداقية الموسيقى المولدة بالذكاء الاصطناعي، مما ي представляет تحديًا لأصحاب هذه التكنولوجيا. قبل أسبوع واحد فقط، كان كل الحديث عن أغنية مولدة بالذكاء الاصطناعي تقلد أسلوب دريك وذا ويكند، والتي كانت قد اكتسبت شعبية على الإنترنت في وقت سابق من هذا العام. ومع ذلك، تم إزالتها من قائمة الترشيحات لجائزة جرامي، مما يظهر الجدل المستمر حول شرعية الموسيقى المولدة بالذكاء الاصطناعي في الصناعة (المصدر). مع استمرار الذكاء الاصطناعي في جسور الفجوة بين الموسيقى والمستمعين، فإنه يروج لبيئة حيث التكنولوجيا تعيش جنبًا إلى جنب مع الفن، مما يؤدي إلى الابتكار مع احترام التقاليد.