الباحثون يطورون الذكاء الاصطناعي "Audeo" القادر على العزف على البيانو

طور فريق من الباحثين في جامعة واشنطن نظام ذكاء اصطناعي (AI) يسمى Audeo يمكنه إنشاء صوت من عروض البيانو الصامتة. تضمنت مرحلة الاختبار تطبيقات التعرف على الموسيقى مثل SoundHound ، والتي يمكنها تحديد الموسيقى بشكل صحيح من Audeo في حوالي 86 ٪ من الوقت. 

تم تقديم البحث في مؤتمر NeurolPS 2020 في 8 ديسمبر.

المؤلف الرئيسي إيلي شليزرمان هو أستاذ مساعد في الرياضيات التطبيقية وأقسام الهندسة الكهربائية وهندسة الحاسبات في الجامعة.

قال شليزرمان: "كان يُعتقد سابقًا أن إنتاج موسيقى تُشبه أداءً موسيقيًا أمرًا مستحيلًا. تحتاج الخوارزمية إلى تحديد الإشارات، أو "الخصائص"، في إطارات الفيديو المرتبطة بتوليد الموسيقى، وتحتاج إلى "تخيل" الصوت الذي يحدث بين إطارات الفيديو. يتطلب هذا نظامًا دقيقًا ومبتكرًا. كانت حقيقة أننا أنتجنا موسيقى ذات صوت جيد أمرًا مفاجئًا".

كيف يعمل Audeo

يعمل نظام Audeo عن طريق فك تشفير مقطع فيديو وترجمته إلى موسيقى. تتضمن الخطوة الأولى من عدة خطوات قيام الذكاء الاصطناعي باكتشاف المفاتيح التي يتم الضغط عليها في كل إطار فيديو ، ثم يقوم في النهاية بتطوير رسم تخطيطي. ثم يتم ترجمة الرسم التخطيطي بحيث يمكن لمركب الموسيقى التعرف على الأصوات.

الخطوة التالية هي تنظيف البيانات وإضافة معلومات إضافية. يمكن أن تتضمن هذه المعلومات أشياء مثل الضغط وراء كل ضغطة مفتاح ومدة استمرارها.

قال شليزرمان: "إذا حاولنا توليف الموسيقى من الخطوة الأولى فقط، فسنجد أن جودة الموسيقى غير مُرضية. أما الخطوة الثانية، فهي أشبه بمراجعة المعلم لموسيقى طالبه الملحن، ومساعدته على تحسينها".

تم تدريب النظام واختباره باستخدام مقاطع فيديو على YouTube لعازف البيانو بول بارتون ، وكان يتألف من حوالي 172,000 إطار فيديو للموسيقي وهو يعزف العديد من الملحنين الكلاسيكيين مثل موزارت. تم اختبار Audeo بـ 19,000 إطار لبارتون يعزف الموسيقى المختلفة. 

المركّب

بعد أن يتم تدريبه ، يقوم Audeo بإنشاء نسخة من الموسيقى ، والتي يتم تغذيتها بعد ذلك إلى آلة النطق لترجمتها إلى صوت. تختلف أصوات الموسيقى اعتمادًا على كل مُركِّب ، وهو ما يعادل تغيير إعداد الآلة على لوحة مفاتيح كهربائية.

تم استخدام مركبين منفصلين من قبل الفريق.

"تصدر تقنية Fluidsynth أصوات بيانو مُركِّبة مألوفة لدينا. قال شليزرمان: "هذه أصوات ميكانيكية إلى حد ما ولكنها دقيقة جدًا". "لقد استخدمنا أيضًا PerfNet ، وهو مركب جديد يعمل بالذكاء الاصطناعي يولد موسيقى أكثر ثراءً وتعبيراً. لكنها أيضًا تولد المزيد من الضوضاء ".

كان هدف هذه الدراسة هو معرفة ما إذا كان الذكاء الاصطناعي قادرًا على توليد موسيقى عزفها عازف بيانو في تسجيل فيديو - مع أننا لم نكن نهدف إلى محاكاة بول بارتون لما يتمتع به من موهبة موسيقية فائقة، تابع شليزرمان. "نأمل أن تُتيح دراستنا طرقًا مبتكرة للتفاعل مع الموسيقى. على سبيل المثال، من التطبيقات المستقبلية إمكانية توسيع نطاق Audeo ليشمل بيانو افتراضيًا بكاميرا تُسجل حركة يد الشخص فقط. كما يُمكن أن يُساعد وضع كاميرا فوق بيانو حقيقي في تطوير أساليب جديدة لتعليم الطلاب العزف."

كان كل من Kung Su و Ziulong Liu ، طلاب الدكتوراه في الهندسة الكهربائية وهندسة الكمبيوتر ، مؤلفي الورقة البحثية.