الباحثون يطورون الذكاء الاصطناعي "Audeo" القادر على العزف على البيانو

طور فريق من الباحثين في جامعة واشنطن نظام ذكاء اصطناعي (AI) يسمى Audeo يمكنه إنشاء صوت من عروض البيانو الصامتة. تضمنت مرحلة الاختبار تطبيقات التعرف على الموسيقى مثل SoundHound ، والتي يمكنها تحديد الموسيقى بشكل صحيح من Audeo في حوالي 86 ٪ من الوقت. 

تم تقديم البحث في مؤتمر NeurolPS 2020 في 8 ديسمبر.

المؤلف الرئيسي إيلي شليزرمان هو أستاذ مساعد في الرياضيات التطبيقية وأقسام الهندسة الكهربائية وهندسة الحاسبات في الجامعة.

قال شليزرمان: "كان يُعتقد سابقًا أن تأليف موسيقى تبدو وكأنها يمكن عزفها في عرض موسيقي أمر مستحيل". "تحتاج الخوارزمية إلى اكتشاف الإشارات أو" الميزات "في إطارات الفيديو المرتبطة بتوليد الموسيقى ، كما تحتاج إلى" تخيل "الصوت الذي يحدث بين إطارات الفيديو. يتطلب نظامًا دقيقًا وخياليًا. حقيقة أننا حققنا موسيقى بدت جيدة كانت مفاجأة ".

كيف يعمل Audeo

يعمل نظام Audeo عن طريق فك تشفير مقطع فيديو وترجمته إلى موسيقى. تتضمن الخطوة الأولى من عدة خطوات قيام الذكاء الاصطناعي باكتشاف المفاتيح التي يتم الضغط عليها في كل إطار فيديو ، ثم يقوم في النهاية بتطوير رسم تخطيطي. ثم يتم ترجمة الرسم التخطيطي بحيث يمكن لمركب الموسيقى التعرف على الأصوات.

الخطوة التالية هي تنظيف البيانات وإضافة معلومات إضافية. يمكن أن تتضمن هذه المعلومات أشياء مثل الضغط وراء كل ضغطة مفتاح ومدة استمرارها.

قال شليزرمان: "إذا حاولنا توليف الموسيقى من الخطوة الأولى وحدها ، فسنجد أن جودة الموسيقى غير مرضية". "الخطوة الثانية هي مثل الطريقة التي يراجع فيها المعلم موسيقى ملحن طالب ويساعد في تحسينها."

تم تدريب النظام واختباره باستخدام مقاطع فيديو على YouTube لعازف البيانو بول بارتون ، وكان يتألف من حوالي 172,000 إطار فيديو للموسيقي وهو يعزف العديد من الملحنين الكلاسيكيين مثل موزارت. تم اختبار Audeo بـ 19,000 إطار لبارتون يعزف الموسيقى المختلفة. 

المركّب

بعد أن يتم تدريبه ، يقوم Audeo بإنشاء نسخة من الموسيقى ، والتي يتم تغذيتها بعد ذلك إلى آلة النطق لترجمتها إلى صوت. تختلف أصوات الموسيقى اعتمادًا على كل مُركِّب ، وهو ما يعادل تغيير إعداد الآلة على لوحة مفاتيح كهربائية.

تم استخدام مركبين منفصلين من قبل الفريق.

"تصدر تقنية Fluidsynth أصوات بيانو مُركِّبة مألوفة لدينا. قال شليزرمان: "هذه أصوات ميكانيكية إلى حد ما ولكنها دقيقة جدًا". "لقد استخدمنا أيضًا PerfNet ، وهو مركب جديد يعمل بالذكاء الاصطناعي يولد موسيقى أكثر ثراءً وتعبيراً. لكنها أيضًا تولد المزيد من الضوضاء ".

وتابع شليزرمان: "كان الهدف من هذه الدراسة هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يولد موسيقى يعزفها عازف البيانو في تسجيل فيديو - على الرغم من أننا لم نكن نهدف إلى تكرار بول بارتون لأنه مبدع للغاية". نأمل أن تتيح دراستنا طرقًا جديدة للتفاعل مع الموسيقى. على سبيل المثال ، أحد التطبيقات المستقبلية هو أن Audeo يمكن أن يمتد إلى بيانو افتراضي بكاميرا تسجل يدي شخص فقط. أيضًا ، من خلال وضع كاميرا أعلى بيانو حقيقي ، يمكن أن يساعد Audeo بطرق جديدة لتعليم الطلاب كيفية العزف ".

كان كل من Kung Su و Ziulong Liu ، طلاب الدكتوراه في الهندسة الكهربائية وهندسة الكمبيوتر ، مؤلفي الورقة البحثية.