باحثون يطورون نظامًا ذكاءً اصطناعيًا يُدعى “Audeo” يمكنه لعب البيانو

طور فريق من الباحثين في جامعة واشنطن نظامًا ذكاءً اصطناعيًا يُدعى “Audeo” يمكنه إنشاء صوت من أداء البيانو الصامت. تم اختبار النظام باستخدام تطبيقات تعرف الموسيقى مثل SoundHound، والتي يمكنها تحديد الموسيقى من Audeo بشكل صحيح في حوالي 86٪ من الوقت.

تم تقديم البحث في مؤتمر NeurlPS 2020 في 8 ديسمبر.

المؤلف الرئيسي إيلي شليزرمان هو أستاذ مساعد في أقسام الرياضيات التطبيقية والهندسة الكهربائية والحاسوبية في الجامعة.

“إن création موسيقى تبدو وكأنها يمكن لعبها في أداء موسيقي كان يُعتقد في السابق أنه مستحيل”، قال شليزرمان. “يحتاج الخوارزمية إلى معرفة الإشارات أو “الميزات” في إطارات الفيديو المتعلقة بإنشاء الموسيقى، ويحتاج إلى “تخيل” الصوت الذي يحدث بين إطارات الفيديو. يتطلب نظامًا يجمع بين الدقة والخيال. حقيقة أننا حققنا موسيقى جيدة كانت مفاجئة”.

كيف يعمل Audeo

يعمل نظام Audeo عن طريق فك تشفير الفيديو وترجمته إلى موسيقى. الخطوة الأولى هي أن يكتشف الذكاء الاصطناعي المفاتيح المضغوطة في كل إطار فيديو، وينتج في النهاية مخططًا. ثم يُترجم المخطط بحيث يمكن لمولد الموسيقى التعرف على الأصوات.

الخطوة التالية هي تنظيف البيانات وإضافة معلومات إضافية. يمكن أن تشمل هذه المعلومات أشياء مثل الضغط وراء كل ضغط مفتاح ومدة استمراره.

“إذا حاولنا合成 الموسيقى من الخطوة الأولى فقط، لوجدنا أن جودة الموسيقى ليست مرضية”، قال شليزرمان. “الخطوة الثانية مثل كيف يمرر معلم على موسيقى مؤلف طالب ويساعده على تحسينها”.

تم تدريب النظام واختباره باستخدام مقاطع فيديو على يوتيوب للبيانيست بول بارتون، ويتكون من حوالي 172000 إطار فيديو للموسيقي يلعب مؤلفين كلاسيكيين مختلفين مثل موزارت. تم اختبار Audeo مع 19000 إطار من بارتون يلعب موسيقى مختلفة.

مولد الموسيقى

بعد التدريب، يولد Audeo نصًا للموسيقى، والتي يتم إطعامها لمولد الموسيقى لترجمةها إلى صوت. تختلف الموسيقى في الصوت حسب كل مولد موسيقى، وهو ما يعادل تغيير إعداد الآلة على لوحة مفاتيح كهربائية.

استخدم الفريق مولدين موسيقيين منفصلين.

“يولد Fluidsynth أصوات بيانو اصطناعية نمطية التي نعتاد سماعها. هذه الأصوات ميكانيكية ولكنها دقيقة”، قال شليزرمان. “كما استخدمنا PerfNet، وهو مولد موسيقى اصطناعي جديد يولد موسيقى أكثر غنى وتعبيرًا. لكنه يولد أيضًا ضوضاء أكثر”.

“الهدف من هذه الدراسة هو معرفة ما إذا كان الذكاء الاصطناعي يمكنه توليد موسيقى يلعبها بيانيست في تسجيل فيديو – على الرغم من أننا لم نكن نهدف إلى تكرار بول بارتون لأنه موسيقي بارع”، واصل شليزرمان. “نأمل أن تتيح لنا دراستنا طرقًا جديدة للتفاعل مع الموسيقى. على سبيل المثال، أحد التطبيقات المستقبلية هو أن Audeo يمكن أن يتوسع إلى بيانو افتراضي مع كاميرا تسجل فقط يدي الشخص. كما يمكن أن يساعد Audeo، عن طريق وضع كاميرا على بيانو حقيقي، في تعليم الطلاب كيف يلعبون بطريقة جديدة”.

كان كونغ سو وزيولونغ ليو، طلاب الدكتوراه في الهندسة الكهربائية والحاسوبية، من بين مؤلفي الورقة.