باحثون يطورون ‘Audeo’ الذكاء الاصطناعي القادر على تشغيل البيانو

طور فريق من الباحثين في جامعة واشنطن نظام ذكاء اصطناعي يسمى Audeo يمكنه إنشاء صوت من أداء البيانو الصامت. شملت مرحلة الاختبار تطبيقات تعرف الموسيقى مثل SoundHound ، والتي يمكنها تحديد الموسيقى من Audeo بشكل صحيح حوالي 86٪ من الوقت. تم تقديم البحث في مؤتمر NeurlPS 2020 في 8 ديسمبر. المؤلف الرئيسي إيلي شليزمان هو أستاذ مساعد في أقسام الرياضيات التطبيقية والهندسة الكهربائية والحاسوب في الجامعة. “إن خلق موسيقى تبدو وكأنها يمكن أن تُلعب في أداء موسيقي كان يُعتقد في السابق أنه مستحيل” ، قال شليزمان. “يحتاج الخوارزمية إلى معرفة الإشارات أو “الميزات” في إطارات الفيديو المتعلقة بإنشاء الموسيقى ، ويحتاج إلى “تخيل” الصوت الذي يحدث بين إطارات الفيديو. يحتاج إلى نظام دقيق ومخيل. حقيقة أننا حققنا موسيقى جيدة كانت مفاجئة “.

كيف يعمل Audeo

يعمل نظام Audeo عن طريق فك تشفير الفيديو وترجمته إلى موسيقى. الخطوة الأولى من بين عدة خطوات تتضمن اكتشاف الذكاء الاصطناعي المفاتيح المضغوطة في كل إطار فيديو ، وفي النهاية يطور مخططًا. ثم يُترجم المخطط بحيث يمكن لمُ 합نث الموسيقى التعرف على الأصوات. الخطوة التالية هي تنظيف البيانات وإضافة معلومات إضافية. يمكن أن تشمل هذه المعلومات أشياء مثل الضغط خلف كل ضغط مفتاح ومدته. “إذا حاولنا 합نث الموسيقى من الخطوة الأولى فقط ، سنجد جودة الموسيقى غير مرضية” ، قال شليزمان. “الخطوة الثانية مثل كيف يمرر معلم موسيقى على موسيقى طالب مؤلف ويُساعده على تحسينها”. تم تدريب النظام واختباره مع مقاطع فيديو على يوتيوب من عازف البيانو بول بارتون ، ويتكون من حوالي 172000 إطار فيديو للموسيقي الذي يلعب مؤلفين كلاسيكيين مختلفين مثل موزارت. تم اختبار Audeo مع 19000 إطار من بارتون الذي يلعب موسيقى مختلفة.

مُ合نث

بعد التدريب ، يولد Audeo نصًا للموسيقى ، والتي يتم إطعامها لمُ合نث لترجمةها إلى صوت. تختلف الموسيقى حسب كل مُ合نث ، وهو ما يعادل تغيير إعداد الآلة على لوحة مفاتيح كهربائية. استخدم الفريق مُ合نثين منفصلين. “يُ合نث Fluidsynth يُ合نث صوت البيانو الذي نعتاد عليه. هذه الأصوات ميكانيكية إلى حد ما ولكنها دقيقة” ، قال شليزمان. “كما استخدمنا PerfNet ، مُ合نث ذكاء اصطناعي جديد يُ合نث موسيقى غنية وأكثر تعبيرًا. ولكنها أيضًا تُ合نث المزيد من الضوضاء”. “الهدف من هذه الدراسة هو معرفة ما إذا كان الذكاء الاصطناعي يمكنه إنشاء موسيقى يلعبها عازف البيانو في تسجيل فيديو — على الرغم من أننا لم نكن نهدف إلى تكرار بول بارتون لأنه فنان بارع” ، واصل شليزمان. “نأمل أن تُمكّن دراستنا طرقًا جديدة للتفاعل مع الموسيقى. على سبيل المثال ، واحدة من التطبيقات المستقبلية هي أن Audeo يمكن扩ده إلى بيانو افتراضي مع كاميرا تسجل فقط يدي الشخص. أيضًا ، من خلال وضع كاميرا فوق بيانو حقيقي ، يمكن أن يساعد Audeo بطريقة جديدة في تعليم الطلاب كيفية اللعب”. كان كونغ سو وزيولونغ 刘 طلاب دكتوراه في الهندسة الكهربائية والحاسوب من المؤلفين المشاركين في الورقة.