ืืื ื ืืืืืืชืืช
ืืืงืจืื ืคืืชืื ‘Audeo’ AI ืืืกืืื ืื ืื ืืคืกื ืชืจ
צוות חוקרים באוניברסיטת וושינגטון פיתחו מערכת בינה מלאכותית (AI) הנקראת Audeo, שיכולה ליצור אודיו מביצועי פסנתר שקטים. שלב הבדיקה כלל אפליקציות זיהוי מוזיקה כמו SoundHound, שיכלו לזהות בצורה נכונה את המוזיקה מ-Audeo סביב 86% מהזמן.
המחקר הוצג בוועידת NeurlPS 2020 ב-8 בדצמבר.
המחבר הראשי אלי שליצרמן הוא פרופסור חבר במחלקות המתמטיקה היישומית והנדסת חשמל ומחשבים באוניברסיטה.
“ליצור מוזיקה שנשמעת כאילו היא יכולה להינגן בביצוע מוזיקלי היה נחשב בעבר בלתי אפשרי,” אמר שליצרמן. “אלגוריתם צריך לגלות את הרמזים, או ‘תכונות’, בפריימים של הווידאו הקשורים ליצירת מוזיקה, והוא צריך ל’דמיין’ את הצליל שקורה בין הפריימים של הווידאו. זה דורש מערכת שהיא גם מדויקת וגם דמיונית. העובדה שהצלחנו ליצור מוזיקה שנשמעת טובה הייתה הפתעה.”
איך Audeo עובד
מערכת Audeo עובדת על ידי פיענוח וידאו ותרגומו למוזיקה. השלב הראשון מתוך מספר שלבים כולל את גילוי הקלידים הלחוצים בכל פריים של הווידאו, ובסופו של דבר מתפתחת תרשימת. התרשימה מתורגמת כך שסינתזייטור מוזיקה יכול לזהות צלילים.
השלב הבא הוא לנקות את הנתונים ולהוסיף מידע נוסף. מידע זה יכול לכלול דברים כמו הלחץ מאחורי כל לחיצת קליד וכמה זמן היא נמשכת.
“אם ננסה לסנתז מוזיקה מהשלב הראשון לבד, היינו מוצאים שאיכות המוזיקה לא מספקת,” אמר שליצרמן. “השלב השני הוא כמו שמורה הולכת על מוזיקה של מלחין סטודנט ועוזרת לשפר אותה.”
המערכת אומנה ונבדקה עם סרטוני יוטיוב של הפסנתרן פול ברטון, והיא כללה סביב 172,000 פריימים של המוזיקאי מנגן מלחינים קלאסיים שונים כמו מוצרט. Audeo נבדקה עם 19,000 פריימים של ברטון מנגן מוזיקה שונה.
הסינתזייטור
לאחר האימון, Audeo יוצרת תעתיק של המוזיקה, שאז מוזן לסינתזייטור כדי לתרגמו לצליל. המוזיקה נשמעת שונה בהתאם לכל סינתזייטור, שהוא המקביל לשינוי הגדרת הכלי בקלידים חשמליים.
שני סינתזייטורים נפרדים שימשו על ידי הצוות.
“Fluidsynth יוצר צלילי פסנתר של סינתזייטור שאנו מכירים. אלו צלילים מכניים-קצת אך די מדויקים,” אמר שליצרמן. “כמו כן השתמשנו ב-PerfNet, סינתזייטור AI חדש שיוצר מוזיקה עשירה וביטויית. אבל גם יוצר יותר רעש.”
“המטרה של המחקר הייתה לראות אם בינה מלאכותית יכולה ליצור מוזיקה שנוגנה על ידי פסנתרן בהקלטת וידאו — אף על פי שלא כיוונו לשחזר את פול ברטון, שהוא וירטואוז, “המשיך שליצרמן. “אנו מקווים שמחקרנו מאפשר דרכים חדשות ליחס למוזיקה. למשל, אחת היישומים העתידיים היא ש-Audeo יכולה להירחב לפסנתר וירטואלי עם מצלמה המקליטה רק את ידיו של אדם. כמו כן, על ידי הנחת מצלמה על גבי פסנתר אמיתי, Audeo יכולה לסייע בדרכים חדשות ללמד סטודנטים לנגן.”
Kung Su ו-Ziulong Liu, סטודנטים לדוקטורט בהנדסת חשמל ומחשבים, היו שותפים למאמר.
