Ερευνητές Ανάπτυξαν το ‘Audeo’ AI Ικανό να Παίζει Πιάνο

Μια ομάδα ερευνητών στο Πανεπιστήμιο του Ουάσινγκτον ανέπτυξε ένα σύστημα τεχνητής νοημοσύνης (AI) που ονομάζεται Audeo, το οποίο μπορεί να δημιουργήσει ήχο από σιωπηλά πιάνο. Η φάση δοκιμών περιελάμβανε εφαρμογές αναγνώρισης μουσικής όπως το SoundHound, το οποίο μπορούσε να αναγνωρίσει σωστά τη μουσική από το Audeo περίπου το 86% της thờiδας.

Η έρευνα παρουσιάστηκε στη διάσκεψη NeurlPS 2020 στις 8 Δεκεμβρίου.

Ο υπεύθυνος ερευνητής Eli Shlizerman είναι επίκουρος καθηγητής στα τμήματα εφαρμοσμένων μαθηματικών και ηλεκτρονικών και υπολογιστικών μηχανικών στο πανεπιστήμιο.

“Η δημιουργία μουσικής που ήχησε σαν να παιζόταν σε μια μουσική παράσταση θεωρούνταν προηγουμένως αδύνατη,” είπε ο Shlizerman. “Ένας αλγόριθμος πρέπει να βρει τις ενδείξεις, ή ‘χαρακτηριστικά’, στα πλαίσια του βίντεο που σχετίζονται με τη δημιουργία μουσικής, και πρέπει να ‘φανταστεί’ τον ήχο που συμβαίνει μεταξύ των πλαισίων του βίντεο. Απαιτεί ένα σύστημα που είναι και ακριβές και φανταστικό. Το γεγονός ότι επιτύχαμε μουσική που ήχησε αρκετά καλά ήταν μια έκπληξη.”

Πώς Λειτουργεί το Audeo

Το σύστημα Audeo λειτουργεί αποκωδικοποιώντας ένα βίντεο και μεταφράζοντάς το σε μουσική. Το πρώτο από τα πολλά βήματα περιλαμβάνει την ανίχνευση των πλήκτρων που πατιούνται σε κάθε πλαίσιο του βίντεο, και τελικά αναπτύσσει ένα διάγραμμα. Το διάγραμμα μεταφράζεται έτσι ώστε ένας συνθετητής μουσικής να μπορεί να αναγνωρίσει τους ήχους.

Το επόμενο βήμα είναι να καθαριστούν τα δεδομένα και να προστεθούν πρόσθετες πληροφορίες. Αυτές οι πληροφορίες μπορεί να περιλαμβάνουν πράγματα όπως η πίεση πίσω από κάθε πίεση πλήκτρου και πόσο διαρκούσε.

“Εάν προσπαθήσουμε να συνθέσουμε μουσική από το πρώτο βήμα μόνο, θα βρούμε την ποιότητα της μουσικής να είναι μη ικανοποιητική,” είπε ο Shlizerman. “Το δεύτερο βήμα είναι σαν να πηγαίνει ένας δάσκαλος πάνω από τη μουσική ενός μαθητή-συνθέτη και τη βοηθά να την ενισχύσει.”

Το σύστημα εκπαιδεύτηκε και δοκιμάστηκε με βίντεο από το YouTube του πιανίστα Paul Barton, και αποτελούταν από περίπου 172.000 πλαίσια του μουσικού που έπαιζε διάφορους κλασικούς συνθέτες όπως ο Μότσαρτ. Το Audeo δοκιμάστηκε με 19.000 πλαίσια του Barton που έπαιζε διαφορετική μουσική.

Ο Συνθετητής

Μετά την εκπαίδευση, το Audeo δημιουργεί μια μεταγραφή της μουσικής, η οποία στη συνέχεια τροφοδοτείται σε einen συνθετητή για να μεταφραστεί σε ήχο. Η μουσική ήχος διαφορετικά ανάλογα με κάθε συνθετητή, το οποίο είναι ισοδύναμο με την αλλαγή της ρύθμισης του οργάνου σε ένα ηλεκτρικό πιάνο.

Χρησιμοποιήθηκαν δύο ξεχωριστοί συνθετητές από την ομάδα.

“Το Fluidsynth δημιουργεί ήχους πιάνου που είμαστε εξοικειωμένοι. Αυτοί είναι κάπως μηχανικοί-ήχοι αλλά αρκετά ακριβείς,” είπε ο Shlizerman. “Χρησιμοποιήσαμε επίσης το PerfNet, einen νέο συνθετητή AI που δημιουργεί πλουσιότερη και πιο εκφραστική μουσική. Αλλά επίσης δημιουργεί περισσότερο θόρυβο.”

“Ο στόχος αυτής της μελέτης ήταν να δούμε εάν η τεχνητή νοημοσύνη θα μπορούσε να δημιουργήσει μουσική που παιζόταν από έναν πιανίστα σε μια ηχογράφηση βίντεο — αν και δεν στόχευα να αναπαράγουμε τον Paul Barton επειδή είναι τόσο εύστοχος,” συνέχισε ο Shlizerman. “Ελπίζουμε ότι η μελέτη μας θα επιτρέψει νέους τρόπους αλληλεπίδρασης με τη μουσική. Για παράδειγμα, μια μελλοντική εφαρμογή είναι ότι το Audeo μπορεί να επεκταθεί σε ένα εικονικό πιάνο με μια κάμερα που ηχογραφεί απλώς τα χέρια ενός ατόμου. Επίσης, με την τοποθέτηση μιας κάμερας πάνω από ένα πραγματικό πιάνο, το Audeo θα μπορούσε να βοηθήσει με νέους τρόπους διδασκαλίας μαθητών πώς να παίζουν.”

Οι Kung Su και Ziulong Liu, διδακτορικοί φοιτητές στο τμήμα ηλεκτρονικών και υπολογιστικών μηχανικών, ήταν συν-συγγραφείς του εγγράφου.