Cercetătorii dezvoltă ‘Audeo’ AI capabil să cânte la pian

O echipă de cercetători de la Universitatea din Washington a dezvoltat un sistem de inteligență artificială (AI) numit Audeo, care poate crea sunete din interpretări pianistice mute. Faza de testare a implicat aplicații de recunoaștere a muzicii, cum ar fi SoundHound, care a putut identifica corect muzica de la Audeo în jur de 86% din timp.

Cercetarea a fost prezentată la conferința NeurlPS 2020 pe 8 decembrie.

Autorul principal, Eli Shlizerman, este asistent profesor în departamentele de matematică aplicată și inginerie electrică și informatică de la universitate.

“A crea muzică care să sune ca și cum ar fi interpretată într-o performanță muzicală a fost considerată anterior imposibilă”, a spus Shlizerman. “Un algoritm trebuie să descopere indicii sau ‘caracteristicile’ din cadrul videoului care sunt legate de generarea muzicii și trebuie să ‘imagineze’ sunetul care are loc între cadrele videoului. Acesta necesită un sistem care este atât precis, cât și imaginar. Faptul că am reușit să obținem muzică care suna destul de bine a fost o surpriză.”

Funcționarea Audeo

Sistemul Audeo funcționează prin decodarea unui videoclip și traducerea lui în muzică. Primul pas din mai multe etape implică detectarea de către IA a tastelor apăsate în fiecare cadru video, iar în cele din urmă se dezvoltă un diagramă. Diagrama este apoi tradusă astfel încât un sintetizator de muzică să poată recunoaște sunetele.

Următorul pas constă în curățarea datelor și adăugarea de informații suplimentare. Aceste informații pot include lucruri precum presiunea din spatele fiecărei apăsări de tastă și cât a durat.

“Dacă încercăm să sintetizăm muzică doar din primul pas, am găsi calitatea muzicii nesatisfăcătoare”, a spus Shlizerman. “Al doilea pas este similar cu modul în care un profesor revizuiește muzica unui student compozitor și o ajută să o îmbunătățească.”

Sistemul a fost instruit și testat cu videoclipuri de pe YouTube ale pianistului Paul Barton și a constat din aproximativ 172.000 de cadre video ale muzicianului care cântă la diferiți compozitori clasici, cum ar fi Mozart. Audeo a fost testat cu 19.000 de cadre ale lui Barton cântând diferite melodii.

Sintetizatorul

După instruire, Audeo generează o transcriere a muzicii, care este apoi alimentată unui sintetizator pentru a o traduce în sunet. Muzica sună diferit în funcție de fiecare sintetizator, ceea ce este echivalent cu schimbarea setărilor instrumentului pe o tastatură electronică.

Echipa a folosit două sintetizatoare separate.

“Fluidsynth creează sunete de pian sintetizate cu care suntem familiarizați. Acestea sunt puțin mecanice, dar destul de precise”, a spus Shlizerman. “De asemenea, am folosit PerfNet, un nou sintetizator AI care generează muzică mai bogată și mai expresivă. Dar, de asemenea, generează mai mult zgomot.”

“Scopul acestui studiu a fost de a vedea dacă inteligența artificială poate genera muzică interpretată de un pianist într-o înregistrare video – deși nu ne-am propus să replicăm pe Paul Barton, deoarece el este un virtuoz”, a continuat Shlizerman. “Sperăm că studiul nostru va permite modalități noi de interacțiune cu muzica. De exemplu, o aplicație viitoare este că Audeo poate fi extins la un pian virtual cu o cameră care înregistrează doar mâinile unei persoane. De asemenea, prin plasarea unei camere deasupra unui pian real, Audeo ar putea asista în moduri noi de predare a elevilor cum să cânte.”

Kung Su și Ziulong Liu, studenți doctoranzi în inginerie electrică și informatică, au fost co-autori ai lucrării.