Cercetătorii dezvoltă ‘Audeo’, un AI capabil să cânte la pian

O echipă de cercetători de la Universitatea Washington a dezvoltat un sistem de inteligență artificială (IA) numit Audeo, care poate crea sunete din interpretări mute de pian. Faza de testare a implicat aplicații de recunoaștere a muzicii, cum ar fi SoundHound, care a putut identifica corect muzica de la Audeo în aproximativ 86% din timp.

Cercetarea a fost prezentată la conferința NeurlPS 2020, pe 8 decembrie.

Autorul principal, Eli Shlizerman, este profesor asistent în departamentele de matematică aplicată și inginerie electrică și informatică de la universitate.

“A crea muzică care să sune ca și cum ar fi interpretată într-o performanță muzicală a fost considerat anterior imposibil”, a spus Shlizerman. “Un algoritm trebuie să descopere indicii sau ‘caracteristicile’ din cadrele video care sunt legate de generarea de muzică și trebuie să ‘imagineze’ sunetul care se întâmplă între cadrele video. Acesta necesită un sistem care este atât precis, cât și imaginativ. Faptul că am reușit să obținem muzică care suna destul de bine a fost o surpriză.”

Funcționarea Audeo

Sistemul Audeo funcționează prin decodarea unui videoclip și traducerea lui în muzică. Primul pas din mai multe etape implică detectarea de către IA a tastelor apăsate în fiecare cadru video, și în cele din urmă dezvoltă un diagramă. Diagrama este apoi tradusă astfel încât un sintetizator de muzică să poată recunoaște sunetele.

Următorul pas este ca datele să fie curățate și să se adauge informații suplimentare. Aceste informații pot include lucruri cum ar fi presiunea din spatele fiecărei apăsări de tastă și cât timp a durat.

“Dacă încercăm să sintetizăm muzică din primul pas singur, am găsi calitatea muzicii nesatisfăcătoare”, a spus Shlizerman. “Al doilea pas este similar cu modul în care un profesor revizuiește muzica unui student compozitor și o ajută să o îmbunătățească.”

Sistemul a fost instruit și testat cu videoclipuri de pe YouTube ale pianistului Paul Barton și a constat din aproximativ 172.000 de cadre video ale muzicianului care cântă la diferiți compozitori clasici, cum ar fi Mozart. Audeo a fost testat cu 19.000 de cadre în care Barton a cântat muzică diferită.

Sintetizatorul

După ce a fost instruit, Audeo generează o transcriere a muzicii, care este apoi alimentată unui sintetizator pentru a o traduce în sunet. Muzica sună diferit în funcție de fiecare sintetizator, ceea ce este echivalent cu schimbarea setărilor de instrument pe o tastatură electronică.

Echipa a utilizat două sintetizatoare separate.

“Fluidsynth creează sunete de pian sintetizate cu care suntem familiarizați. Acestea sunt puțin mecanice, dar destul de precise”, a spus Shlizerman. “Am utilizat, de asemenea, PerfNet, un nou sintetizator de inteligență artificială care generează muzică mai bogată și mai expresivă. Dar, de asemenea, generează mai mult zgomot.”

“Scopul acestui studiu a fost să vedem dacă inteligența artificială poate genera muzică care a fost interpretată de un pianist într-o înregistrare video – deși nu ne-am propus să replicăm pe Paul Barton, deoarece el este un virtuoz”, a continuat Shlizerman. “Sperăm că studiul nostru va permite modalități noi de interacțiune cu muzica. De exemplu, o aplicație viitoare este că Audeo poate fi extins la un pian virtual cu o cameră care înregistrează doar mâinile unei persoane. De asemenea, prin plasarea unei camere deasupra unui pian real, Audeo ar putea asista în moduri noi de a preda studenților cum să cânte.”

Kung Su și Ziulong Liu, studenți doctoranzi în inginerie electrică și informatică, au fost co-autori ai lucrării.