Cercetători în domeniul inteligenței artificiale proiectează un program pentru a genera efecte sonore pentru filme și alte medii

Cercetători de la Universitatea Texas din San Antonio au creat o aplicație bazată pe inteligență artificială capabilă să observe acțiunile care au loc într-un videoclip și să creeze efecte sonore artificiale pentru a se potrivi cu acele acțiuni. Efectele sonore generate de program sunt atât de realiste încât, atunci când observatorii umani au fost chestionați, aceștia au crezut în general că efectele sonore erau autentice.

Programul responsabil pentru generarea efectelor sonore, AudioFoley, a fost detaliat într-un studiu publicat recent în IEEE Transactions on Multimedia. Conform IEEE Spectrum, programul de inteligență artificială a fost dezvoltat de Jeff Provost, profesor la UT San Antonio, și studentul doctorand Sanchita Ghose. Cercetătorii au creat programul utilizând mai multe modele de învățare automată reunite.

Prima sarcină în generarea de efecte sonore adecvate pentru acțiunile de pe ecran a fost recunoașterea acțiunilor și maparea lor la efecte sonore. Pentru a realiza acest lucru, cercetătorii au proiectat două modele de învățare automată diferite și au testat abordările lor diferite. Primul model funcționează prin extragerea cadrelor din videoclipurile pe care le primește și analizarea acestor cadre pentru caracteristici relevante, cum ar fi mișcările și culorile. Apoi, un al doilea model a fost utilizat pentru a analiza cum se schimbă poziția unui obiect de-a lungul cadrelor, pentru a extrage informații temporale. Aceste informații temporale sunt utilizate pentru a anticipa următoarele acțiuni probabile din videoclip. Cele două modele au metode diferite de analiză a acțiunilor din clip, dar ambele utilizează informațiile conținute în clip pentru a ghici care sunet ar însoți cel mai bine acțiunea.

Următoarea sarcină este sintetizarea sunetului, și aceasta se realizează prin asocierea activităților/predicțiilor de mișcare cu mostre de sunet posibile. Conform lui Ghose și Provost, AutoFoley a fost utilizat pentru a genera sunet pentru 1000 de clipuri scurte, care prezintă acțiuni și obiecte precum un incendiu, un cal care aleargă, ceasuri care ticăiesc și ploaie care cade pe plante. În timp ce AutoFoley a fost cel mai de succes în crearea de sunet pentru clipuri în care nu a fost necesară o potrivire perfectă între acțiuni și sunete, și a avut dificultăți în a se potrivi cu clipurile în care acțiunile aveau loc cu variații mai mari, programul a reușit totuși să păcălească mulți observatori umani, făcându-i să aleagă sunetele generate de program în locul sunetului original care însoțea clipul.

Provost și Ghose au recrutat 57 de studenți și i-au făcut să vadă diferite clipuri. Unele clipuri conțineau sunetul original, altele conțineau sunet generat de AutoFoley. Când primul model a fost testat, aproximativ 73% dintre studenți au ales sunetul sintetizat ca fiind sunetul original, neglijând sunetul real care însoțea clipul. Celălalt model a performant puțin mai slab, cu doar 66% dintre participanți care au ales sunetul generat în locul sunetului original.

Provost a explicat că AutoFoley ar putea fi utilizat pentru a accelera procesul de producție a filmelor, televiziunii și altor piese media. Provost notează că o pistă de sunet Foley realistă este importantă pentru a face media atractivă și credibilă, dar că procesul Foley poate dura mult timp pentru a fi finalizat. Având un sistem automatizat care ar putea gestiona crearea de elemente de bază Foley ar putea face producția de media mai ieftină și mai rapidă.

În prezent, AutoFoley are câteva limitări notabile. În primul rând, în timp ce modelul pare să performeze bine atunci când observă evenimente care au mișcări stabile și previzibile, suferă atunci când încearcă să genereze sunet pentru evenimente cu variații în timp (cum ar fi furtunile). Dincolo de acest lucru, necesită și ca subiectul de clasificare să fie prezent în întregul clip și să nu părăsească cadrul. Echipa de cercetare își propune să adreseze aceste probleme cu versiunile viitoare ale aplicației.