I ricercatori di intelligenza artificiale progettano un programma per generare effetti sonori per film e altri media

I ricercatori dell’Università del Texas a San Antonio hanno creato un’applicazione basata sull’intelligenza artificiale in grado di osservare le azioni che si svolgono in un video e creare effetti sonori artificiali per accompagnare quelle azioni. Gli effetti sonori generati dal programma sono così realistici che, quando sono stati sottoposti a un sondaggio, gli osservatori umani hanno pensato che gli effetti sonori fossero legittimi.

Il programma responsabile della generazione degli effetti sonori, AudioFoley, è stato descritto in uno studio recentemente pubblicato su IEEE Transactions on Multimedia. Secondo IEEE Spectrum, il programma di intelligenza artificiale è stato sviluppato da Jeff Provost, professore alla UT San Antonio, e dalla studentessa di dottorato Sanchita Ghose. I ricercatori hanno creato il programma utilizzando più modelli di apprendimento automatico uniti insieme.

Il primo compito nella generazione di effetti sonori appropriati per le azioni sullo schermo è stato riconoscere quelle azioni e mapparle sugli effetti sonori. Per raggiungere questo obiettivo, i ricercatori hanno progettato due diversi modelli di apprendimento automatico e hanno testato i loro approcci diversi. Il primo modello opera estraendo frame dai video che gli vengono forniti e analizzandoli per caratteristiche rilevanti come movimenti e colori. Successivamente, un secondo modello è stato utilizzato per analizzare come la posizione di un oggetto cambi tra i frame, per estrarre informazioni temporali. Queste informazioni temporali vengono utilizzate per anticipare le prossime azioni probabili nel video. I due modelli hanno metodi diversi per analizzare le azioni nel clip, ma entrambi utilizzano le informazioni contenute nel clip per indovinare quale suono accompagnerebbe meglio.

Il prossimo compito è sintetizzare il suono, e ciò viene fatto abbinnando attività/movimenti previsti a possibili campioni di suono. Secondo Ghose e Prevost, AutoFoley è stato utilizzato per generare suoni per 1000 clip brevi, che presentavano azioni e oggetti come un incendio, un cavallo che corre, orologi ticchettanti e pioggia che cade su piante. Sebbene AutoFoley abbia avuto più successo nella creazione di suoni per clip in cui non era necessario un abbinamento perfetto tra azioni e suoni, e abbia avuto difficoltà ad abbinare clip in cui le azioni si verificavano con più variazioni, il programma è stato comunque in grado di ingannare molti osservatori umani, facendogli scegliere i suoni generati come audio originale.

Prevost e Ghose hanno reclutato 57 studenti universitari e li hanno fatti guardare diversi clip. Alcuni clip contenevano l’audio originale, mentre altri contenevano audio generato da AutoFoley. Quando il primo modello è stato testato, circa il 73% degli studenti ha scelto l’audio sintetizzato come audio originale, trascurando il suono reale che accompagnava il clip. L’altro modello ha performato leggermente peggio, con solo il 66% dei partecipanti che hanno scelto l’audio generato rispetto all’audio originale.

Prevost ha spiegato che AutoFoley potrebbe potenzialmente essere utilizzato per accelerare il processo di produzione di film, televisione e altri pezzi di media. Prevost nota che una traccia Foley realistica è importante per rendere i media coinvolgenti e credibili, ma che il processo Foley spesso richiede molto tempo per essere completato. Avere un sistema automatizzato che potrebbe gestire la creazione di elementi Foley di base potrebbe rendere la produzione di media più economica e veloce.

Attualmente, AutoFoley ha alcune limitazioni significative. Innanzitutto, mentre il modello sembra performare bene nell’osservazione di eventi con movimenti stabili e prevedibili, soffre quando tenta di generare audio per eventi con variazioni nel tempo (come tempeste). Inoltre, richiede che l’oggetto di classificazione sia presente in tutto il clip e non lasci il frame. Il team di ricerca sta cercando di affrontare questi problemi con future versioni dell’applicazione.