AI-onderzoekers ontwerpen programma om geluidseffecten voor films en andere media te genereren

Onderzoekers van de University of Texas San Antonio hebben een AI-gebaseerde applicatie ontwikkeld die in staat is om de acties in een video te observeren en kunstmatige geluidseffecten te creëren die overeenkomen met die acties. De door het programma gegenereerde geluidseffecten zijn zo realistisch dat menselijke waarnemers die werden ondervraagd, meestal dachten dat de geluidseffecten legitiem waren.

Het programma dat verantwoordelijk is voor het genereren van de geluidseffecten, AudioFoley, werd gedetailleerd in een recente studie die werd gepubliceerd in IEEE Transactions on Multimedia. Volgens IEEE Spectrum werd het AI-programma ontwikkeld door Jeff Provost, professor aan UT San Antonio, en Ph.D.-student Sanchita Ghose. De onderzoekers creëerden het programma met behulp van meerdere machine learning-modellen die samen werden gekoppeld.

De eerste taak bij het genereren van geluidseffecten die geschikt zijn voor de acties op het scherm, was het herkennen van die acties en het toewijzen van geluidseffecten. Om dit te bereiken, ontwierpen de onderzoekers twee verschillende machine learning-modellen en testten ze hun verschillende benaderingen. Het eerste model werkt door frames uit de video’s te extraheren en deze frames te analyseren op relevante kenmerken zoals bewegingen en kleuren. Vervolgens werd een tweede model gebruikt om de positie van een object over frames heen te analyseren, om tijdelijke informatie te extraheren. Deze tijdelijke informatie wordt gebruikt om de volgende waarschijnlijke acties in de video te voorspellen. De twee modellen hebben verschillende methoden om de acties in de clip te analyseren, maar ze gebruiken allebei de informatie in de clip om te raden welk geluid het beste bij de actie past.

De volgende taak is het synthetiseren van het geluid, en dit wordt bereikt door activiteiten/voorspelde bewegingen te koppelen aan mogelijke geluidsvoorbeelden. Volgens Ghose en Prevost werd AutoFoley gebruikt om geluid te genereren voor 1000 korte clips, met acties en voorwerpen zoals een brand, een rennend paard, een tikkerende klok en regen die op planten valt. Terwijl AutoFoley het meest succesvol was in het creëren van geluid voor clips waarvoor geen perfecte overeenkomst tussen acties en geluiden nodig was, had het moeite met het koppelen van clips waarin acties met meer variatie plaatsvonden, en het programma was nog steeds in staat om veel menselijke waarnemers te misleiden om de gegenereerde geluiden boven het oorspronkelijke geluid te kiezen.

Prevost en Ghose werven 57 studenten en lieten hen verschillende clips bekijken. Sommige clips bevatten het oorspronkelijke audio, sommige bevatten audio gegenereerd door AutoFoley. Toen het eerste model werd getest, koos ongeveer 73% van de studenten de gesynthetiseerde audio als het oorspronkelijke audio, waarbij ze het echte geluid dat bij de clip hoorde, negeerden. Het andere model presteerde iets slechter, met slechts 66% van de deelnemers die de gegenereerde audio boven het oorspronkelijke audio kozen.

Prevost legde uit dat AutoFoley mogelijk gebruikt kan worden om het productieproces van films, televisie en andere media te versnellen. Prevost merkt op dat een realistische Foley-track belangrijk is om media aantrekkelijk en geloofwaardig te maken, maar dat het Foley-proces vaak veel tijd in beslag neemt. Een geautomatiseerd systeem dat de creatie van basis-Foley-elementen kan afhandelen, kan het produceren van media goedkoper en sneller maken.

Momenteel heeft AutoFoley enkele opvallende beperkingen. Ten eerste, terwijl het model goed presteert bij het observeren van gebeurtenissen met stabiele, voorspelbare bewegingen, heeft het moeite met het genereren van audio voor gebeurtenissen met variatie in de tijd (zoals onweersbuien). Bovendien vereist het dat het classificatie-onderwerp aanwezig is in de hele clip en niet uit het kader verdwijnt. Het onderzoeksteam streeft ernaar om deze problemen aan te pakken met toekomstige versies van de applicatie.