Les chercheurs en IA conçoivent un programme pour générer des effets sonores pour les films et les médias

Les chercheurs de l’Université du Texas à San Antonio ont créé une application basée sur l’IA capable d’observer les actions qui se déroulent dans une vidéo et de créer des effets sonores artificiels pour les accompagner. Les effets sonores générés par le programme sont si réalistes que lorsque des observateurs humains ont été interrogés, ils ont généralement pensé que les effets sonores étaient légitimes.

Le programme responsable de la génération des effets sonores, AudioFoley, a été détaillé dans une étude récemment publiée dans les IEEE Transactions on Multimedia. Selon IEEE Spectrum, le programme d’IA a été développé par Jeff Provost, professeur à l’UT San Antonio, et Sanchita Ghose, étudiante en doctorat. Les chercheurs ont créé le programme en utilisant plusieurs modèles d’apprentissage automatique joints ensemble.

La première tâche pour générer des effets sonores appropriés aux actions à l’écran était de reconnaître ces actions et de les mapper aux effets sonores. Pour cela, les chercheurs ont conçu deux modèles d’apprentissage automatique différents et ont testé leurs approches différentes. Le premier modèle fonctionne en extrayant des cadres à partir des vidéos qu’il reçoit et en analysant ces cadres pour des caractéristiques pertinentes comme les mouvements et les couleurs. Ensuite, un second modèle a été utilisé pour analyser la façon dont la position d’un objet change entre les cadres, pour extraire des informations temporelles. Ces informations temporelles sont utilisées pour anticiper les prochaines actions probables dans la vidéo. Les deux modèles ont des méthodes différentes d’analyse des actions dans la séquence, mais ils utilisent tous deux les informations contenues dans la séquence pour deviner quel son accompagnerait le mieux.

La prochaine tâche est de synthétiser le son, et cela est accompli en faisant correspondre les activités/mouvements prédits à des échantillons de son possibles. Selon Ghose et Prevost, AutoFoley a été utilisé pour générer des sons pour 1000 courtes séquences, présentant des actions et des objets tels qu’un incendie, un cheval qui court, des horloges qui tickent et de la pluie qui tombe sur des plantes. Alors qu’AutoFoley a été le plus réussi pour créer des sons pour des séquences où il n’y avait pas besoin d’une correspondance parfaite entre les actions et les sons, et qu’il a eu des difficultés à faire correspondre des séquences où les actions se produisaient avec plus de variation, le programme a tout de même réussi à tromper de nombreux observateurs humains en leur faisant choisir les sons générés par rapport au son qui accompagnait à l’origine la séquence.

Prevost et Ghose ont recruté 57 étudiants de l’université et les ont fait regarder différentes séquences. Certaines séquences contenaient l’audio d’origine, d’autres contenaient de l’audio généré par AutoFoley. Lorsque le premier modèle a été testé, environ 73 % des étudiants ont choisi l’audio synthétisé comme l’audio d’origine, en ignorant le son réel qui accompagnait la séquence. L’autre modèle a performé légèrement moins bien, avec seulement 66 % des participants qui ont choisi l’audio généré par rapport à l’audio d’origine.

Prevost a expliqué qu’AutoFoley pourrait potentiellement être utilisé pour accélérer le processus de production de films, de télévision et d’autres pièces de média. Prevost note qu’une piste Foley réaliste est importante pour rendre les médias engageants et crédibles, mais que le processus de Foley prend souvent beaucoup de temps à compléter. Avoir un système automatisé qui pourrait gérer la création d’éléments de base Foley pourrait rendre la production de média moins chère et plus rapide.

Actuellement, AutoFoley a certaines limitations notables. Tout d’abord, alors que le modèle semble performer bien lorsqu’il observe des événements qui ont des mouvements stables et prévisibles, il souffre lorsqu’il essaie de générer de l’audio pour des événements avec une variation dans le temps (comme les tempêtes). Au-delà de cela, il exige également que le sujet de classification soit présent dans toute la séquence et ne quitte pas le cadre. L’équipe de recherche vise à résoudre ces problèmes avec les prochaines versions de l’application.