KI-Modelle und Plattformen
AI-Forscher entwerfen Programm zur Erstellung von Soundeffekten für Filme und andere Medien
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Forscher der University of Texas San Antonio haben eine auf künstlicher Intelligenz basierende Anwendung entwickelt, die in der Lage ist, die Aktionen in einem Video zu beobachten und künstliche Soundeffekte zu erstellen, die diesen Aktionen entsprechen. Die von dem Programm erzeugten Soundeffekte sollen so realistisch sein, dass menschliche Beobachter, die befragt wurden, typischerweise dachten, die Soundeffekte seien echt.
Das Programm, das für die Erstellung der Soundeffekte verantwortlich ist, AudioFoley, wurde in einer kürzlich in den IEEE Transactions on Multimedia veröffentlichten Studie beschrieben. Laut IEEE Spectrum wurde das AI-Programm von Jeff Provost, Professor an der UT San Antonio, und der Doktorandin Sanchita Ghose entwickelt. Die Forscher erstellten das Programm mithilfe mehrerer maschineller Lernmodelle, die zusammengefügt wurden.
Die erste Aufgabe bei der Erstellung von Soundeffekten, die den Aktionen auf dem Bildschirm entsprechen, bestand darin, diese Aktionen zu erkennen und sie mit Soundeffekten zu verknüpfen. Um dies zu erreichen, entwarfen die Forscher zwei verschiedene maschinelle Lernmodelle und testeten ihre unterschiedlichen Ansätze. Das erste Modell extrahiert Frames aus den Videos, die es erhält, und analysiert diese Frames auf relevante Merkmale wie Bewegungen und Farben. Anschließend wird ein zweites Modell eingesetzt, um die Position eines Objekts über Frames hinweg zu analysieren, um temporale Informationen zu extrahieren. Diese temporale Information wird verwendet, um die nächsten wahrscheinlichen Aktionen im Video vorherzusagen. Die beiden Modelle haben unterschiedliche Methoden, um die Aktionen im Clip zu analysieren, aber sie verwenden beide die Informationen im Clip, um zu erraten, welcher Sound am besten dazu passt.
Die nächste Aufgabe besteht darin, den Sound zu synthetisieren, und dies geschieht, indem Aktivitäten/vorhergesagte Bewegungen mit möglichen Soundproben abgeglichen werden. Laut Ghose und Prevost wurde AutoFoley verwendet, um Sound für 1000 kurze Clips zu erstellen, die Aktionen und Gegenstände wie ein Feuer, ein laufendes Pferd, tickende Uhren und Regen, der auf Pflanzen fällt, enthalten. Obwohl AutoFoley am erfolgreichsten war, wenn es Sound für Clips erstellte, bei denen kein perfekter Match zwischen den Aktionen und den Sounds erforderlich war, und es Schwierigkeiten hatte, Clips abzustimmen, bei denen Aktionen mit mehr Variation auftraten, konnte das Programm viele menschliche Beobachter täuschen, indem es sie dazu brachte, die erzeugten Sounds gegenüber dem ursprünglichen Sound zu bevorzugen, der den Clip begleitete.
Prevost und Ghose rekrutierten 57 College-Studenten und ließen sie verschiedene Clips ansehen. Einige Clips enthielten das ursprüngliche Audio, einige enthielten Audio, das von AutoFoley generiert wurde. Als das erste Modell getestet wurde, wählten etwa 73 % der Studenten das synthetisierte Audio als ursprüngliches Audio, ohne den wahren Sound zu beachten, der den Clip begleitete. Das andere Modell schnitt slightly schlechter ab, mit nur 66 % der Teilnehmer, die das generierte Audio gegenüber dem ursprünglichen Audio bevorzugten.
Prevost erklärte, dass AutoFoley möglicherweise verwendet werden könnte, um den Prozess der Produktion von Filmen, Fernsehsendungen und anderen Medien zu beschleunigen. Prevost betont, dass eine realistische Foley-Spur wichtig ist, um Medien ansprechend und glaubwürdig zu machen, aber dass der Foley-Prozess oft viel Zeit in Anspruch nimmt. Ein automatisiertes System, das die Erstellung von grundlegenden Foley-Elementen übernehmen könnte, könnte die Produktion von Medien billiger und schneller machen.
Aktuell hat AutoFoley einige bemerkenswerte Einschränkungen. Einerseits scheint das Modell gut zu funktionieren, wenn es Ereignisse mit stabilen, vorhersehbaren Bewegungen beobachtet, aber es leidet, wenn es versucht, Audio für Ereignisse mit Variation in der Zeit (wie Gewitter) zu erstellen. Darüber hinaus erfordert es, dass das Klassifizierungsobjekt in dem gesamten Clip vorhanden ist und den Rahmen nicht verlässt. Das Forschungsteam zielt darauf ab, diese Probleme mit zukünftigen Versionen der Anwendung zu lösen.
