Ερευνητές του AI Σχεδιάζουν Πρόγραμμα για τη Γεννήση Ηχητικών Εφέ για Ταινίες και Άλλα Μέσα

Ερευνητές από το Πανεπιστήμιο του Τέξας στο Σαν Αντόνιο έχουν δημιουργήσει μια εφαρμογή βασισμένη στο AI που είναι ικανή να παρατηρεί τις ενέργειες που λαμβάνουν χώρα σε ένα βίντεο και να δημιουργεί τεχνητά ηχητικά εφέ που να ταιριάζουν σε αυτές τις ενέργειες. Τα ηχητικά εφέ που παράγονται από το πρόγραμμα είναι τόσο ρεαλιστικά που όταν ρωτήθηκαν άνθρωποι, συνήθως σκέφτηκαν ότι τα ηχητικά εφέ ήταν γνήσια.

Το πρόγραμμα που είναι υπεύθυνο για τη γεννήση των ηχητικών εφέ, AudioFoley, περιγράφηκε σε μια μελέτη που δημοσιεύθηκε πρόσφατα στο IEEE Transactions on Multimedia. Σύμφωνα με το IEEE Spectrum, το πρόγραμμα AI αναπτύχθηκε από τον Τζεφ Πρόβοστ, καθηγητή στο UT San Antonio, και την Σάντσιτα Γκ호ουζ, φοιτήτρια διδακτορικού. Οι ερευνητές δημιούργησαν το πρόγραμμα χρησιμοποιώντας πολλαπλά μοντέλα μηχανικής μάθησης που συνδέθηκαν μαζί.

Η πρώτη εργασία στη γεννήση ηχητικών εφέ που να ταιριάζουν στις ενέργειες στην οθόνη ήταν η αναγνώριση αυτών των ενεργειών και η αντιστοίχισή τους σε ηχητικά εφέ. Για να το πετύχουν, οι ερευνητές σχεδίασαν δύο διαφορετικά μοντέλα μηχανικής μάθησης και έκαναν δοκιμές με τις διαφορετικές προσεγγίσεις. Το πρώτο μοντέλο λειτουργεί εξάγοντας καρέ από τα βίντεο που λαμβάνει και αναλύοντας αυτά τα καρέ για σχετικές λειτουργίες όπως κινήσεις και χρώματα. Μετά, ένα δεύτερο μοντέλο χρησιμοποιήθηκε για την ανάλυση του πώς η θέση ενός αντικειμένου αλλάζει μεταξύ καρέ, για την εξαγωγή χρονικής πληροφορίας. Αυτή η χρονική πληροφορία χρησιμοποιείται για να προβλέψει την επόμενη πιθανή ενέργεια στο βίντεο. Τα δύο μοντέλα έχουν διαφορετικές μεθόδους ανάλυσης των ενεργειών στο κλιπ, αλλά και τα δύο χρησιμοποιούν την πληροφορία που περιέχεται στο κλιπ για να μαντέψουν ποιο ήχο θα συνοδεύσει καλύτερα.

Η επόμενη εργασία είναι η σύνθεση του ήχου, και αυτό επιτυγχάνεται με την αντιστοίχηση δραστηριοτήτων/προβλεπόμενων κινήσεων σε πιθανές ηχητικές δειγματοληψίες. Σύμφωνα με την Γκχοουζ και τον Πρόβοστ, το AutoFoley χρησιμοποιήθηκε για τη γεννήση ήχου για 1000 σύντομα κλιπ, που απεικονίζουν ενέργειες και αντικείμενα όπως φωτιά, τρέχοντας άλογο, τικ-τοκ ρολόγια και βροχή που πέφτει σε φυτά. Ενώ το AutoFoley ήταν πιο επιτυχημένο στη δημιουργία ήχου για κλιπ όπου δεν χρειαζόταν μια τέλεια αντιστοίχηση μεταξύ ενεργειών και ήχων, και είχε δυσκολία στην αντιστοίχηση κλιπ όπου οι ενέργειες συνέβησαν με περισσότερη παραλλαγή, το πρόγραμμα ήταν ακόμα σε θέση να εξαπατήσει πολλούς ανθρώπους παρατηρητές να επιλέξουν τις γεννημένες ηχητικές τους εφέ αντί για τον αρχικό ήχο που συνόδευε το κλιπ.

Ο Πρόβοστ και η Γκχοουζ προσέλαβαν 57 φοιτητές κολλεγίου και τους ζήτησαν να παρακολουθήσουν διαφορετικά κλιπ. Κάποια κλιπ περιείχαν τον αρχικό ήχο, κάποια περιείχαν ήχο που παράγεται από το AutoFoley. Όταν το πρώτο μοντέλο δοκιμάστηκε, περίπου το 73% των φοιτητών επέλεξαν τον συνθετικό ήχο ως τον αρχικό ήχο, αγνοώντας τον πραγματικό ήχο που συνόδευε το κλιπ. Το άλλο μοντέλο εκτέλεσε ελαφρώς χειρότερα, με μόνο το 66% των συμμετεχόντων να επιλέγουν τον γεννημένο ήχο αντί για τον αρχικό ήχο.

Ο Πρόβοστ εξήγησε ότι το AutoFoley θα μπορούσε να χρησιμοποιηθεί για να επιταχύνει τη διαδικασία παραγωγής ταινιών, τηλεόρασης και άλλων μέσων. Ο Πρόβοστ σημειώνει ότι ένας ρεαλιστικός ήχος Foley είναι σημαντικός για να κάνει τα μέσα ελκυστικά και πιστευτά, αλλά ότι η διαδικασία Foley συχνά απαιτεί σημαντικό χρόνο για να ολοκληρωθεί. Ένα αυτόματο σύστημα που θα μπορούσε να χειριστεί τη δημιουργία βασικών στοιχείων Foley θα μπορούσε να κάνει την παραγωγή μέσων φθηνότερη και ταχύτερη.

Τώρα, το AutoFoley έχει κάποια αξιοσημείωτα περιορισμοί. Για παράδειγμα, ενώ το μοντέλο φαίνεται να εκτελείται καλά ενώ παρατηρεί γεγονότα με σταθερές, προβλέψιμες κινήσεις, πάσχει όταν προσπαθεί να γεννήσει ήχο για γεγονότα με παραλλαγή στο χρόνο (όπως καταιγίδες). Πέρα από αυτό, απαιτεί επίσης ότι το αντικείμενο ταξινόμησης είναι παρόν σε ολόκληρο το κλιπ και δεν εξαφανίζεται από το κάδρο. Η ερευνητική ομάδα στοχεύει να αντιμετωπίσει αυτά τα ζητήματα με μελλοντικές εκδόσεις της εφαρμογής.