Νέα Εργαλείο Ενισχυμένο από την Τεχνητή Νοημοσύνη Επιτρέπει τη Διόρθωση Βίντεο από Θεματικά Κείμενα

Μια ομάδα ερευνητών πληροφορικής από τα πανεπιστήμια Tsinghua και Beihand στην Κίνα, το IDC Herzilya στο Ισραήλ και το Πανεπιστήμιο Χάρβαρντ έχουν πρόσφατα δημιουργήσει ένα εργαλείο που δημιουργεί διορθωμένα βίντεο με βάση μια περιγραφή κειμένου και μια βάση δεδομένων βίντεο.

Μέσα σε μεγάλο όγκο βίντεο που καταγράφονται κάθε μέρα από επαγγελματίες βιντεογράφους, χόμπι και κανονικούς ανθρώπους, η διόρθωση του βίντεο σε μια παρουσίαση που έχει νόημα είναι ακόμη μια δαπανηρή επένδυση χρόνου, που απαιτεί συχνά τη χρήση σύνθετων εργαλείων διόρθωσης που μπορούν να χειριστούν το сыρό υλικό. Η διεθνής ομάδα ερευνητών έχει πρόσφατα αναπτύξει ένα εργαλείο που λαμβάνει θεματικές περιγραφές κειμένου και δημιουργεί βίντεο με βάση αυτές. Το εργαλείο είναι ικανό να εξετάζει τα βίντεο σε μια βάση δεδομένων και να επιλέγει τα βίντεο που αντιστοιχούν με το εισαγόμενο κείμενο που περιγράφει την ιστορία. Ο στόχος είναι να είναι το εργαλείο φιλικό προς τον χρήστη και αρκετά ισχυρό για να παράγει ποιοτικά βίντεο χωρίς την ανάγκη εκτεταμένων δεξιοτήτων διόρθωσης βίντεο ή ακριβών προγραμμάτων διόρθωσης βίντεο.

Ενώ τα τρέχοντα πλαίσια διόρθωσης βίντεο απαιτούν γνώσεις τεχνικών διόρθωσης βίντεο, το εργαλείο που δημιουργήθηκε από τους ερευνητές επιτρέπει στους αρχαρίους δημιουργούς βίντεο να δημιουργούν συνθέσεις που αφηγούνται ιστορίες με πιο φυσικό και直觀 τρόπο. Το “Write-A-Video”, όπως ονομάζεται από τους δημιουργούς του, επιτρέπει στους χρήστες να διορθώνουν βίντεο απλώς διορθώνοντας το κείμενο που συνοδεύει το βίντεο. Αν ένας χρήστης διαγράψει κείμενο, προσθέσει κείμενο ή μετακινήσει προτάσεις, αυτές οι αλλαγές θα αντανακλούνται στο βίντεο. Τα αντίστοιχα πλάνα θα κοπούν ή θα προστεθούν καθώς ο χρήστης χειρίζεται το κείμενο και το τελικό βίντεο θα προσαρμοστεί στην περιγραφή του χρήστη.

Ο Ariel Shamir, ο декanus της Σχολής Πληροφορικής Efi Arazi στο IDC Herzliya, εξήγησε ότι το εργαλείο Write-A-Video επιτρέπει στον χρήστη να αλληλεπιδρά με το βίντεο κυρίως μέσω του κειμένου, χρησιμοποιώντας τεχνικές επεξεργασίας φυσικής γλώσσας για να αντιστοιχίσει τα πλάνα βίντεο με βάση την παρεχόμενη σημασιολογική σημασία. Ένα αλγόριθμος βελτιστοποίησης χρησιμοποιείται στη συνέχεια για να συναρμολογήσει το βίντεο με το κόψιμο και την ανταλλαγή πλάνων. Το εργαλείο επιτρέπει επίσης στους χρήστες να πειραματιστούν με διαφορετικά οπτικά στυλ,調整οντας πώς παρουσιάζονται οι σκηνές χρησιμοποιώντας συγκεκριμένες κινηματογραφικές ιδιώματα που θα επιταχύνουν ή θα επιβραδύνουν την δράση, ή θα κάνουν περισσότερες/λιγότερες κοπές.

Το πρόγραμμα επιλέγει πιθανές λήψεις με βάση την αισθητική τους ελκυστικότητα. Το πρόγραμμα λαμβάνει υπόψη πώς οι λήψεις είναι καδράρισμένες, εστιασμένες και φωτισμένες για να καθορίσει την αισθητική ελκυστικότητα. Το εργαλείο θα επιλέξει λήψεις που είναι καλύτερα εστιασμένες, αντί για θολές ή ασταθείς, και θα προτιμήσει επίσης λήψεις που είναι καλά φωτισμένες. Σύμφωνα με τους δημιουργούς του Write-A-Video, ο χρήστης μπορεί να αποδώσει το γεννημένο βίντεο σε οποιοδήποτε σημείο και να το προεπισκοπήσει με μια φωνητική αφήγηση που περιγράφει το κείμενο που χρησιμοποιήθηκε για την επιλογή των λήψεων.

Σύμφωνα με την ερευνητική ομάδα, το πείραμά τους έδειξε ότι οι ψηφιακές τεχνικές που συνδυάζουν аспекти της υπολογιστικής όρασης και της επεξεργασίας φυσικής γλώσσας μπορούν να βοηθήσουν τους χρήστες σε δημιουργικές διαδικασίες όπως η διόρθωση βίντεο.

“Η δουλειά μας αποδεικνύει το δυναμικό της αυτόματης οπτικής-σημασιολογικής αντιστοίχισης στη διόρθωση με βάση τα ιδιώματα, προσφέροντας einen έξυπνο τρόπο να κάνει τη δημιουργία βίντεο πιο προσιτή στους μη επαγγελματίες,” εξήγησε ο Shamir στο TechXplore.

Οι ερευνητές έχουν δοκιμάσει το εργαλείο τους σε διαφορετικές βάσεις δεδομένων βίντεο σε συνδυασμό με θεματικά έγγραφα κειμένου. Μελετές χρηστών και ποσοτική αξιολόγηση πραγματοποιήθηκαν για να ερμηνευθούν τα αποτελέσματα του πειράματος. Τα αποτελέσματα των μελετών χρηστών βρήκαν ότι οι μη επαγγελματίες θα μπορούσαν μερικές φορές να παράγουν υψηλής ποιότητας διορθωμένα βίντεο χρησιμοποιώντας το εργαλείο γρηγορότερα από τους επαγγελματίες που χρησιμοποιούν λογισμικό διόρθωσης με βάση τα πλαίσια. Όπως αναφέρθηκε από το TechXplore, η ομάδα θα παρουσιάσει τη δουλειά τους σε λίγες μέρες στη διάσκεψη ACM SIGGRAPH Asia που θα διεξαχθεί στην Αυστραλία. Άλλες οντότητες χρησιμοποιούν επίσης την Τεχνητή Νοημοσύνη για να ενισχύσουν τη διόρθωση βίντεο. Η Adobe (ADBE ) έχει επίσης εργαστεί πάνω στις δικές της επεκτάσεις Τεχνητής Νοημοσύνης για το Premiere Pro, το πρόγραμμα διόρθωσης βίντεο. Το εργαλείο βοηθά τους ανθρώπους να διασφαλίσουν ότι οι αλλαγές στο λόγο δεν θα κόψουν σημαντικά κομμάτια του βίντεο.