Χρήση του AI για τη Συνοπτική Περίληψη Μακρών Βίντεο “Πώς να”

Εάν είστε από εκείνους που αυξάνουν την ταχύτητα ενός βίντεο στο YouTube για να φτάσετε στις πληροφορίες που πραγματικά θέλετε· συμβουλεύεστε το μεταγραφόμενο κείμενο του βίντεο για να εξαγάγετε τις απαραίτητες πληροφορίες που κρύβονται στις μακρές και συχνά χορηγούμενες χρονικές διαρκείες· ή ελπίζετε ότι το WikiHow θα δημιουργήσει μια λιγότερο χρονοβόρα εκδοχή των πληροφοριών στο εκπαιδευτικό βίντεο· τότε ένα νέο έργο από το UC Berkeley, την έρευνα του Google και το Πανεπιστήμιο Brown μπορεί να σας ενδιαφέρει.

Με τον τίτλο TL;DW? Συνοπτική Περίληψη Εκπαιδευτικών Βίντεο με Σημαντικότητα Εργασιών και Διαμεσολαβική Σημαντικότητα, η νέα εργασία περιγράφει τη δημιουργία ενός συστήματος συνοπτικής περίληψης βίντεο με τη βοήθεια του AI που μπορεί να αναγνωρίσει τις σχετικές βήματα από το βίντεο και να απορρίψει όλα τα άλλα, με αποτέλεσμα σύντομες περίληψεις που γρήγορα φτάνουν στο σημείο.

Η εκμετάλλευση του WikiHow από υφιστάμενα μακρά βίντεο για κείμενο και εικόνες χρησιμοποιείται από το έργο IV-Sum για τη δημιουργία ψευδών περιλήψεων που παρέχουν την αλήθεια για την εκπαίδευση του συστήματος. Πηγή: https://arxiv.org/pdf/2208.06773.pdf

Οι αποτελέσματα έχουν ένα κλάσμα της αρχικής διάρκειας του βίντεο, ενώ η πολυτροπική (δηλαδή κειμενογραφική) πληροφορία καταγράφεται επίσης κατά τη διαδικασία, ώστε να μπορέσουν μελλοντικά συστήματα να αυτοματοποιήσουν τη δημιουργία εκδόσεων WikiHow που μπορούν να αναλύσουν ένα περιττό βίντεο “πώς να” σε μια συντομη και αναζητήσιμη σύντομη стать, πλήρη με εικονογραφήσεις, потенτικά αποταμιεύοντας χρόνο και εκνευρισμό.

Το νέο σύστημα ονομάζεται IV-Sum (‘Συνοπτική Περίληψη Εκπαιδευτικών Βίντεο’), και χρησιμοποιεί τον ανοιχτό κώδικα αλγόριθμο αναγνώρισης ResNet-50, μεταξύ άλλων τεχνικών, για να αναγνωρίσει τα σχετικά кадρά και τμήματα ενός μακρού πηγαίου βίντεο.

Η εννοιολογική ροή εργασίας για το IV-Sum.

Το σύστημα εκπαιδεύεται σε ψευδείς περίληψεις που δημιουργούνται από τη δομή περιεχομένου του WikiHow, όπου πραγματικοί άνθρωποι συχνά αξιοποιούν δημοφιλή εκπαιδευτικά βίντεο σε μια πιο επίπεδη, κειμενογραφική μορφή, χρησιμοποιώντας συχνά σύντομες κλιπ και κινούμενα GIF από τα πηγαία εκπαιδευτικά βίντεο.

Συζητώντας τη χρήση του WikiHow ως πηγή δεδομένων αλήθειας για το σύστημα, οι συγγραφείς αναφέρουν:

‘Κάθε άρθρο στο WikiHow Videos περιλαμβάνει ένα κύριο εκπαιδευτικό βίντεο που δείχνει μια εργασία που συχνά περιλαμβάνει προωθητικό περιεχόμενο, κλιπ του εκπαιδευτή που μιλάει στην κάμερα χωρίς οπτική πληροφορία της εργασίας, και βήματα που δεν είναι απαραίτητα για την εκτέλεση της εργασίας.

‘Οι θεατές που θέλουν μια επισκόπηση της εργασίας θα προτιμούσαν ένα συντομότερο βίντεο χωρίς όλες τις ανωτέρω άσχετες πληροφορίες. Τα άρθρα του WikiHow (π.χ. δείτε Πώς να κάνετε Σούσι Ρύζι) περιέχουν ακριβώς αυτό: κείμενο που περιέχει όλα τα σημαντικά βήματα στο βίντεο που αναφέρονται με συνοδευτικές εικόνες/κλιπ που εικονογραφούν τα διάφορα βήματα της εργασίας.’

Το αποτέλεσμα είναι μια βάση δεδομένων που ονομάζεται WikiHow Summaries. Η βάση δεδομένων αποτελείται από 2.106 εισαγόμενα βίντεο και τις σχετικές περίληψεις. Αυτή είναι μια αξιοσημείωτα μεγαλύτερη βάση δεδομένων από ότι είναι συνήθως διαθέσιμη για έργα συνοπτικής περίληψης βίντεο, τα οποία συνήθως απαιτούν ακριβά και χρονοβόρα χειροκίνητη επισήμανση και σήμανση – μια διαδικασία που έχει αυτοματοποιηθεί σε μεγάλο βαθμό στη νέα εργασία, χάρη στο πιο περιορισμένο πεδίο εφαρμογής της συνοπτικής περίληψης (παρά της γενικής) βίντεο.

Το IV-Sum αξιοποιεί χρονολογικές 3D συνελικτικές νευρωνικές αναπαραστάσεις, αντί των αναπαραστάσεων που βασίζονται σε кадρά που χαρακτηρίζουν τις προηγούμενες παρόμοιες εργασίες, και μια μελέτη που αναφέρεται στην εργασία επιβεβαιώνει ότι όλα τα συστατικά αυτής της προσέγγισης είναι απαραίτητα για τη λειτουργία του συστήματος.

Το IV-Sum έδειξε ευνοϊκώς σε σύγκριση με διάφορα συγκρίσιμα πλαίσια, συμπεριλαμβανομένων CLIP-It (στο οποίο κάποιοι από τους συγγραφείς της εργασίας εργάστηκαν).

Το IV-Sum βαθμολογείται καλά σε σύγκριση με άλλα συγκρίσιμα μέθοδος, πιθανώς λόγω του πιο περιορισμένου πεδίου εφαρμογής, σε σύγκριση με τη γενική τάση των πρωτοβουλιών συνοπτικής περίληψης βίντεο. Λεπτομέρειες των μετρήσεων και των μεθόδων βαθμολόγησης παρακάτω σε αυτό το άρθρο.

Μέθοδος

Το πρώτο στάδιο στη διαδικασία συνοπτικής περίληψης περιλαμβάνει τη χρήση ενός σχετικά χαμηλού κόστους, αδύναμου εποπτικού αλγορίθμου για τη δημιουργία ψευδών περιλήψεων και βαθμολογιών σημασίας кадρών για ένα μεγάλο αριθμό web-σκαμμένων εκπαιδευτικών βίντεο, με μόνο ένα單ο task label σε κάθε βίντεο.

Στη συνέχεια, ένα δίκτυο συνοπτικής περίληψης εκπαιδεύεται σε αυτά τα δεδομένα. Το σύστημα λαμβάνει αυτο-μεταφρασμένο λόγο (για παράδειγμα, τις δικές του υποτιτλικές υποτιτλικές του YouTube για το βίντεο) και το πηγαίο βίντεο ως είσοδο.

Το δίκτυο αποτελείται από einen βίντεο κωδικοποιητή και einen μετασχηματιστή βαθμολογίας τμημάτων (SST), και η εκπαίδευση καθοδηγείται από τις βαθμολογίες σημασίας που έχουν ανατεθεί στις ψευδείς περίληψεις. Η τελική περίληψη δημιουργείται με τη συνένωση τμημάτων που έχουν επιτύχει υψηλή βαθμολογία σημασίας.

Από την εργασία:

‘Η κύρια έμπνευση πίσω από τη διαδικασία μας για τη δημιουργία ψευδών περιλήψεων είναι ότι δεδομένα πολλά βίντεο μιας εργασίας, τα βήματα που είναι κρίσιμα για την εργασία είναι πιθανό να εμφανιστούν σε πολλά βίντεο (σημαντικότητα εργασιών).

‘Επιπλέον, εάν ένα βήμα είναι σημαντικό, είναι τυπικό για τον εκπαιδευτή να μιλάει για αυτό το βήμα είτε πριν, κατά τη διάρκεια ή μετά την εκτέλεσή του. Έτσι, οι υπότιτλοι του βίντεο που λαμβάνονται με τη χρήση Αυτόματης Αναγνώρισης Λόγου (ASR) θα αναφέρουν πιθανώς αυτά τα κρίσιμα βήματα (διαμεσολαβική σημαντικότητα).’

Για τη δημιουργία της ψευδούς περίληψης, το βίντεο χωρίζεται πρώτα ομοιόμορφα σε τμήματα, και τα τμήματα ομαδοποιούνται με βάση την οπτική ομοιότητα σε ‘βήματα’ (διαφορετικά χρώματα στην εικόνα παραπάνω). Τα βήματα αυτά αναθέτουν βαθμολογίες σημασίας με βάση τη ‘σημαντικότητα εργασιών’ και τη ‘διαμεσολαβική σημαντικότητα’ (δηλαδή τη συσχέτιση μεταξύ ASR κειμένου και εικόνων). Τα βήματα με υψηλή βαθμολογία επιλέγονται για να αντιπροσωπεύουν στάδια στην ψευδής περίληψη.

Το σύστημα χρησιμοποιεί Διαμεσολαβική Σημαντικότητα για να καθορίσει τη σχετικότητα κάθε βήματος, συγκρίνοντας τον ερμηνευμένο λόγο με τις εικόνες και τις ενέργειες στο βίντεο. Αυτό επιτυγχάνεται με τη χρήση ενός προ-εκπαιδευμένου βίντεο-κειμένου μοντέλου όπου κάθε στοιχείο είναι المشترك εκπαιδευμένο υπό MIL-NCE απώλεια, χρησιμοποιώντας einen 3D CNN βίντεο κωδικοποιητή που αναπτύχθηκε από, μεταξύ άλλων, DeepMind.

Μια γενική βαθμολογία σημασίας λαμβάνεται από τον μέσο όρο αυτών των σταδίων σημαντικότητας εργασιών και διαμεσολαβικής ανάλυσης.

Δεδομένα

Μια αρχική βάση δεδομένων ψευδών περιλήψεων δημιουργήθηκε για τη διαδικασία, που περιλαμβάνει το μεγαλύτερο μέρος του περιεχομένου δύο προηγούμενων βάσεων δεδομένων – COIN, μια βάση δεδομένων του 2019 που περιέχει 11.000 βίντεο σχετικά με 180 εργασίες· και Cross-Task, που περιέχει 4.700 εκπαιδευτικά βίντεο, από τα οποία 3.675 χρησιμοποιήθηκαν στην έρευνα. Το Cross-Task περιλαμβάνει 83 διαφορετικές εργασίες.

Πάνω, παραδείγματα από το COIN· κάτω, από το Cross-Task. Πηγές, αντίστοιχα: https://arxiv.org/pdf/1903.02874.pdf και https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Χρησιμοποιώντας βίντεο που εμφανίζονται και στις δύο βάσεις δεδομένων μόνο μία φορά, οι ερευνητές μπόρεσαν να λάβουν 12.160 βίντεο που καλύπτουν 263 διαφορετικές εργασίες, και 628,53 ώρες περιεχομένου για τη βάση δεδομένων τους.

Για να πληρώσουν τη βάση δεδομένων του WikiHow και να παρέχουν την αλήθεια για το σύστημα, οι συγγραφείς σκούπισαν τα βίντεο του WikiHow για όλα τα μακρά εκπαιδευτικά βίντεο, μαζί με τις εικόνες και τα βίντεο κλιπ (δηλαδή GIF) που σχετίζονται με κάθε βήμα. Έτσι, η δομή του περιεχομένου του WikiHow θα υπηρετήσει ως πρότυπο για την αναγνώριση των βημάτων στο νέο σύστημα.

Ιδιότητες που εξάγονται μέσω του ResNet50 χρησιμοποιήθηκαν για να αντιστοιχίσουν τα επιλεγμένα τμήματα του βίντεο με τις εικόνες του WikiHow και να εκτελέσουν την τοποθεσία των βημάτων. Η πιο相似 εικόνα που λήφθηκε μέσα σε ένα 5-δευτερόπτo βίντεο χρησιμοποιήθηκε ως σημείο αναφοράς.

Αυτά τα συντομότερα κλιπ στη συνέχεια συνδέθηκαν μαζί για να σχηματίσουν βίντεο που θα αποτελούσαν την αλήθεια για την εκπαίδευση του μοντέλου.

Ετικέτες ανατέθηκαν σε κάθε кадρό του εισαγώμενου βίντεο, για να δηλώσουν εάν ανήκουν στην εισαγώμενη περίληψη ή όχι, με κάθε βίντεο που λαμβάνει από τους ερευνητές μια δυαδική ετικέτα кадρού και μια μέση περίληψη βαθμολογία που λαμβάνεται μέσω των βαθμολογιών σημασίας για όλα τα кадρά στο τμήμα.

Σε αυτό το στάδιο, τα ‘βήματα’ σε κάθε εκπαιδευτικό βίντεο ήταν τώρα συνδεδεμένα με κειμενογραφικά δεδομένα και ετικεταρισμένα.

Εκπαίδευση, Δοκιμές και Μέτρα

Η τελική βάση δεδομένων του WikiHow χωρίστηκε σε 1.339 δοκιμαστικά βίντεο και 768 βίντεο επαλήθευσης – μια αξιοσημείωτη αύξηση του μέσου μεγέθους των μη-ακατέργαστων βάσεων δεδομένων που είναι αφιερωμένες στην ανάλυση βίντεο.

Οι κωδικοποιητές βίντεο και κειμένου στο νέο δίκτυο εκπαιδεύτηκαν μαζί σε ένα S3D δίκτυο με βάρη που φορτώθηκαν από ένα προ-εκπαιδευμένο HowTo100M μοντέλο υπό MIL-NCE απώλεια.

Το μοντέλο εκπαιδεύτηκε με τον βελτιωτή Adam σε μια ταχύτητα μάθησης 0,01 σε μια διαδικασία δόσης 24, με Distributed Data Parallel που συνδέει την εκπαίδευση σε οκτώ NVIDIA RTX 2080 GPUs, για ένα σύνολο 24GB της διανεμημένης VRAM.

Το IV-Sum στη συνέχεια συγκρίθηκε με διάφορες σzenaria για το CLIP-It σύμφωνα με παρόμοιες πρόσφατες εργασίες, συμπεριλαμβανομένης μιας μελέτης για το CLIP-It. Τα μέτρα που χρησιμοποιήθηκαν ήταν οι τιμές Precision, Recall και F-Score, σε τρεις μη εποπτικές βάσεις (δείτε την εργασία για λεπτομέρειες).

Τα αποτελέσματα αναφέρονται στην προηγούμενη εικόνα, αλλά οι ερευνητές σημειώνουν επίσης ότι το CLIP-It χάνει μια σειρά από πιθανά βήματα σε διάφορα στάδια των δοκιμών που το IV-Sum δεν. Αυτό το αποδίδουν στο ότι το CLIP-It έχει εκπαιδευτεί και αναπτυχθεί χρησιμοποιώντας σημαντικά μικρότερες βάσεις δεδομένων από τη νέα βάση δεδομένων του WikiHow.

Επιβεβαιώσεις

Η πιθανή μακροπρόθεσμη αξία αυτής της σειράς ερευνών (η οποία μοιράζεται το IV-Sum με τη γενικότερη πρόκληση της ανάλυσης βίντεο) θα μπορούσε να είναι να κάνει τα εκπαιδευτικά βίντεο πιο προσιτά στη συμβατική ευρετηρίαση μηχανών αναζήτησης, και να επιτρέψει το είδος της αναγωγής περιλήψεων αποτελεσμάτων για βίντεο που η Google θα συχνά εξάγει από ένα μεγαλύτερο συμβατικό άρθρο.

Προφανώς, η ανάπτυξη οποιουδήποτε AI-βοηθούμενου προcesso που μειώνει την υποχρέωση μας να εφαρμόσουμε γραμμική και αποκλειστική προσοχή στο περιεχόμενο του βίντεο θα μπορούσε να έχει επιπτώσεις για την ελκυστικότητα του μέσου σε μια γενιά marketeurs για τους οποίους η αδιαφάνεια του βίντεο ήταν ίσως ο μόνος τρόπος με τον οποίο αισθανόμαστε ότι μπορούμε να μας εξαπατήσουν.

Με την τοποθεσία του ‘τιμής’ περιεχομένου να είναι δύσκολο να καθοριστεί, το βίντεο που συμβάλλει από τους χρήστες έχει απολαύσει μια ευρεία (αν και διστακτική) ανεκτικότητα από τους καταναλωτές των μέσων ενημέρωσης σε σχέση με τη τοποθέτηση προϊόντων, χορηγίες και την γενική αυτο-αγgrandizement στην οποία η αξία του βίντεο συχνά couched. Projects όπως το IV-Sum κρατούν την υπόσχεση ότι τελικά τα υπο-συστατικά του περιεχομένου του βίντεο θα γίνουν κοκκινισμένα και διαχωρίσιμα από αυτά που πολλοί θεωρούν ότι είναι το ‘μπάλαστ’ της διαφήμισης στο περιεχόμενο και της μη-περιεχομένου εκτελεστικής.

Δημοσιεύθηκε για πρώτη φορά στις 16 Αυγούστου 2022. Ενημερώθηκε στις 2.52 μ.μ. στις 16 Αυγούστου, αφαιρέθηκε η διπλή φράση.