Η γωνία του Anderson

Χρήση τεχνητής νοημοσύνης για τη σύνοψη μακροσκελών βίντεο οδηγιών

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο IV-Sum χρησιμοποιεί τις δομημένες περιλήψεις του WikiHow ως βασική αλήθεια για την…
Δείτε περισσότερα
  • Το IV-Sum χρησιμοποιεί τις δομημένες περιλήψεις του WikiHow ως βασική αλήθεια για την εκπαίδευση της σύνοψης βίντεο χωρίς χειροκίνητη επισήμανση.
  • Το σύστημα απορρίπτει διαφημιστικό περιεχόμενο και μη ουσιώδη τμήματα για να παράγει περιλήψεις με κλάσμα του αρχικού χρόνου προβολής.
  • Η διασταυρούμενη σημαντικότητα μεταξύ ομιλίας και οπτικών στοιχείων βοηθά το IV-Sum να εντοπίζει κρίσιμα βήματα σε πολλαπλά εκπαιδευτικά βίντεο.

Εάν είστε από εκείνους που αυξάνουν την ταχύτητα ενός βίντεο στο YouTube για να φτάσετε στις πληροφορίες που πραγματικά θέλετε· συμβουλεύεστε το μεταγραφόμενο κείμενο του βίντεο για να εξαγάγετε τις απαραίτητες πληροφορίες που κρύβονται στις μακρές και συχνά χορηγούμενες χρονικές διάρκειες· ή ελπίζετε ότι το WikiHow θα δημιουργήσει μια λιγότερο χρονοβόρα εκδοχή των πληροφοριών στο εκπαιδευτικό βίντεο· τότε ένα νέο έργο από το UC Berkeley, το Google Research και το Πανεπιστήμιο Brown μπορεί να σας ενδιαφέρει.

Με τον τίτλο TL;DW? Συνοπτική Περίληψη Εκπαιδευτικών Βίντεο με Σημαντικότητα Εργασιών και Διατροπική σημαντικότητα, η νέα εργασία περιγράφει τη δημιουργία ενός συστήματος συνοπτικής περίληψης βίντεο με τη βοήθεια του AI που μπορεί να αναγνωρίσει τα σχετικά βήματα από το βίντεο και να απορρίψει όλα τα άλλα, με αποτέλεσμα σύντομες περίληψεις που γρήγορα φτάνουν στο σημείο.

Η εκμετάλλευση του WikiHow από υφιστάμενα μακρά βίντεο για κείμενο και εικόνες χρησιμοποιείται από το έργο IV-Sum για τη δημιουργία ψευδοπεριλήψεων που παρέχουν τα δεδομένα αναφοράς για την εκπαίδευση του συστήματος. Πηγή: https://arxiv.org/pdf/2208.06773.pdf

Η εκμετάλλευση του WikiHow από υφιστάμενα μακρά βίντεο για κείμενο και εικόνες χρησιμοποιείται από το έργο IV-Sum για τη δημιουργία ψευδοπεριλήψεων που παρέχουν τα δεδομένα αναφοράς για την εκπαίδευση του συστήματος. Πηγή: https://arxiv.org/pdf/2208.06773.pdf

Οι περιλήψεις διαρκούν ένα μικρό μέρος του αρχικού βίντεο. Παράλληλα καταγράφονται πολυτροπικές πληροφορίες, δηλαδή και κείμενο, ώστε μελλοντικά συστήματα να μπορούν ενδεχομένως να δημιουργούν αυτόματα αναρτήσεις τύπου WikiHow. Έτσι ένα μακροσκελές βίντεο οδηγιών θα μπορούσε να μετατρέπεται σε σύντομο, αναζητήσιμο άρθρο με εικόνες, εξοικονομώντας χρόνο και απογοήτευση.

Το νέο σύστημα ονομάζεται IV-Sum (‘Συνοπτική Περίληψη Εκπαιδευτικών Βίντεο’), και χρησιμοποιεί τον ανοιχτό κώδικα αλγόριθμο αναγνώρισης ResNet-50, μεταξύ άλλων τεχνικών, για να αναγνωρίσει τα σχετικά καρέ και τμήματα ενός μακρού πηγαίου βίντεο.

Η εννοιολογική ροή εργασίας για το IV-Sum.

Η εννοιολογική ροή εργασίας για το IV-Sum.

Το σύστημα εκπαιδεύεται σε ψευδοπεριλήψεις που δημιουργούνται από τη δομή περιεχομένου του WikiHow, όπου πραγματικοί άνθρωποι συχνά αξιοποιούν δημοφιλή εκπαιδευτικά βίντεο σε μια πιο επίπεδη, κειμενογραφική μορφή, χρησιμοποιώντας συχνά σύντομες κλιπ και κινούμενα GIF από τα πηγαία εκπαιδευτικά βίντεο.

Συζητώντας τη χρήση του WikiHow ως πηγή δεδομένων αναφοράς για το σύστημα, οι συγγραφείς αναφέρουν:

‘Κάθε άρθρο στο WikiHow Videos περιλαμβάνει ένα κύριο εκπαιδευτικό βίντεο που δείχνει μια εργασία που συχνά περιλαμβάνει προωθητικό περιεχόμενο, κλιπ του εκπαιδευτή που μιλάει στην κάμερα χωρίς οπτική πληροφορία της εργασίας, και βήματα που δεν είναι απαραίτητα για την εκτέλεση της εργασίας.

‘Οι θεατές που θέλουν μια επισκόπηση της εργασίας θα προτιμούσαν ένα συντομότερο βίντεο χωρίς όλες τις ανωτέρω άσχετες πληροφορίες. Τα άρθρα του WikiHow (π.χ. δείτε Πώς να κάνετε Σούσι Ρύζι) περιέχουν ακριβώς αυτό: κείμενο που περιέχει όλα τα σημαντικά βήματα στο βίντεο που αναφέρονται με συνοδευτικές εικόνες/κλιπ που εικονογραφούν τα διάφορα βήματα της εργασίας.’

Το αποτέλεσμα είναι μια βάση δεδομένων που ονομάζεται WikiHow Summaries. Η βάση δεδομένων αποτελείται από 2.106 εισαγόμενα βίντεο και τις σχετικές περίληψεις. Αυτή είναι μια αξιοσημείωτα μεγαλύτερη βάση δεδομένων από ότι είναι συνήθως διαθέσιμη για έργα συνοπτικής περίληψης βίντεο, τα οποία συνήθως απαιτούν ακριβά και χρονοβόρα χειροκίνητη επισήμανση και σήμανση – μια διαδικασία που έχει αυτοματοποιηθεί σε μεγάλο βαθμό στη νέα εργασία, χάρη στο πιο περιορισμένο πεδίο εφαρμογής της συνοπτικής περίληψης (παρά της γενικής) βίντεο.

Το IV-Sum αξιοποιεί χρονικές αναπαραστάσεις τρισδιάστατων συνελικτικών νευρωνικών δικτύων, αντί των αναπαραστάσεων που βασίζονται σε καρέ που χαρακτηρίζουν τις προηγούμενες παρόμοιες εργασίες, και μια μελέτη αφαίρεσης επιμέρους συστατικών που περιγράφεται λεπτομερώς στην εργασία επιβεβαιώνει ότι όλα τα συστατικά αυτής της προσέγγισης είναι απαραίτητα για τη λειτουργία του συστήματος.

Το IV-Sum έδειξε ευνοϊκώς σε σύγκριση με διάφορα συγκρίσιμα πλαίσια, συμπεριλαμβανομένων CLIP-It (στο οποίο κάποιοι από τους συγγραφείς της εργασίας εργάστηκαν).

Το IV-Sum βαθμολογείται καλά σε σύγκριση με άλλες συγκρίσιμες μεθόδους, πιθανώς λόγω του πιο περιορισμένου πεδίου εφαρμογής, σε σύγκριση με τη γενική τάση των πρωτοβουλιών συνοπτικής περίληψης βίντεο. Λεπτομέρειες των μετρήσεων και των μεθόδων βαθμολόγησης παρακάτω σε αυτό το άρθρο.

Το IV-Sum βαθμολογείται καλά σε σύγκριση με άλλες συγκρίσιμες μεθόδους, πιθανώς λόγω του πιο περιορισμένου πεδίου εφαρμογής, σε σύγκριση με τη γενική τάση των πρωτοβουλιών συνοπτικής περίληψης βίντεο. Λεπτομέρειες των μετρήσεων και των μεθόδων βαθμολόγησης παρακάτω σε αυτό το άρθρο.

Μέθοδος

Το πρώτο στάδιο στη διαδικασία συνοπτικής περίληψης περιλαμβάνει τη χρήση ενός σχετικά χαμηλού κόστους, αδύναμου εποπτικού αλγορίθμου για τη δημιουργία ψευδοπεριλήψεων και βαθμολογιών σημασίας καρέ για ένα μεγάλο αριθμό συλλεγμένων από τον ιστό εκπαιδευτικών βίντεο, με μόνο μία μόνο ετικέτα εργασίας σε κάθε βίντεο.

Στη συνέχεια, ένα δίκτυο συνοπτικής περίληψης εκπαιδεύεται σε αυτά τα δεδομένα. Το σύστημα λαμβάνει αυτόματη απομαγνητοφώνηση ομιλίας, όπως οι υπότιτλοι που παράγει η τεχνητή νοημοσύνη του YouTube και το πηγαίο βίντεο ως είσοδο.

Το δίκτυο αποτελείται από έναν κωδικοποιητή βίντεο και ένα μοντέλο transformer για τη βαθμολόγηση τμημάτων (SST), και η εκπαίδευση καθοδηγείται από τις βαθμολογίες σημασίας που έχουν ανατεθεί στις ψευδοπεριλήψεις. Η τελική περίληψη δημιουργείται με τη συνένωση τμημάτων που έχουν επιτύχει υψηλή βαθμολογία σημασίας.

Από την εργασία:

‘Η κύρια έμπνευση πίσω από τη διαδικασία μας για τη δημιουργία ψευδοπεριλήψεων είναι ότι δεδομένα πολλά βίντεο μιας εργασίας, τα βήματα που είναι κρίσιμα για την εργασία είναι πιθανό να εμφανιστούν σε πολλά βίντεο (σημαντικότητα εργασιών).

‘Επιπλέον, εάν ένα βήμα είναι σημαντικό, είναι τυπικό για τον εκπαιδευτή να μιλάει για αυτό το βήμα είτε πριν, κατά τη διάρκεια ή μετά την εκτέλεσή του. Έτσι, οι υπότιτλοι του βίντεο που λαμβάνονται με τη χρήση Αυτόματης Αναγνώρισης Λόγου (ASR) θα αναφέρουν πιθανώς αυτά τα κρίσιμα βήματα (διατροπική σημαντικότητα).’

Για τη δημιουργία της ψευδοπερίληψης, το βίντεο χωρίζεται πρώτα ομοιόμορφα σε τμήματα, και τα τμήματα ομαδοποιούνται με βάση την οπτική ομοιότητα σε 'βήματα' (διαφορετικά χρώματα στην εικόνα παραπάνω). Στα βήματα αυτά αποδίδονται βαθμολογίες σημασίας με βάση τη 'σημαντικότητα εργασιών' και τη 'διατροπική σημαντικότητα' (δηλαδή τη συσχέτιση μεταξύ ASR κειμένου και εικόνων). Τα βήματα με υψηλή βαθμολογία επιλέγονται για να αντιπροσωπεύουν στάδια στην ψευδοπερίληψη.

Για τη δημιουργία της ψευδοπερίληψης, το βίντεο χωρίζεται πρώτα ομοιόμορφα σε τμήματα, και τα τμήματα ομαδοποιούνται με βάση την οπτική ομοιότητα σε ‘βήματα’ (διαφορετικά χρώματα στην εικόνα παραπάνω). Στα βήματα αυτά αποδίδονται βαθμολογίες σημασίας με βάση τη ‘σημαντικότητα εργασιών’ και τη ‘διατροπική σημαντικότητα’ (δηλαδή τη συσχέτιση μεταξύ ASR κειμένου και εικόνων). Τα βήματα με υψηλή βαθμολογία επιλέγονται για να αντιπροσωπεύουν στάδια στην ψευδοπερίληψη.

Το σύστημα χρησιμοποιεί Διατροπική σημαντικότητα για να καθορίσει τη σχετικότητα κάθε βήματος, συγκρίνοντας τον ερμηνευμένο λόγο με τις εικόνες και τις ενέργειες στο βίντεο. Αυτό επιτυγχάνεται με τη χρήση ενός προ-εκπαιδευμένου βίντεο-κειμένου μοντέλου όπου κάθε στοιχείο εκπαιδεύεται από κοινού με συνάρτηση απώλειας MIL-NCE, χρησιμοποιώντας έναν 3D CNN βίντεο κωδικοποιητή που αναπτύχθηκε από, μεταξύ άλλων, DeepMind.

Μια γενική βαθμολογία σημασίας λαμβάνεται από τον μέσο όρο αυτών των σταδίων σημαντικότητας εργασιών και διατροπικής ανάλυσης.

Δεδομένα

Μια αρχική βάση δεδομένων ψευδοπεριλήψεων δημιουργήθηκε για τη διαδικασία, που περιλαμβάνει το μεγαλύτερο μέρος του περιεχομένου δύο προηγούμενων βάσεων δεδομένων – COIN, μια βάση δεδομένων του 2019 που περιέχει 11.000 βίντεο σχετικά με 180 εργασίες· και Cross-Task, που περιέχει 4.700 εκπαιδευτικά βίντεο, από τα οποία 3.675 χρησιμοποιήθηκαν στην έρευνα. Το Cross-Task περιλαμβάνει 83 διαφορετικές εργασίες.

Πάνω, παραδείγματα από το COIN· κάτω, από το Cross-Task. Πηγές, αντίστοιχα: https://arxiv.org/pdf/1903.02874.pdf και https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Πάνω, παραδείγματα από το COIN· κάτω, από το Cross-Task. Πηγές, αντίστοιχα: https://arxiv.org/pdf/1903.02874.pdf και https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Χρησιμοποιώντας βίντεο που εμφανίζονται και στις δύο βάσεις δεδομένων μόνο μία φορά, οι ερευνητές μπόρεσαν να λάβουν 12.160 βίντεο που καλύπτουν 263 διαφορετικές εργασίες, και 628,53 ώρες περιεχομένου για τη βάση δεδομένων τους.

Για να συμπληρώσουν τη βάση δεδομένων του WikiHow και να παρέχουν τα δεδομένα αναφοράς για το σύστημα, οι συγγραφείς συνέλεξαν δεδομένα από το WikiHow Videos για όλα τα μακρά εκπαιδευτικά βίντεο, μαζί με τις εικόνες και τα βίντεο κλιπ (δηλαδή GIF) που σχετίζονται με κάθε βήμα. Έτσι, η δομή του περιεχομένου του WikiHow θα υπηρετήσει ως πρότυπο για την αναγνώριση των βημάτων στο νέο σύστημα.

Ιδιότητες που εξάγονται μέσω του ResNet50 χρησιμοποιήθηκαν για να αντιστοιχίσουν τα επιλεγμένα τμήματα του βίντεο με τις εικόνες του WikiHow και να εκτελέσουν την τοποθεσία των βημάτων. Η πιο παρόμοια εικόνα που βρέθηκε μέσα σε ένα χρονικό παράθυρο βίντεο πέντε δευτερολέπτων χρησιμοποιήθηκε ως σημείο αναφοράς.

Αυτά τα συντομότερα κλιπ στη συνέχεια συνδέθηκαν μαζί για να σχηματίσουν βίντεο που θα αποτελούσαν τα δεδομένα αναφοράς για την εκπαίδευση του μοντέλου.

Ετικέτες ανατέθηκαν σε κάθε καρέ του εισαγώμενου βίντεο, για να δηλώσουν εάν ανήκουν στην εισαγώμενη περίληψη ή όχι, με κάθε βίντεο που λαμβάνει από τους ερευνητές μια δυαδική ετικέτα καρέ και μια μέση περίληψη βαθμολογία που λαμβάνεται μέσω των βαθμολογιών σημασίας για όλα τα καρέ στο τμήμα.

Σε αυτό το στάδιο, τα ‘βήματα’ σε κάθε εκπαιδευτικό βίντεο ήταν τώρα συνδεδεμένα με κειμενογραφικά δεδομένα και ετικεταρισμένα.

Εκπαίδευση, Δοκιμές και Μέτρα

Η τελική βάση δεδομένων του WikiHow χωρίστηκε σε 1.339 δοκιμαστικά βίντεο και 768 βίντεο επαλήθευσης – μια αξιοσημείωτη αύξηση του μέσου μεγέθους των μη-ακατέργαστων βάσεων δεδομένων που είναι αφιερωμένες στην ανάλυση βίντεο.

Οι κωδικοποιητές βίντεο και κειμένου στο νέο δίκτυο εκπαιδεύτηκαν μαζί σε ένα S3D δίκτυο με βάρη που φορτώθηκαν από ένα προ-εκπαιδευμένο HowTo100M μοντέλο υπό MIL-NCE απώλεια.

Το μοντέλο εκπαιδεύτηκε με τον βελτιωτή Adam σε μια ταχύτητα μάθησης 0,01 σε μέγεθος παρτίδας 24, με Distributed Data Parallel που συνδέει την εκπαίδευση σε οκτώ NVIDIA RTX 2080 GPUs, για ένα σύνολο 24GB της διανεμημένης VRAM.

Το IV-Sum στη συνέχεια συγκρίθηκε με διάφορα σενάρια για το CLIP-It σύμφωνα με παρόμοιες πρόσφατες εργασίες, συμπεριλαμβανομένης μιας μελέτης για το CLIP-It. Τα μέτρα που χρησιμοποιήθηκαν ήταν οι τιμές Precision, Recall και F-Score, σε τρεις μη εποπτικές βάσεις (δείτε την εργασία για λεπτομέρειες).

Τα αποτελέσματα αναφέρονται στην προηγούμενη εικόνα, αλλά οι ερευνητές σημειώνουν επίσης ότι το CLIP-It χάνει μια σειρά από πιθανά βήματα σε διάφορα στάδια των δοκιμών τα οποία το IV-Sum δεν παραλείπει. Αυτό το αποδίδουν στο ότι το CLIP-It έχει εκπαιδευτεί και αναπτυχθεί χρησιμοποιώντας σημαντικά μικρότερες βάσεις δεδομένων από τη νέα βάση δεδομένων του WikiHow.

Επιπτώσεις

Η πιθανή μακροπρόθεσμη αξία αυτής της σειράς ερευνών (η οποία μοιράζεται το IV-Sum με τη γενικότερη πρόκληση της ανάλυσης βίντεο) θα μπορούσε να είναι να κάνει τα εκπαιδευτικά βίντεο πιο προσιτά στη συμβατική ευρετηρίαση μηχανών αναζήτησης, και να επιτρέψει το είδος της αναγωγής περιλήψεων αποτελεσμάτων για βίντεο που η Google θα συχνά εξάγει από ένα μεγαλύτερο συμβατικό άρθρο.

Προφανώς, η ανάπτυξη οποιασδήποτε διαδικασίας με υποστήριξη τεχνητής νοημοσύνης που μειώνει την ανάγκη να παρακολουθούμε τα βίντεο από την αρχή μέχρι το τέλος με αδιάσπαστη προσοχή μπορεί να επηρεάσει την ελκυστικότητα του μέσου για τους επαγγελματίες του μάρκετινγκ. Για αυτούς, η δυσκολία εντοπισμού του χρήσιμου περιεχομένου ίσως ήταν ο μόνος τρόπος να εξασφαλίσουν την αποκλειστική προσοχή μας.

Καθώς είναι δύσκολο να εντοπιστεί το χρήσιμο περιεχόμενο, οι θεατές έχουν ανεχθεί σε μεγάλο βαθμό, έστω απρόθυμα, την τοποθέτηση προϊόντων, τις χορηγικές ενότητες και την αυτοπροβολή που συχνά περιβάλλουν την πραγματική αξία ενός βίντεο. Έργα όπως το IV-Sum υπόσχονται ότι επιμέρους θέματα των βίντεο θα μπορούν να εντοπίζονται με ακρίβεια και να διαχωρίζονται από όσα πολλοί θεωρούν περιττό βάρος: ενσωματωμένες διαφημίσεις και άσχετες αυτοσχέδιες παρεκβάσεις.

 

Δημοσιεύθηκε για πρώτη φορά στις 16 Αυγούστου 2022. Ενημερώθηκε στις 2.52 μ.μ. στις 16 Αυγούστου, αφαιρέθηκε η διπλή φράση.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai