Kąt Andersona

Używanie sztucznej inteligencji do podsumowywania długich filmów instruktażowych

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyIV-Sum wykorzystuje strukturalne podsumowania WikiHow jako dane referencyjne do…
Zobacz więcej
  • IV-Sum wykorzystuje strukturalne podsumowania WikiHow jako dane referencyjne do trenowania podsumowywania wideo bez ręcznego etykietowania.
  • System odrzuca treści promocyjne i nieistotne segmenty, aby tworzyć podsumowania stanowiące ułamek oryginalnego czasu trwania.
  • Międzymodalna istotność między mową a obrazem pomaga IV-Sum identyfikować kluczowe kroki w wielu filmach instruktażowych.

Jeśli jesteś tym, kto przyspiesza odtwarzanie filmów instruktażowych na YouTube, aby dostać się do informacji, które naprawdę chcesz; konsultujesz transkrypcję filmu, aby uzyskać podstawowe informacje ukryte w długich i często sponsorowanych czasach odtwarzania; lub masz nadzieję, że WikiHow stworzył mniej czasochłonne wersje informacji zawartych w filmie instruktażowym; to nowy projekt z UC Berkeley, Google Research i Brown University może Cię zainteresować.

Nazwany TL;DW? Podsumowywanie filmów instruktażowych z uwzględnieniem istotności zadania i saliencji cross-modalnej, nowy artykuł szczegółowo opisuje stworzenie systemu wspomaganego przez sztuczną inteligencję do podsumowywania filmów, który może identyfikować istotne kroki z filmu i odrzucać wszystko inne, w wyniku czego powstają krótkie podsumowania, które szybko dochodzą do sedna sprawy.

Eksploatacja WikiHow istniejących długich klipów wideo do celów tekstowych i wideo jest używana przez projekt IV-Sum do generowania pseudopodsumowań, które zapewniają podstawę do szkolenia systemu. Źródło: https://arxiv.org/pdf/2208.06773.pdf

Eksploatacja WikiHow istniejących długich klipów wideo do celów tekstowych i wideo jest używana przez projekt IV-Sum do generowania pseudopodsumowań, które zapewniają podstawę do szkolenia systemu. Źródło: https://arxiv.org/pdf/2208.06773.pdf

Wynikowe podsumowania mają ułamek oryginalnego czasu odtwarzania filmu, a informacje wielomodalne (tj. oparte na tekście) są również rejestrowane podczas procesu, tak aby przyszłe systemy mogły potencjalnie zautomatyzować tworzenie postów blogowych w stylu WikiHow, które mogą automatycznie parsować rozwlekły film instruktażowy w zwięzły i przeszukiwalny krótki artykuł, wraz z ilustracjami, potencjalnie oszczędzając czas i frustrację.

Nowy system nazywa się IV-Sum („Podsumowywacz filmów instruktażowych”), a używa otwartego algorytmu rozpoznawania komputerowego ResNet-50 oraz innych technik, aby wyodrębnić istotne klatki i segmenty długiego filmu źródłowego.

Konceptualny przepływ pracy dla IV-Sum.

Konceptualny przepływ pracy dla IV-Sum.

System jest szkolony na pseudo-podsumowaniach wygenerowanych z struktury zawartości witryny WikiHow, gdzie ludzie często wykorzystują popularne filmy instruktażowe do tworzenia płaskiej, wielomodalnej formy, często używając krótkich klipów i animowanych GIF-ów pobranych z filmów instruktażowych.

Omawiając użycie projektu WikiHow podsumowań jako źródła danych podstawowych dla systemu, autorzy stwierdzają:

‘Każdy artykuł na stronie WikiHow Videos składa się z głównego filmu instruktażowego demonstrującego zadanie, które często zawiera treści promocyjne, klipy instruktora mówiącego do kamery bez wizualnej informacji o zadaniu oraz kroki, które nie są istotne dla wykonania zadania.

‘Widzowie, którzy chcą uzyskać przegląd zadania, wolą krótszy film bez wszystkich powyższych nieistotnych informacji. Artykuły WikiHow (np. Jak zrobić ryż do sushi) zawierają właśnie to: odpowiadający tekst, który zawiera wszystkie istotne kroki w filmie wymienione z towarzyszącymi obrazami/klipami ilustrującymi różne kroki w zadaniu.’

Wynikowa baza danych z tego web-scrapingu nazywa się WikiHow Summaries. Baza danych składa się z 2 106 filmów wejściowych i ich podsumowań. Jest to znacznie większy rozmiar zbioru danych niż ten, który jest zwykle dostępny dla projektów podsumowywania filmów, które zwykle wymagają drogich i czasochłonnych ręcznych etykietowania i adnotacji – proces, który został w dużej mierze zautomatyzowany w nowej pracy, dzięki bardziej ograniczonemu zakresowi podsumowywania filmów instruktażowych (a nie ogólnych).

IV-Sum wykorzystuje czasowe reprezentacje trójwymiarowych konwolucyjnych sieci neuronowych, a nie reprezentacje oparte na klatkach, które charakteryzują poprzednie prace, a badanie ablacyjne zawarte w artykule potwierdza, że wszystkie składniki tego podejścia są niezbędne do funkcjonalności systemu.

IV-Sum wypadł korzystnie w testach porównawczych z różnymi porównywalnymi ramami, w tym CLIP-It (nad którym kilku autorów artykułu również pracowało).

IV-Sum uzyskuje dobre wyniki w porównaniu z porównywalnymi metodami, możliwe dzięki bardziej ograniczonemu zakresowi zastosowania w porównaniu z ogólnymi inicjatywami podsumowywania filmów. Szczegóły metryk i metod oceny można znaleźć dalej w tym artykule.

IV-Sum uzyskuje dobre wyniki w porównaniu z porównywalnymi metodami, możliwe dzięki bardziej ograniczonemu zakresowi zastosowania w porównaniu z ogólnymi inicjatywami podsumowywania filmów. Szczegóły metryk i sposobów oceny znajdują się w dalszej części artykułu.

Metoda

Pierwszym etapem w procesie podsumowywania jest użycie słabo nadzorowanego algorytmu wymagającego stosunkowo niewielkiego nakładu pracy do tworzenia pseudo-podsumowań i ocen ważności poszczególnych klatek dla dużej liczby pobranych z sieci filmów instruktażowych, z tylko jedną etykietą zadania w każdym filmie.

Następnie sieć podsumowywania instruktażowego jest szkolona na tych danych. System przyjmuje automatycznie transkrybowaną mowę (na przykład automatycznie wygenerowane napisy dla filmu) i film źródłowy jako dane wejściowe.

Sieć składa się z kodera wideo i transformatora oceny segmentów (SST), a szkolenie jest kierowane przez wskaźniki ważności przypisane w pseudo-podsumowaniach. Ostateczne podsumowanie jest tworzone przez łączenie segmentów, które uzyskały wysoki wskaźnik ważności.

Z artykułu:

‘Główna intuicja za naszą pipelinią generowania pseudo-podsumowań polega na tym, że gdy dysponujemy wieloma filmami przedstawiającymi to samo zadanie, kroki, które są istotne dla zadania, są prawdopodobnie widoczne w wielu filmach (istotność zadania).

‘Ponadto, jeśli krok jest ważny, zwykle demonstrator mówi o tym kroku albo przed, albo podczas, albo po wykonaniu go. Dlatego też napisy dla filmu uzyskane za pomocą automatycznego rozpoznawania mowy (ASR) prawdopodobnie odniosą się do tych kluczowych kroków (saliencja cross-modalna).’

Aby wygenerować pseudo-podsumowanie, film jest najpierw jednolicie podzielony na segmenty, a segmenty są grupowane na podstawie ich podobieństwa wizualnego w „kroki” (różne kolory na powyższym obrazie). Następnie kroki są przypisane wskaźniki ważności na podstawie „istotności zadania” i „saliencji cross-modalnej” (tj. korelacji między tekstem ASR a obrazami). Kroki o wysokim wskaźniku są następnie wybrane do reprezentowania etapów w pseudo-podsumowaniu.

Aby wygenerować pseudo-podsumowanie, film jest najpierw jednolicie podzielony na segmenty, a segmenty są grupowane na podstawie ich podobieństwa wizualnego w „kroki” (różne kolory na powyższym obrazie). Następnie kroki są przypisane wskaźniki ważności na podstawie „istotności zadania” i „saliencji cross-modalnej” (tj. korelacji między tekstem ASR a obrazami). Kroki o wysokim wskaźniku są następnie wybrane do reprezentowania etapów w pseudo-podsumowaniu.

System wykorzystuje Saliencję cross-modalną, aby pomóc w ustaleniu istotności każdego kroku, porównując interpretowaną mowę z obrazami i działaniami w filmie. To jest osiągane za pomocą pre-trenowanego modelu wideo-tekstowego, w którym każdy element jest wspólnie trenowany z funkcją straty MIL-NCE, używając 3D CNN kodera wideo opracowanego przez DeepMind.

Ogólny wskaźnik ważności jest następnie uzyskany z obliczonej średniej tych etapów istotności zadania i analizy cross-modalnej.

Dane

Wstępny zbiór pseudo-podsumowań został wygenerowany dla procesu, składający się z większości zawartości dwóch poprzednich zbiorów danych – COIN, zestawu z 2019 roku zawierającego 11 000 filmów związanych z 180 zadaniami; oraz Cross-Task, który zawiera 4 700 filmów instruktażowych, z których 3 675 zostało użytych w badaniu. Cross-Task zawiera 83 różne zadania.

Powyżej, przykłady z COIN; poniżej, z Cross-Task. Źródła, odpowiednio: https://arxiv.org/pdf/1903.02874.pdf i https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Powyżej, przykłady z COIN; poniżej, z Cross-Task. Źródła, odpowiednio: https://arxiv.org/pdf/1903.02874.pdf i https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Używając filmów, które pojawiły się w obu zbiorach danych tylko raz, badacze byli w stanie uzyskać 12 160 filmów obejmujących 263 różne zadania, oraz 628,53 godziny zawartości dla swojego zbioru danych.

Aby zaludnić zbiór danych oparty na WikiHow, oraz aby zapewnić podstawę dla systemu, autorzy pobrali filmy instruktażowe z WikiHow Videos, wraz z ich obrazami i klipami wideo (tj. GIF-ami) związanymi z każdym krokiem. W ten sposób struktura pochodzącej zawartości WikiHow miała służyć jako szablon do wyodrębnienia kroków w nowym systemie.

Cechy wyodrębnione za pomocą ResNet50 zostały użyte do dopasowania wybranych sekcji filmu w obrazach WikiHow i wykonania lokalizacji kroków. Najbardziej podobny uzyskany obraz w ciągu 5-sekundowego okna filmu został użyty jako punkt kotwiczący.

Te krótsze klipy były następnie zszyte w filmy, które miały stanowić podstawę dla szkolenia modelu.

Etykiety zostały przypisane do każdej klatki w filmie wejściowym, aby określić, czy należą one do podsumowania wejściowego, czy nie, a każdy film otrzymał od badaczy etykietę binarną na poziomie klatki i średnią ocenę podsumowania uzyskaną za pomocą wskaźników ważności dla wszystkich klatek w segmencie.

W tym momencie „kroki” w każdym filmie instruktażowym były już związane z danymi opartymi na tekście i oznaczone.

Szkolenie, testy i metryki

Ostateczny zbiór danych WikiHow został podzielony na 1 339 filmów testowych i 768 filmów walidacyjnych – godny uwagi wzrost w porównaniu ze średnim rozmiarem przetworzonych zbiorów danych poświęconych analizie wideo.

Kodery wideo i tekstu w nowej sieci były wspólnie szkolone na sieci S3D z wagami załadowanymi z pre-trenowanego modelu HowTo100M z funkcją straty MIL-NCE.

Model został trenowany z optymalizatorem Adam przy szybkości uczenia 0,01 i rozmiarze partii 24, z Distributed Data Parallel łączącym szkolenie na osiem kart graficznych NVIDIA RTX 2080, dla łącznej ilości 24 GB rozproszonej pamięci VRAM.

IV-Sum został następnie porównany z różnymi scenariuszami dla CLIP-It zgodnie z podobnymi poprzednimi pracami, w tym studium nad CLIP-It. Użyte metryki to wartości precyzji, recallu i F-Score, w trzech nienadzorowanych bazach (patrz artykuł szczegóły).

Wyniki są wymienione w poprzednim obrazie, ale badacze zauważają dodatkowo, że CLIP-It pomija pewne możliwe kroki na różnych etapach testów, których IV-Sum nie pomija. Przypisują to temu, że CLIP-It został opracowany przy użyciu znacznie mniejszych zbiorów danych niż nowy korpus WikiHow.

Wnioski

Potencjalna długoterminowa wartość tego nurtu badań (który IV-Sum dzieli z szerszym wyzwaniem analizy wideo) mogłaby polegać na tym, aby uczynić filmy instruktażowe bardziej dostępnymi dla konwencjonalnych silników wyszukiwania i umożliwić rodzaj redukcyjnego fragmentu w wynikach wyszukiwania dla filmów, które Google często wyodrębnia z dłuższego artykułu konwencjonalnego.

Oczywiście, rozwój jakiegokolwiek procesu wspomaganego przez sztuczną inteligencję, który zmniejsza nasze zobowiązanie do stosowania ciągłej i niepodzielnej uwagi do zawartości wideo, mógłby mieć konsekwencje dla atrakcyjności tego medium dla pokolenia marketerów, dla których nieprzezroczystość wideo była być może jedynym sposobem, w jaki czuli się w stanie wyłącznie zaangażować nas.

Ponieważ lokalizację wartościowej treści trudno ustalić, wideo przesyłane przez użytkowników cieszyły się szerokim (choć niechętnym) przyzwoleniem od konsumentów mediów w odniesieniu do umieszczania produktów, miejsc sponsorów i ogólnego samouwielbienia, w którym wartość wideo jest tak często wyrażana. Projekty takie jak IV-Sum dają nadzieję, że ostatecznie poszczególne części treści wideo będzie można precyzyjnie wyodrębnić i oddzielić od tego, co wiele osób uważa za „balast” reklamy w treści i niezwiązanej z treścią improwizacji.

 

Pierwotnie opublikowane 16 sierpnia 2022. Zaktualizowane 14:52 16 sierpnia, usunięto powtarzające się zdanie.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai