Używanie sztucznej inteligencji do podsumowywania długich filmów instruktażowych

Jeśli jesteś tym, kto przyspiesza odtwarzanie filmów instruktażowych na YouTube, aby dostać się do informacji, które naprawdę chcesz; konsultujesz transkrypcję filmu, aby uzyskać podstawowe informacje ukryte w długich i często sponsorowanych czasach odtwarzania; lub nadajesz sobie nadzieję, że WikiHow stworzył mniej czasochłonne wersje informacji zawartych w filmie instruktażowym; to nowy projekt z UC Berkeley, Google Research i Brown University może Cię zainteresować.

Nazwany TL;DW? Podsumowywanie filmów instruktażowych z uwzględnieniem istotności zadania i saliencji cross-modalnej, nowy artykuł szczegółowo opisuje stworzenie systemu wspomaganego przez sztuczną inteligencję do podsumowywania filmów, który może identyfikować istotne kroki z filmu i odrzucać wszystko inne, w wyniku czego powstają krótkie podsumowania, które szybko dochodzą do sedna sprawy.

Eksploatacja WikiHow istniejących długich klipów wideo do celów tekstowych i wideo jest używana przez projekt IV-Sum do generowania fałszywych podsumowań, które zapewniają podstawę do szkolenia systemu. Źródło: https://arxiv.org/pdf/2208.06773.pdf

Wynikowe podsumowania mają ułamek oryginalnego czasu odtwarzania filmu, a informacje wielomodalne (tj. oparte na tekście) są również rejestrowane podczas procesu, tak aby przyszłe systemy mogły potencjalnie zautomatyzować tworzenie postów blogowych w stylu WikiHow, które mogą automatycznie parsować rozwlekły film instruktażowy w zwięzły i przeszukiwalny krótki artykuł, wraz z ilustracjami, potencjalnie oszczędzając czas i frustrację.

Nowy system nazywa się IV-Sum („Podsumowywacz filmów instruktażowych”), a używa otwartego algorytmu rozpoznawania komputerowego ResNet-50 oraz innych technik, aby wyodrębnić istotne klatki i segmenty długiego filmu źródłowego.

Konceptualny przepływ pracy dla IV-Sum.

System jest szkolony na pseudo-podsumowaniach wygenerowanych z struktury zawartości witryny WikiHow, gdzie ludzie często wykorzystują popularne filmy instruktażowe do tworzenia płaskiej, wielomodalnej formy, często używając krótkich klipów i animowanych GIF-ów pobranych z filmów instruktażowych.

Omawiając użycie projektu WikiHow podsumowań jako źródła danych podstawowych dla systemu, autorzy stwierdzają:

‘Każdy artykuł na stronie WikiHow Videos składa się z głównego filmu instruktażowego demonstrującego zadanie, które często zawiera treści promocyjne, klipy instruktora mówiącego do kamery bez wizualnej informacji o zadaniu oraz kroki, które nie są istotne dla wykonania zadania.

‘Widzowie, którzy chcą uzyskać przegląd zadania, wolą krótszy film bez wszystkich powyższych nieistotnych informacji. Artykuły WikiHow (np. Jak zrobić ryż do sushi) zawierają właśnie to: odpowiadający tekst, który zawiera wszystkie istotne kroki w filmie wymienione z towarzyszącymi obrazami/klipami ilustrującymi różne kroki w zadaniu.’

Wynikowa baza danych z tego web-scrapingu nazywa się WikiHow Summaries. Baza danych składa się z 2 106 filmów wejściowych i ich podsumowań. Jest to znacznie większy rozmiar zbioru danych niż ten, który jest zwykle dostępny dla projektów podsumowywania filmów, które zwykle wymagają drogich i czasochłonnych ręcznych etykietowania i adnotacji – proces, który został w dużej mierze zautomatyzowany w nowej pracy, dzięki bardziej ograniczonemu zakresowi podsumowywania filmów instruktażowych (a nie ogólnych).

IV-Sum wykorzystuje temporalne 3D sieci neuronowe, a nie reprezentacje oparte na klatkach, które charakteryzują poprzednie prace, a studium ablacjacji zawarte w artykule potwierdza, że wszystkie składniki tego podejścia są niezbędne do funkcjonalności systemu.

IV-Sum przetestowany korzystnie w porównaniu z różnymi porównywalnymi ramami, w tym CLIP-It (nad którym kilku autorów artykułu również pracowało).

IV-Sum uzyskuje dobre wyniki w porównaniu z porównywalnymi metodami, możliwe dzięki bardziej ograniczonemu zakresowi zastosowania w porównaniu z ogólnymi inicjatywami podsumowywania filmów.

Metoda

Pierwszym etapem w procesie podsumowywania jest użycie względnie niskiego wysiłku, słabo nadzorowanego algorytmu do tworzenia pseudo-podsumowań i punktowych wskaźników ważności dla dużej liczby pobranych z sieci filmów instruktażowych, z tylko jedną etykietą zadania w każdym filmie.

Następnie sieć podsumowywania instruktażowego jest szkolona na tych danych. System przyjmuje automatycznie transkrybowaną mowę (na przykład automatycznie wygenerowane napisy dla filmu) i film źródłowy jako dane wejściowe.

Sieć składa się z kodera wideo i transformatora oceny segmentów (SST), a szkolenie jest kierowane przez wskaźniki ważności przypisane w pseudo-podsumowaniach. Ostateczne podsumowanie jest tworzone przez łączenie segmentów, które uzyskały wysoki wskaźnik ważności.

Z artykułu:

‘Główna intuicja za naszą pipelinią generowania pseudo-podsumowań polega na tym, że dane many filmy zadania, kroki, które są istotne dla zadania, są prawdopodobnie widoczne w wielu filmach (istotność zadania).

‘Ponadto, jeśli krok jest ważny, zwykle demonstrator mówi o tym kroku albo przed, albo podczas, albo po wykonaniu go. Dlatego też napisy dla filmu uzyskane za pomocą automatycznego rozpoznawania mowy (ASR) prawdopodobnie odniosą się do tych kluczowych kroków (saliencja cross-modalna).’

Aby wygenerować pseudo-podsumowanie, film jest najpierw jednolicie podzielony na segmenty, a segmenty są grupowane na podstawie ich podobieństwa wizualnego w „kroki” (różne kolory na powyższym obrazie). Następnie kroki są przypisane wskaźniki ważności na podstawie „istotności zadania” i „saliencji cross-modalnej” (tj. korelacji między tekstem ASR a obrazami). Kroki o wysokim wskaźniku są następnie wybrane do reprezentowania etapów w pseudo-podsumowaniu.

System wykorzystuje Saliencję cross-modalną, aby pomóc w ustaleniu istotności każdego kroku, porównując interpretowaną mowę z obrazami i działaniami w filmie. To jest osiągane za pomocą pre-trenowanego modelu wideo-tekstowego, w którym każdy element jest wspólnie trenowany pod MIL-NCE loss, używając 3D CNN kodera wideo opracowanego przez DeepMind.

Ogólny wskaźnik ważności jest następnie uzyskany z obliczonej średniej tych etapów istotności zadania i analizy cross-modalnej.

Dane

Wstępny zbiór pseudo-podsumowań został wygenerowany dla procesu, składający się z większości zawartości dwóch poprzednich zbiorów danych – COIN, zestawu z 2019 roku zawierającego 11 000 filmów związanych z 180 zadaniami; oraz Cross-Task, który zawiera 4 700 filmów instruktażowych, z których 3 675 zostało użytych w badaniu. Cross-Task zawiera 83 różne zadania.

Powyżej, przykłady z COIN; poniżej, z Cross-Task. Źródła, odpowiednio: https://arxiv.org/pdf/1903.02874.pdf i https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Używając filmów, które pojawiły się w obu zbiorach danych tylko raz, badacze byli w stanie uzyskać 12 160 filmów obejmujących 263 różne zadania, oraz 628,53 godziny zawartości dla swojego zbioru danych.

Aby zaludnić zbiór danych oparty na WikiHow, oraz aby zapewnić podstawę dla systemu, autorzy pobrali filmy instruktażowe z WikiHow Videos, wraz z ich obrazami i klipami wideo (tj. GIF-ami) związanymi z każdym krokiem. W ten sposób struktura pochodzącej zawartości WikiHow miała służyć jako szablon do wyodrębnienia kroków w nowym systemie.

Cechy wyodrębnione za pomocą ResNet50 zostały użyte do dopasowania wybranych sekcji filmu w obrazach WikiHow i wykonania lokalizacji kroków. Najbardziej podobny uzyskany obraz w ciągu 5-sekundowego okna filmu został użyty jako punkt kotwiczący.

Te krótsze klipy były następnie zszyte w filmy, które miały stanowić podstawę dla szkolenia modelu.

Etykiety zostały przypisane do każdej klatki w filmie wejściowym, aby określić, czy należą one do podsumowania wejściowego, czy nie, a każdy film otrzymał od badaczy etykietę binarną na poziomie klatki i średnią ocenę podsumowania uzyskaną za pomocą wskaźników ważności dla wszystkich klatek w segmencie.

W tym momencie „kroki” w każdym filmie instruktażowym były już związane z danymi opartymi na tekście i oznaczone.

Szkolenie, testy i metryki

Ostateczny zbiór danych WikiHow został podzielony na 1 339 filmów testowych i 768 filmów walidacyjnych – godny uwagi wzrost w porównaniu ze średnim rozmiarem nieprzetworzonych zbiorów danych poświęconych analizie wideo.

Kodery wideo i tekstu w nowej sieci były wspólnie szkolone na sieci S3D z wagami załadowanymi z pre-trenowanego modelu HowTo100M pod MIL-NCE loss.

Model został trenowany z optymalizatorem Adam przy szybkości uczenia 0,01 i rozmiarze partii 24, z Distributed Data Parallel łączącym szkolenie na osiem kart graficznych NVIDIA RTX 2080, dla łącznej ilości 24 GB rozproszonej pamięci VRAM.

IV-Sum został następnie porównany z różnymi scenariuszami dla CLIP-It zgodnie z podobnymi poprzednimi pracami, w tym studium nad CLIP-It. Użyte metryki to wartości precyzji, recallu i F-Score, w trzech nienadzorowanych bazach (patrz artykuł szczegóły).

Wyniki są wymienione w poprzednim obrazie, ale badacze zauważają dodatkowo, że CLIP-It pomija pewne możliwe kroki na różnych etapach testów, których IV-Sum nie pomija. Przypisują to temu, że CLIP-It został opracowany przy użyciu znacznie mniejszych zbiorów danych niż nowy korpus WikiHow.

Wnioski

Sporny długoterminowy wartość tego nurtu badań (który IV-Sum dzieli z szerszym wyzwaniem analizy wideo) mógłby polegać na tym, aby uczynić filmy instruktażowe bardziej dostępnymi dla konwencjonalnych silników wyszukiwania i umożliwić rodzaj redukcyjnego wyników ‘fragmentu’ dla filmów, które Google często wyodrębnia z dłuższego artykułu konwencjonalnego.

Oczywiście, rozwój jakiegokolwiek procesu wspomaganego przez sztuczną inteligencję, który zmniejsza nasze zobowiązanie do stosowania liniowego i wyłącznego uwagi do zawartości wideo, mógłby mieć konsekwencje dla atrakcyjności tego medium dla pokolenia marketerów, dla których nieprzezroczystość wideo była być może jedynym sposobem, w jaki czuli się w stanie wyłącznie zaangażować nas.

Z lokalizacją „wartościowego” zawartości trudną do ustalenia, wideo przesyłane przez użytkowników cieszyły się szerokim (choć niechętnym) przyzwoleniem od konsumentów mediów w odniesieniu do umieszczania produktów, miejsc sponsorów i ogólnego samouwielbienia, w którym wartość wideo jest tak często wyrażana. Projekty takie jak IV-Sum dają nadzieję, że ostatecznie pod-facetów zawartości wideo staną się granularne i rozdzielne od tego, co wiele osób uważa za „balast” reklamy w treści i niezwiązanej z treścią improwizacji.

Pierwotnie opublikowane 16 sierpnia 2022. Zaktualizowane 14:52 16 sierpnia, usunięto powtarzające się zdanie.