Použití AI pro souhrn dlouhých „Jak na to“ videí

Pokud jste ten typ, který zrychluje přehrávání videí na YouTube, abyste se dostali k informacím, které skutečně potřebujete; konzultujete přepis videa, abyste získali základní informace skryté v dlouhých a často sponzorovaných časech přehrávání; nebo doufáte, že WikiHow vytvořil méně časově náročnou verzi informací v instrukčním videu; pak může být nový projekt z UC Berkeley, Google Research a Brown University zajímavý pro vás.

Nazvaný TL;DW? Souhrn instrukčních videí s úkolem relevance a cross-modální saliencí, nová práce popisuje vytvoření systému souhrnu videí pomocí AI, který může identifikovat příslušné kroky z videa a odstranit vše ostatní, což vede k stručným souhrnům, které rychle jdou k věci.

WikiHow’s využití existujících dlouhých videí pro textové a video informace je použito projektem IV-Sum pro generování falešných souhrnů, které poskytují základnu pro trénování systému. Zdroj: https://arxiv.org/pdf/2208.06773.pdf

Výsledné souhrny mají zlomek původního času přehrávání videa, zatímco multimodální (tj. textové) informace jsou také zaznamenávány během procesu, aby budoucí systémy mohly potenciálně automatizovat vytváření WikiHow-style blogových příspěvků, které jsou schopné automaticky analyzovat prolixní „jak na to“ video a vytvořit stručný a vyhledatelný krátký článek, kompletní s ilustracemi, potenciálně šetřící čas a frustraci.

Nový systém se nazývá IV-Sum („Instrukční video souhrn“), a používá otevřený zdroj ResNet-50 algoritmus počítačového vidění, mezi mnoha dalšími technikami, pro identifikaci příslušných snímků a segmentů dlouhého zdrojového videa.

Konceptuální workflow pro IV-Sum.

Systém je trénován na pseudo-souhrnech generovaných z obsahu struktury webu WikiHow, kde skutečné osoby často využívají populární instrukční videa k vytvoření plochého, textového multimediálního tvaru, často pomocí krátkých klipů a animovaných GIFů zdrojových instrukčních videí.

Diskutuje se o projektu použití WikiHow souhrnů jako zdroje základních dat pro systém, autoři prohlašují:

‘Každý článek na webu WikiHow Videos se skládá z hlavního instrukčního videa, které demonstruje úkol, který často zahrnuje reklamní obsah, klipy instruktora mluvějícího do kamery bez vizuálních informací o úkolu a kroky, které nejsou zásadní pro provedení úkolu.

‘Diváci, kteří chtějí přehled o úkolu, by предпочli kratší video bez všech výše uvedených irelevantních informací. Články WikiHow (například Jak udělat sushi rýži) obsahují přesně to: odpovídající text, který obsahuje všechny důležité kroky ve videu, spolu s doprovodnými obrázky/klipy ilustrujícími různé kroky v úkolu.’

Výsledná databáze z tohoto web-scrapingu se nazývá WikiHow Souhrny. Databáze se skládá z 2 106 vstupních videí a souvisejících souhrnů. To je pozoruhodně větší velikost datové sady než je obvyklé pro projekty souhrnu videí, které obvykle vyžadují drahé a časově náročné manuální označování a anotaci – proces, který byl v nové práci z velké části automatizován, díky více omezenému rozsahu souhrnu instrukčních (ne obecných) videí.

IV-Sum využívá temporální 3D konvoluční neuronové sítě, místo snímkové reprezentace, která charakterizuje předchozí podobné práce, a studie omezení podrobně popsána v článku potvrzuje, že všechny komponenty tohoto přístupu jsou nezbytné pro funkčnost systému.

IV-Sum testoval příznivě proti různým srovnatelným rámcům, včetně CLIP-It (které několik autorů článku také pracovalo).

IV-Sum skóruje dobře proti srovnatelným metodám, možná díky jeho více omezenému aplikovanému rozsahu, ve srovnání s obecným směrem video souhrnů.

Metoda

První fáze procesu souhrnu zahrnuje použití relativně nízké úsilí, slabě dohlíženého algoritmu pro vytvoření pseudo-souhrnů a rámce důležitosti pro velké množství webových instrukčních videí, s pouze jedním úkolem označením v každém videu.

Dále je trénován instrukční souhrnný síť na tomto datu. Systém bere auto-přepsaný řeč (například YouTube’s vlastní AI-generované titulky pro video) a zdrojové video jako vstup.

Síť se skládá z video encoderu a segment scoring transformer (SST), a trénink je veden důležitými skóre, které jsou přiřazeny v pseudo-souhrnech. Konečný souhrn je vytvořen konkatencí segmentů, které dosáhly vysokého skóre důležitosti.

Z článku:

‘Hlavní intuice za naší pseudo souhrn generací pipeline je, že dané mnoha videí úkolu, kroky, které jsou zásadní pro úkol, jsou pravděpodobně vidět napříč mnoha videi (úkol relevance).

‘Navíc, pokud je krok důležitý, je typické, že demonstrátor mluví o tomto kroku buď před, během nebo po provedení. Proto budou titulky pro video získané pomocí Automatické rozpoznávání řeči (ASR) pravděpodobně odkazovat na tyto klíčové kroky (cross-modální saliencí).’

Pro generování pseudo-souhrnu je video nejprve rovnoměrně rozděleno do segmentů, a segmenty jsou seskupeny na základě jejich vizuální podobnosti do ‘kroků’ (různé barvy v obrázku výše). Tyto kroky jsou pak přiřazeny důležité skóre na základě ‘úkol relevance’ a ‘cross-modální saliencí’ (tj. korelace mezi ASR textem a obrázky). Vysoko-skóre kroky jsou pak vybrány pro reprezentaci fází v pseudo-souhrnu.

Systém používá Cross-Modální Saliencí pro stanovení relevance každého kroku, porovnáním interpretované řeči s obrázky a akcemi ve videu. To je provedeno pomocí předem trénovaného video-textového modelu, kde každý prvek je společně trénován pod MIL-NCE ztrátou, pomocí 3D CNN video encoderu vyvinutého, mezi jinými, DeepMind.

Obecné důležité skóre je pak získáno z průměru těchto úkolů relevance a cross-modální analýzy fází.

Data

Počáteční pseudo-souhrny datové sady byly generovány pro proces, skládající se z většiny obsahu dvou předchozích datových sad – COIN, sady z roku 2019, obsahující 11 000 videí souvisejících s 180 úkoly; a Cross-Task, která obsahuje 4 700 instrukčních videí, z nichž 3 675 bylo použito ve výzkumu. Cross-Task obsahuje 83 různých úkolů.

Nahoře, příklady z COIN; dole, z Cross-Task. Zdroje, resp. https://arxiv.org/pdf/1903.02874.pdf a https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Používáním videí, které se objevily v obou datových sadách pouze jednou, výzkumníci byli schopni získat 12 160 videí pokrývajících 263 různé úkoly, a 628,53 hodin obsahu pro jejich datovou sadu.

Pro naplnění WikiHow datové sady a pro poskytnutí základny pro systém, autoři vyčerpali WikiHow Videos pro všechny dlouhé instrukční videa, spolu s jejich obrázky a video klipy (tj. GIFy) spojenými s každým krokem. Takže struktura WikiHow odvozeného obsahu měla sloužit jako šablona pro individuaci kroků v novém systému.

Rysy extrahované pomocí ResNet50 byly použity pro křížové párování vybraných částí videa v WikiHow obrázcích a pro lokalizaci kroků. Nejvíce podobný získaný obrázek v 5-sekundovém okně videa byl použit jako kotva.

Tyto kratší klipy byly pak sešity do videí, které by tvořily základnu pro trénování modelu.

Štítky byly přiřazeny každému rámci ve vstupním videu, aby označily, zda patří do vstupního souhrnu nebo ne, s každým videem, které obdrželo od výzkumníků rámec-level binary štítek, a průměrný souhrn skóre získaný z důležitých skóre pro všechny rámce v segmentu.

V této fázi byly „kroky“ v každém instrukčním videu nyní spojeny s textovými daty a označeny.

Trénink, testy a metriky

Konečná WikiHow datová sada byla rozdělena do 1 339 testovacích videí a 768 validačních videí – pozoruhodný nárůst oproti průměrné velikosti ne-raw datových sad věnovaných video analýze.

Video a textové encodery v novém síti byly společně trénovány na S3D síti s váhami načtenými z předem trénovaného HowTo100M modelu pod MIL-NCE ztrátou.

Model byl trénován s Adam optimalizátorem při rychlosti učení 0,01 a velikosti batche 24, s Distributed Data Parallel spojením, které rozšiřuje trénink přes osm NVIDIA RTX 2080 GPU, celkem 24GB distribuovaného VRAM.

IV-Sum byl pak porovnán s různými scénáři pro CLIP-It v souladu s podobnými předchozími pracemi, včetně studie o CLIP-It. Metriky používané byly Precision, Recall a F-Score hodnoty, napříč třemi nesupervizovanými základnami (viz článek pro detaily).

Výsledky jsou uvedeny v předchozím obrázku, ale výzkumníci poznamenávají navíc, že CLIP-It chybí řada možných kroků v různých fázích testů, které IV-Sum ne. Přisuzují to tomu, že CLIP-It byl trénován a vyvinut pomocí pozoruhodně menších datových sad než nová WikiHow korpus.

Implikace

Argumentovatelná dlouhodobá hodnota tohoto směru výzkumu (který IV-Sum sdílí s širším výzvou video analýzy) by mohla být učinit instrukční video klipy více přístupnými pro konvenční vyhledávací engine indexování, a umožnit typ reduktivního in-results ‘snippet’ pro videa, které Google bude často extrahovat z delšího konvenčního článku.

Zjevně, vývoj jakéhokoliv AI-pomocného procesu, který snižuje naši povinnost aplikovat lineární a exkluzivní pozornost na video obsah, by mohl mít důsledky pro atraktivitu média pro generaci marketérů, pro které byla možná neprůhlednost videa jediným způsobem, jakým se mohli exkluzivně zapojit.

S lokalizací „hodnotného“ obsahu obtížnou, uživatel-přispívaná videa si užívala širokou (i když neochotnou) shovívavost médií spotřebitelů, pokud jde o produktové umístění, sponzorské sloty a obecnou sebedůležitost, ve které je hodnotový proposition videa často couched. Projekty, jako je IV-Sum, nesou slib, že nakonec sub-facety video obsahu se stanou granulárními a oddělitelnými od toho, co mnoho lidí považuje za „ballast“ in-content reklamy a non-content extemporization.

První publikováno 16. srpna 2022. Aktualizováno 2.52 pm 16. srpna, odstraněna duplikovaná fráze.