Andersonův úhel

Použití AI pro souhrn dlouhých „Jak na to“ videí

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyIV-Sum využívá strukturovaná shrnutí z WikiHow jako referenční pravdu pro trénování…
Zobrazit více
  • IV-Sum využívá strukturovaná shrnutí z WikiHow jako referenční pravdu pro trénování sumarizace videí bez ručního označování.
  • Systém odstraňuje propagační obsah a nepodstatné segmenty, aby vytvořil shrnutí s pouhým zlomkem původní délky.
  • Mezimodální významnost mezi řečí a vizuálními prvky pomáhá IV-Sum identifikovat klíčové kroky napříč více instruktážními videi.

Pokud jste ten typ, který zrychluje přehrávání videí na YouTube, abyste se dostali k informacím, které skutečně potřebujete; konzultujete přepis videa, abyste získali základní informace skryté v dlouhých a často sponzorovaných časech přehrávání; nebo doufáte, že WikiHow vytvořil méně časově náročnou verzi informací v instrukčním videu; pak může být nový projekt z UC Berkeley, Google Research a Brown University zajímavý pro vás.

Nazvaný TL;DW? Souhrn instrukčních videí s relevancí pro úkol a mezimodální významností, nová práce popisuje vytvoření systému souhrnu videí pomocí AI, který může identifikovat příslušné kroky z videa a odstranit vše ostatní, což vede k stručným souhrnům, které rychle jdou k věci.

WikiHow's využití existujících dlouhých videí pro textové a video informace je použito projektem IV-Sum pro generování pseudosouhrnů, které poskytují základnu pro trénování systému. Zdroj: https://arxiv.org/pdf/2208.06773.pdf

WikiHow’s využití existujících dlouhých videí pro textové a video informace je použito projektem IV-Sum pro generování pseudosouhrnů, které poskytují základnu pro trénování systému. Zdroj: https://arxiv.org/pdf/2208.06773.pdf

Výsledné souhrny mají zlomek původního času přehrávání videa, zatímco multimodální (tj. textové) informace jsou také zaznamenávány během procesu, aby budoucí systémy mohly potenciálně automatizovat vytváření WikiHow-style blogových příspěvků, které jsou schopné automaticky analyzovat rozvláčné „jak na to“ video a vytvořit stručný a vyhledatelný krátký článek, kompletní s ilustracemi, potenciálně šetřící čas a frustraci.

Nový systém se nazývá IV-Sum („Instrukční video souhrn“), a používá otevřený zdroj ResNet-50 algoritmus počítačového vidění, mezi mnoha dalšími technikami, pro identifikaci příslušných snímků a segmentů dlouhého zdrojového videa.

Konceptuální workflow pro IV-Sum.

Konceptuální workflow pro IV-Sum.

Systém je trénován na pseudo-souhrnech generovaných z obsahu struktury webu WikiHow, kde skutečné osoby často využívají populární instrukční videa k vytvoření plochého, textového multimediálního tvaru, často pomocí krátkých klipů a animovaných GIFů zdrojových instrukčních videí.

Diskutuje se o projektu použití WikiHow souhrnů jako zdroje základních dat pro systém, autoři prohlašují:

‘Každý článek na webu WikiHow Videos se skládá z hlavního instrukčního videa, které demonstruje úkol, který často zahrnuje reklamní obsah, klipy instruktora mluvějícího do kamery bez vizuálních informací o úkolu a kroky, které nejsou zásadní pro provedení úkolu.

‘Diváci, kteří chtějí přehled o úkolu, by upřednostnili kratší video bez všech výše uvedených irelevantních informací. Články WikiHow (například Jak udělat sushi rýži) obsahují přesně to: odpovídající text, který obsahuje všechny důležité kroky ve videu, spolu s doprovodnými obrázky/klipy ilustrujícími různé kroky v úkolu.’

Výsledná databáze z tohoto web-scrapingu se nazývá WikiHow Souhrny. Databáze se skládá z 2 106 vstupních videí a souvisejících souhrnů. To je pozoruhodně větší velikost datové sady než je obvyklé pro projekty souhrnu videí, které obvykle vyžadují drahé a časově náročné manuální označování a anotaci – proces, který byl v nové práci z velké části automatizován, díky více omezenému rozsahu souhrnu instrukčních (ne obecných) videí.

IV-Sum využívá temporální 3D konvoluční neuronové sítě, místo snímkové reprezentace, která charakterizuje předchozí podobné práce, a podrobně popsaná ablační studie v článku potvrzuje, že všechny komponenty tohoto přístupu jsou nezbytné pro funkčnost systému.

IV-Sum dosáhl dobrých výsledků v testech oproti srovnatelným metodám, včetně CLIP-It (které několik autorů článku také pracovalo).

IV-Sum skóruje dobře proti srovnatelným metodám, možná díky jeho více omezenému aplikovanému rozsahu, ve srovnání s obecným směrem video souhrnů. Podrobnosti o metrikách a metodách hodnocení dále dolů v tomto článku.

IV-Sum skóruje dobře proti srovnatelným metodám, možná díky jeho více omezenému aplikovanému rozsahu, ve srovnání s obecnými iniciativami shrnování videí. Podrobnosti o metrikách a metodách hodnocení jsou dále v tomto článku.

Metoda

První fáze procesu souhrnu zahrnuje použití algoritmu se slabým dohledem a poměrně nízkými nároky na práci pro vytvoření pseudo-souhrnů a skóre důležitosti jednotlivých snímků pro velké množství webových instrukčních videí, s jediným štítkem úkolu v každém videu.

Na těchto datech se následně trénuje síť pro shrnování instruktážních videí. Vstupem jsou automaticky přepsaná řeč, například titulky vygenerované AI na YouTube, a zdrojové video.

Síť se skládá z video encoderu a segment scoring transformer (SST), a trénink je veden důležitými skóre, které jsou přiřazeny v pseudo-souhrnech. Konečný souhrn je vytvořen konkatencí segmentů, které dosáhly vysokého skóre důležitosti.

Z článku:

‘Hlavní intuice za naší pseudo souhrn generací pipeline je, že dané mnoha videí úkolu, kroky, které jsou zásadní pro úkol, jsou pravděpodobně vidět napříč mnoha videi (úkol relevance).

‘Navíc, pokud je krok důležitý, je typické, že demonstrátor mluví o tomto kroku buď před, během nebo po provedení. Proto budou titulky pro video získané pomocí Automatické rozpoznávání řeči (ASR) pravděpodobně odkazovat na tyto klíčové kroky (mezimodální významnost).’

Pro generování pseudo-souhrnu je video nejprve rovnoměrně rozděleno do segmentů, a segmenty jsou seskupeny na základě jejich vizuální podobnosti do 'kroků' (různé barvy v obrázku výše). Těmto krokům jsou následně přiřazena skóre důležitosti na základě 'úkol relevance' a 'mezimodální významnost' (tj. korelace mezi ASR textem a obrázky). Kroky s vysokým skóre jsou pak vybrány pro reprezentaci fází v pseudo-souhrnu.

Pro generování pseudo-souhrnu je video nejprve rovnoměrně rozděleno do segmentů, a segmenty jsou seskupeny na základě jejich vizuální podobnosti do ‘kroků’ (různé barvy v obrázku výše). Těmto krokům jsou následně přiřazena skóre důležitosti na základě ‘úkol relevance’ a ‘mezimodální významnost’ (tj. korelace mezi ASR textem a obrázky). Kroky s vysokým skóre jsou pak vybrány pro reprezentaci fází v pseudo-souhrnu.

Systém používá Mezimodální významnost pro stanovení relevance každého kroku, porovnáním interpretované řeči s obrázky a akcemi ve videu. To je provedeno pomocí předem trénovaného video-textového modelu, kde každý prvek je společně trénován s funkcí ztráty MIL-NCE, pomocí 3D CNN video encoderu vyvinutého, mezi jinými, DeepMind.

Obecné důležité skóre je pak získáno z průměru těchto úkolů relevance a cross-modální analýzy fází.

Data

Počáteční pseudo-souhrny datové sady byly generovány pro proces, skládající se z většiny obsahu dvou předchozích datových sad – COIN, sady z roku 2019, obsahující 11 000 videí souvisejících s 180 úkoly; a Cross-Task, která obsahuje 4 700 instrukčních videí, z nichž 3 675 bylo použito ve výzkumu. Cross-Task obsahuje 83 různých úkolů.

Nahoře, příklady z COIN; dole, z Cross-Task. Zdroje, resp. https://arxiv.org/pdf/1903.02874.pdf a https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Nahoře, příklady z COIN; dole, z Cross-Task. Zdroje, resp. https://arxiv.org/pdf/1903.02874.pdf a https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Používáním videí, které se objevily v obou datových sadách pouze jednou, výzkumníci byli schopni získat 12 160 videí pokrývajících 263 různé úkoly, a 628,53 hodin obsahu pro jejich datovou sadu.

Pro naplnění WikiHow datové sady a pro poskytnutí základny pro systém, autoři z webu WikiHow Videos shromáždili všechna dlouhá instruktážní videa, spolu s jejich obrázky a video klipy (tj. GIFy) spojenými s každým krokem. Takže struktura WikiHow odvozeného obsahu měla sloužit jako šablona pro rozlišení jednotlivých kroků v novém systému.

Rysy extrahované pomocí ResNet50 byly použity pro křížové párování vybraných částí videa v WikiHow obrázcích a pro lokalizaci kroků. Nejvíce podobný získaný obrázek v 5-sekundovém okně videa byl použit jako kotva.

Tyto kratší klipy byly pak sešity do videí, které by tvořily základnu pro trénování modelu.

Každému snímku vstupního videa byl přiřazen binární štítek označující, zda patří do shrnutí. Průměrné skóre shrnutí se vypočítalo ze skóre důležitosti všech snímků v daném segmentu.

V této fázi byly „kroky“ v každém instrukčním videu nyní spojeny s textovými daty a označeny.

Trénink, testy a metriky

Konečná WikiHow datová sada byla rozdělena do 1 339 testovacích videí a 768 validačních videí – pozoruhodný nárůst oproti průměrné velikosti zpracovaných datových sad věnovaných video analýze.

Video a textové encodery v nové síti byly společně trénovány na S3D síti s váhami načtenými z předem trénovaného HowTo100M modelu s funkcí ztráty MIL-NCE.

Model byl trénován s Adam optimalizátorem při rychlosti učení 0,01 a velikosti batche 24, s Distributed Data Parallel spojením, které rozšiřuje trénink přes osm NVIDIA RTX 2080 GPU, celkem 24GB distribuovaného VRAM.

IV-Sum byl pak porovnán s různými scénáři pro CLIP-It v souladu s podobnými předchozími pracemi, včetně studie o CLIP-It. Metriky používané byly Precision, Recall a F-Score hodnoty, napříč třemi nesupervizovanými základnami (viz článek pro detaily).

Výsledky jsou uvedeny v předchozím obrázku, ale výzkumníci poznamenávají navíc, že CLIP-It chybí řada možných kroků v různých fázích testů, které IV-Sum nevynechává. Přisuzují to tomu, že CLIP-It byl trénován a vyvinut pomocí pozoruhodně menších datových sad než nová WikiHow korpus.

Implikace

Argumentovatelná dlouhodobá hodnota tohoto směru výzkumu (který IV-Sum sdílí s širším výzvou video analýzy) by mohla být učinit instrukční video klipy více přístupnými pro konvenční vyhledávací engine indexování, a umožnit typ reduktivního úryvku ve výsledcích vyhledávání pro videa, které Google bude často extrahovat z delšího konvenčního článku.

Zjevně, vývoj jakéhokoliv AI-pomocného procesu, který snižuje naši povinnost aplikovat lineární a exkluzivní pozornost na video obsah, by mohl mít důsledky pro atraktivitu média pro generaci marketérů, pro které byla možná neprůhlednost videa jediným způsobem, jakým se mohli exkluzivně zapojit.

Protože je obtížné určit, kde se nachází hodnotný obsah, diváci do značné míry, byť neochotně, tolerují ve videích od uživatelů umísťování produktů, sponzorské pasáže a sebepropagaci, do nichž je skutečná hodnota videa často zabalena. Projekty jako IV-Sum slibují, že jednotlivé části videí půjde přesně rozlišit a oddělit od toho, co mnozí považují za zátěž: vložené reklamy a nesouvisející improvizované odbočky.

 

První publikováno 16. srpna 2022. Aktualizováno 14.52 16. srpna, odstraněna duplikovaná fráze.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai