Bruk av AI til å sammenfatte lange ‘hvordan-til’ videoer

Hvis du er den type som øker hastigheten på en YouTube-instruktionsvideo for å komme til informasjonen du faktisk ønsker; konsulterer videoens transkript for å innhente den essensielle informasjonen som er skjult i de lange og ofte sponsor-ladde spillene; eller håper at WikiHow har laget en mindre tidskrevende versjon av informasjonen i instruksjonsvideoen; så kan et nytt prosjekt fra UC Berkeley, Google Research og Brown University være av interesse for deg.

Prosjektet har tittelen TL;DW? Sammendrag av instruksjonsvideoer med oppgave-relevans og cross-modalt saliency, og den nye artikkelen beskriver utviklingen av et AI-basert videosammendragsystem som kan identifisere relevante steg fra videoen og kaste alt annet, med resultatet at det blir kortere sammendrag som raskt kommer til poenget.

WikiHows utnyttelse av eksisterende lange video-klipp for både tekst- og video-informasjon brukes av IV-Sum-prosjektet til å generere feilsummarier som gir grunnfakta for å trene systemet. Kilde: https://arxiv.org/pdf/2208.06773.pdf

De resulterende sammendragene har en brøkdel av den opprinnelige videoens spilletid, mens multi-modalt (dvs. tekst-basert) informasjon også blir registrert under prosessen, så fremtidige systemer potensielt kan automatisere skapingen av WikiHow-liknende blogginnlegg som kan parse en prolix instruksjonsvideo inn i en kort og søkbar kort artikkel, komplett med illustrasjoner, potensielt spare tid og frustrasjon.

Det nye systemet kalles IV-Sum (‘Instruksjonsvideo-sammendrag’), og bruker det åpne kildekode- ResNet-50 datamaskin-gjenkjenning-algoritmen, blant flere andre teknikker, for å individuere relevante rammeverk og segmenter av en lang kildevideo.

Det konseptuelle arbeidsflyten for IV-Sum.

Systemet er trenet på pseudo-summer generert fra innholdstrukturen på WikiHow-nettstedet, der virkelige mennesker ofte utnytter populære instruksjonsvideoer til en flatere, tekst-basert multimediatform, ofte ved å bruke korte klipp og animerte GIF-er tatt fra kilde-instruksjonsvideoer.

Ved å diskutere prosjektets bruk av WikiHow-summer som kilde til grunnfakta for systemet, sier forfatterne:

‘Hver artikkel på WikiHow Videos-nettstedet består av en hoved-instruksjonsvideo som demonstrerer en oppgave som ofte inkluderer promotering av innhold, klipp av instruktøren som snakker til kameraet uten visuell informasjon om oppgaven, og steg som ikke er avgjørende for å utføre oppgaven.

‘Seere som ønsker en oversikt over oppgaven ville foretrekke en kortere video uten all denne irrelevant informasjonen. WikiHow-artiklene (f.eks. se Hvordan lage sushi-ris) inneholder nettopp dette: tilhørende tekst som inneholder alle viktige steg i videoen listet med tilhørende bilder/klipp som illustrerer de forskjellige stegene i oppgaven.’

De resulterende database fra denne web-skrapingen kalles WikiHow Summer. Database består av 2 106 innputtvideoer og deres relaterte summer. Dette er en merkbart større størrelse på datasett enn det som vanligvis er tilgjengelig for video-sammendragsprosjekter, som normalt krever dyre og arbeidskrevende manuell labeling og annotering – en prosess som har blitt stor sett automatisert i det nye arbeidet, takket være den mer begrensede omfanget av å sammentre instruksjons- (i stedet for generelle) videoer.

IV-Sum utnytter tidsbasert 3D konvolusjonsneurale nettverksrepresentasjoner, i stedet for ramme-basert representasjoner som karakteriserer tidligere lignende arbeid, og en ablasjonsstudie detaljert i artikkelen bekrefter at alle komponentene i denne tilnærmingen er essensielle for systemets funksjonalitet.

IV-Sum testet gunstig mot ulike sammenlignbare rammer, inkludert CLIP-It (som flere av artikkelenes forfattere også arbeidet på).

IV-Sum scorer godt mot sammenlignbare metoder, muligens på grunn av sin mer begrensede anvendelsesområde, i sammenligning med den generelle gjengen av video-sammendragsinitiativer. Detaljer om metrikker og scoringmetoder lenger ned i denne artikkelen.

Metode

Den første fasen i sammendragsprosessen innebærer å bruke en relativt lav-anstrengende, svakt-overvåket algoritme for å lage pseudo-summer og rammevis viktighetspoeng for et stort antall web-skrapede instruksjonsvideoer, med bare ett enkelt oppgave-merke i hver video.

Deretter trenes et instruksjons-sammendragsnettverk på denne dataen. Systemet tar auto-transkribert tale (for eksempel YouTube’s egen AI-genererte undertekster for videoen) og kildevideoen som innputt.

Nettverket består av en video-encoder og en segment-scoring-transformer (SST), og trening er veiledet av viktighetspoengene som er tildelt i pseudo-summer. Den ultimate sammendraget blir skapt ved å konkatenerere segmenter som oppnådde høye viktighetspoeng.

Fra artikkelen:

‘Hovedintuisjonen bak vår pseudo-summer-genereringspipeline er at gitt mange videoer av en oppgave, steg som er avgjørende for oppgaven er sannsynlig å dukke opp på tvers av flere videoer (oppgave-relevans).

‘I tillegg, hvis et steg er viktig, er det vanligvis slik at demonstratoren snakker om dette steget enten før, under eller etter å utføre det. Derfor vil undertekstene for videoen, som er fått ved hjelp av automatisk tale-gjenkjenning (ASR), sannsynligvis referere til disse nøkkel-stegene (cross-modalt saliency).’

For å generere pseudo-summer, blir videoen først uniformt partitionert i segmenter, og segmentene gruppert basert på deres visuelle likhet i ‘steg’ (forskjellige farger i bildet over). Disse stegene blir deretter tildelt viktighetspoeng basert på ‘oppgave-relevans’ og ‘cross-modalt saliency’ (dvs. korrelasjonen mellom ASR-tekst og bilder). Høy-scoring steg blir deretter valgt til å representere steg i pseudo-summer.

Systemet bruker Cross-Modal Saliency for å hjelpe med å etablere relevansen av hvert steg, ved å sammenligne tolket tale med bildene og handlingene i videoen. Dette blir gjort ved hjelp av en forhånds-trent video-tekstmodell hvor hver enhet er felles trenet under MIL-NCE-tap, ved å bruke en 3D CNN video-encoder utviklet av, blant andre, DeepMind.

En generell viktighetspoeng blir deretter fått fra en beregnet gjennomsnitt av disse oppgave-relevans- og cross-modalt-analyse-stadiene.

Data

En initial pseudo-summer-datasett ble generert for prosessen, bestående av mesteparten av innholdet fra to tidligere datasett – COIN, en 2019-samling som inneholder 11 000 videoer relatert til 180 oppgaver; og Cross-Task, som inneholder 4 700 instruksjonsvideoer, hvorav 3 675 ble brukt i forskningen. Cross-Task har 83 forskjellige oppgaver.

Ovenfor, eksempler fra COIN; nedenfor, fra Cross-Task. Kilder, henholdsvis: https://arxiv.org/pdf/1903.02874.pdf og https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Ved å bruke videoer som var med i begge datasett bare en gang, kunne forskerne dermed få 12 160 videoer som omfatter 263 forskjellige oppgaver, og 628,53 timer med innhold for deres datasett.

For å fylle WikiHow-basert datasett, og for å gi grunnfakta for systemet, skrapet forfatterne WikiHow Videos for alle lange instruksjonsvideoer, sammen med deres bilder og video-klipp (dvs. GIF-er) assosiert med hver enkelt steg. Dermed skulle strukturen på WikiHows avledede innhold tjene som mal for individuering av steg i det nye systemet.

Egenskaper uttrukket via ResNet50 ble brukt til å sammenligne de cherry-picked delene av video i WikiHow-bilder, og utføre lokaliserings-steg. Den mest like funnet bilde innen en 5-sekunders video-vindu ble brukt som ankerpunkt.

Disse kortere klippene ble deretter sydd sammen til videoer som ville utgjøre grunnfakta for trening av modellen.

Merker ble tildelt hver ramme i innputtvideoen, for å erklære om de tilhørte innputt-summer eller ikke, med hver video som mottok fra forskerne en ramme-nivå binær merke, og en gjennomsnittlig summer-score fått via viktighetspoengene for alle rammene i segmentet.

På dette stadiet var ‘stegene’ i hver instruksjonsvideo nå assosiert med tekst-basert data, og merket.

Trening, tester og metrikker

Den endelige WikiHow-datasett ble delt i 1 339 testvideoer og 768 valideringsvideoer – en merkbart økning i forhold til den gjennomsnittlige størrelsen på ikke-raw-datasett dedikert til video-analyse.

Video- og tekst-encoderne i det nye nettverket ble felles trenet på et S3D-nettverk med vekter lastet fra en forhånds-trent HowTo100M-modell under MIL-NCE-tap.

Modellen ble trenet med Adam-optimizeren med en læringsrate på 0,01 og en batch-størrelse på 24, med Distributed Data Parallel linking som spredte treningen over åtte NVIDIA RTX 2080 GPU-er, for en total på 24 GB distribuert VRAM.

IV-Sum ble deretter sammenlignet med ulike scenarioer for CLIP-It i henhold til tilsvarende tidligere arbeid, inkludert en studie på CLIP-It. Metrikker brukt var Presisjon, Tilbakekall og F-Score-verdier, over tre usupervisede baselinjer (se artikkel for detaljer).

Resultatene er listet i tidligere bilde, men forskerne merker også at CLIP-It mangler flere mulige steg på ulike stadier i testene som IV-Sum ikke gjør. De tilskriver dette til at CLIP-It har blitt trenet og utviklet ved hjelp av merkbart mindre datasett enn det nye WikiHow-korpuset.

Konsekvenser

Den mulige langsiktige verdien av denne forskningsretningen (som IV-Sum deler med den bredere utfordringen av video-analyse) kunne være å gjøre instruksjonsvideo-klipp mer tilgjengelige for konvensjonell søkemotor-indeksering, og å muliggjøre den type reductive in-results ‘snippet’ for videoer som Google ofte trekker ut fra en lengre konvensjonell artikkel.

Det er åpenbart at utviklingen av noe AI-basert prosess som reduserer vår plikt til å bruke lineær og eksklusiv oppmerksomhet på video-innhold kunne ha konsekvenser for tiltrekningen av mediumet til en generasjon av markedsførere som for hvem opasiteten av video var kanskje den eneste måten de følte de kunne eksklusivt engasjere oss.

Med plasseringen av ‘verdi-fulle’ innhold vanskelig å fastslå, har bruker-generert video nydt en vid (om enn motvillig) toleranse fra mediakonsumenter i forhold til produkt-plassering, sponsor-lommer og den generelle selv-forhøyelse i hvilken en videos verdi-proposisjon ofte er innkapslet. Prosjekter som IV-Sum holder løftet om at til slutt vil under-fasetter av video-innhold bli granulære og skillebare fra hva mange regner som ‘ballast’ av innhold-reklame og ikke-innhold-improvisasjon.

Først publisert 16. august 2022. Oppdatert 14.52 16. august, fjernet duplikat-setning.