Användning av AI för att sammanfatta långa “Hur man”-videor

Om du är den typen som vrider upp hastigheten på en YouTube-instruktionsvideo för att komma till den information du faktiskt vill ha; konsulterar videons transkript för att få den väsentliga informationen som gömmer sig i de långa och ofta sponsrade speltiderna; eller hoppas att WikiHow har skapat en mindre tidskrävande version av informationen i den instruktiva videon; då kan ett nytt projekt från UC Berkeley, Google Research och Brown University vara av intresse för dig.

Med titeln TL;DW? Sammanfattning av instruktionsvideor med uppgiftsrelevans och cross-modalt saliency, beskriver den nya artikeln skapandet av ett AI-baserat videosammanfattningsystem som kan identifiera relevanta steg från videon och kasta allt annat, vilket resulterar i korta sammanfattningar som snabbt kommer till saken.

WikiHow’s utnyttjande av befintliga långa videoklipp för både text- och videoinformation används av IV-Sum-projektet för att generera falska sammanfattningar som tillhandahåller grundningen för att träna systemet. Källa: https://arxiv.org/pdf/2208.06773.pdf

De resulterande sammanfattningarna har en bråkdel av den ursprungliga videons speltid, medan multimodalt (dvs. textbaserad) information också spelas in under processen så att framtida system potentiellt kan automatisera skapandet av WikiHow-liknande blogginlägg som kan automatiskt tolka en lång “hur-man”-video till en kort och sökbar artikel, komplett med illustrationer, vilket potentiellt kan spara tid och frustration.

Det nya systemet kallas IV-Sum (‘Instruktionsvideo-sammanfattare’), och använder den öppna källkods- ResNet-50 datorseende-igenkänningsalgoritmen, bland flera andra tekniker, för att individuera relevanta ramar och segment av en lång källvideo.

Den konceptuella arbetsflödet för IV-Sum.

Systemet tränas på pseudo-sammanfattningar genererade från innehållsstrukturen på WikiHow-webbplatsen, där riktiga människor ofta utnyttjar populära instruktionsvideor till en plattare, textbaserad multimediaform, ofta med korta klipp och animerade GIF:er från käll-instruktionsvideor.

När man diskuterar projektets användning av WikiHow-sammanfattningar som en källa till grunddata för systemet, skriver författarna:

‘Varje artikel på WikiHow Videos-webbplatsen består av en huvudinstruktionsvideo som demonstrerar en uppgift som ofta innehåller reklammaterial, klipp av instruktören som talar till kameran utan visuell information om uppgiften, och steg som inte är avgörande för att utföra uppgiften.

‘Tittare som vill ha en översikt av uppgiften föredrar en kortare video utan all ovannämnd irrelevant information. WikiHow-artiklarna (t.ex. se Hur man gör sushi-ris) innehåller exakt detta: motsvarande text som innehåller alla viktiga steg i videon listade med åtföljande bilder/klipp som illustrerar olika steg i uppgiften.’

De resulterande databasen från denna webb-skräppning kallas WikiHow Sammanfattningar. Databasen består av 2 106 inmatningsvideor och deras relaterade sammanfattningar. Detta är en anmärkningsvärt större dataset än vad som vanligtvis är tillgängligt för videosammanfattningsprojekt, som normalt kräver dyra och arbetskrävande manuell märkning och annotering – en process som till stor del har automatiserats i det nya arbetet, tack vare den mer begränsade omfattningen av att sammanfatta instruktions- (snarare än allmänna) videor.

IV-Sum utnyttjar tidsmässiga 3D-convolutionella neurala nätverksrepresentationer, snarare än de ram-baserade representationer som kännetecknar tidigare liknande arbeten, och en avlägsenhetstudie som beskrivs i artikeln bekräftar att alla komponenterna i denna ansats är avgörande för systemets funktionalitet.

IV-Sum testade gynnsamt mot olika jämförbara ramverk, inklusive CLIP-It (som flera av artikelförfattarna också arbetade med).

IV-Sum presterar bra mot jämförbara metoder, möjligen på grund av dess mer begränsade tillämpningsområde, i jämförelse med den allmänna trenden av video-sammanfattningsinitiativ. Information om mått och poängsättningsmetoder längre ner i den här artikeln.

Metod

Den första etappen i sammanfattningsprocessen innefattar att använda en relativt låg-insats, svagt övervakad algoritm för att skapa pseudo-sammanfattningar och ram-vise viktighetspoäng för ett stort antal webb-skräppta instruktionsvideor, med endast en enda uppgiftsetikett i varje video.

Nästa steg är att träna ett instruktions-sammanfattningsnätverk på denna data. Systemet tar auto-transkriberad tal (t.ex. YouTubes eget AI-genererade undertexter för videon) och käll-videon som indata.

Nätverket består av en video-encoder och en segment-poängtransformator (SST), och träningen styrs av viktighetspoängen som tilldelats i pseudo-sammanfattningarna. Den slutliga sammanfattningen skapas genom att konkatenera segment som uppnått en hög viktighetspoäng.

Från artikeln:

‘Huvudtanken bakom vår pseudo-sammanfattningsgenereringspipeline är att om man har många videor av en uppgift, är steg som är avgörande för uppgiften sannolikt att dyka upp i flera videor (uppgiftsrelevans).

‘Dessutom, om ett steg är viktigt, är det typiskt för demonstratören att tala om detta steg antingen före, under eller efter att ha utfört det. Därför kommer undertexterna för videon som erhållits med hjälp av automatisk taligenkänning (ASR) sannolikt att hänvisa till dessa nyckelsteg (cross-modalt saliency).’

För att generera pseudo-sammanfattningen delas videon först upp i segment, och segmenten grupperas baserat på deras visuella likhet i ‘steg’ (olika färger i bilden ovan). Dessa steg tilldelas viktighetspoäng baserat på ‘uppgiftsrelevans’ och ‘cross-modalt saliency’ (dvs. korrelationen mellan ASR-text och bilder). Högt poängsatta steg väljs sedan för att representera stadier i pseudo-sammanfattningen.

Systemet använder Cross-Modal Saliency för att hjälpa till att etablera relevansen för varje steg, genom att jämföra den tolkade talet med bilderna och handlingarna i videon. Detta uppnås genom användning av en förtränad video-textmodell där varje element är gemensamt tränad under MIL-NCE-förlust, med en 3D CNN-videoencoder utvecklad av bland andra DeepMind.

En allmän viktighetspoäng erhålls sedan från en beräknad genomsnitt av dessa uppgiftsrelevans- och cross-modala analysstadier.

Data

En initial pseudo-sammanfattningsdataset genererades för processen, bestående av större delen av innehållet i två tidigare dataset – COIN, en dataset från 2019 som innehåller 11 000 videor relaterade till 180 uppgifter; och Cross-Task, som innehåller 4 700 instruktionsvideor, varav 3 675 användes i forskningen. Cross-Task har 83 olika uppgifter.

Ovan, exempel från COIN; nedan, från Cross-Task. Källor, respektive: https://arxiv.org/pdf/1903.02874.pdf och https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Genom att använda videor som finns i båda dataseten bara en gång, kunde forskarna således erhålla 12 160 videor som omfattar 263 olika uppgifter, och 628,53 timmars innehåll för sin dataset.

För att fylla WikiHow-baserade datasetet, och för att tillhandahålla grundningen för systemet, skrapade forskarna WikiHow Videos för alla långa instruktionsvideor, tillsammans med deras bilder och videoklipp (dvs. GIF:er) associerade med varje steg. Således var strukturen på WikiHow’s härledda innehåll avsedd att tjäna som en mall för individueringen av steg i det nya systemet.

Funktioner som extraherats via ResNet50 användes för att kors-matches de utvalda sektionerna av video i WikiHow-bilder, och för att utföra lokaliseringssteg. Den mest liknande erhållna bilden inom en 5-sekunders videofönster användes som ankarpunkten.

De kortare klippen syddes sedan ihop till videor som skulle utgöra grundningen för utbildningen av modellen.

Etiketter tilldelades varje ram i inmatningsvideon, för att deklarera om de tillhörde inmatnings-sammanfattningen eller inte, med varje video som erhöll från forskarna en ram-nivå-binär-etikett, och en genomsnittlig sammanfattningspoäng erhölls via viktighetspoängen för alla ramar i segmentet.

Vid detta stadium var “stegen” i varje instruktionsvideo nu associerade med textbaserad data, och märkta.

Träning, tester och mått

Den slutliga WikiHow-dataseten delades upp i 1 339 test-videor och 768 validerings-videor – en anmärkningsvärt ökning av den genomsnittliga storleken på icke-raw-dataset för videoanalys.

Video- och text-encoder i det nya nätverket tränades gemensamt på ett S3D-nätverk med vikter laddade från en förtränad HowTo100M-modell under MIL-NCE-förlust.

Modellen tränades med Adam-optimisatorn vid en inlärningshastighet på 0,01 vid en batch-storlek på 24, med Distributed Data Parallel-länkning som sprider utbildningen över åtta NVIDIA RTX 2080 GPU:er, för totalt 24 GB distribuerat VRAM.

IV-Sum jämfördes sedan med olika scenarier för CLIP-It i enlighet med liknande tidigare arbeten, inklusive en studie på CLIP-It. Mått som användes var Precision, Recall och F-Score-värden, över tre oövervakade baslinjer (se artikeln för detaljer).

Resultaten listas i den tidigare bilden, men forskarna noterar dessutom att CLIP-It missar ett antal möjliga steg vid olika stadier i testerna som IV-Sum inte gör. De tillskriver detta till att CLIP-It har tränats och utvecklats med betydligt mindre dataset än den nya WikiHow-korpusen.

Implikationer

Den eventuella långsiktiga nyttan av denna forskningssträng (som IV-Sum delar med den bredare utmaningen av videoanalys) kunde vara att göra instruktionsvideo-klipp mer tillgängliga för konventionell sökmotor-indexering, och för att möjliggöra den typ av reduktiva in-results ‘snippet’ för videor som Google ofta extraherar från en längre konventionell artikel.

Det är uppenbart att utvecklingen av alla AI-baserade processer som minskar vår skyldighet att applicera linjär och exklusiv uppmärksamhet på videoinnehåll kan ha konsekvenser för attraktionen av mediet för en generation av marknadsförare för vilka opaciteten av video kanske var den enda vägen de kände att de kunde exklusivt engagera oss.

Med lokaliseringspunkten för “värdefullt” innehåll svår att fastställa, har användar-genererad video njutit av en bred (om än ovillig) tolerans från mediakonsumenter i förhållande till produktplacering, sponsorplatser och den allmänna självförhärligandet i vilket en videos värdeproposition ofta är så omfattande. Projekt som IV-Sum håller löftet att underlätta att sub-facetter av videoinnehåll kommer att bli granulära och separerbara från vad många anser vara “ballasten” av innehålls-reklam och icke-innehålls-improvisation.

Publicerad första gången 16:e augusti 2022. Uppdaterad 14:52 16:e augusti, borttagen dubblett-fras.