Andersons vinkel
Användning av AI för att sammanfatta långa “Hur man”-videor

Viktiga punkterIV-Sum använder WikiHows strukturerade sammanfattningar som grundsanning för att träna…
Visa mer
- IV-Sum använder WikiHows strukturerade sammanfattningar som grundsanning för att träna videosammanfattning utan manuell märkning.
- Systemet tar bort reklaminnehåll och icke-nödvändiga segment för att producera sammanfattningar på en bråkdel av den ursprungliga speltiden.
- Tvärmodal saliens mellan tal och bild hjälper IV-Sum att identifiera avgörande steg i flera instruktionsvideor.
Om du är den typen som vrider upp hastigheten på en YouTube-instruktionsvideo för att komma till den information du faktiskt vill ha; konsulterar videons transkript för att få den väsentliga informationen som gömmer sig i de långa och ofta sponsrade speltiderna; eller hoppas att WikiHow har skapat en mindre tidskrävande version av informationen i den instruktionsvideon; då kan ett nytt projekt från UC Berkeley, Google Research och Brown University vara av intresse för dig.
Med titeln TL;DW? Sammanfattning av instruktionsvideor med uppgiftsrelevans och modalitetsöverskridande relevans, beskriver den nya artikeln skapandet av ett AI-baserat videosammanfattningsystem som kan identifiera relevanta steg från videon och kasta allt annat, vilket resulterar i korta sammanfattningar som snabbt kommer till saken.

WikiHow’s utnyttjande av befintliga långa videoklipp för både text- och videoinformation används av IV-Sum-projektet för att generera pseudosammanfattningar som ger referensdata för att träna systemet. Källa: https://arxiv.org/pdf/2208.06773.pdf
De resulterande sammanfattningarna har en bråkdel av den ursprungliga videons speltid, medan multimodalt (dvs. textbaserad) information också spelas in under processen så att framtida system potentiellt kan automatisera skapandet av WikiHow-liknande blogginlägg som kan automatiskt tolka en lång “hur-man”-video till en kort och sökbar artikel, komplett med illustrationer, vilket potentiellt kan spara tid och frustration.
Det nya systemet kallas IV-Sum (‘Instruktionsvideo-sammanfattare’), och använder den öppna källkods- ResNet-50 datorseende-igenkänningsalgoritmen, bland flera andra tekniker, för att identifiera relevanta bildrutor och segment av en lång källvideo.
Systemet tränas på pseudo-sammanfattningar genererade från innehållsstrukturen på WikiHow-webbplatsen, där riktiga människor ofta utnyttjar populära instruktionsvideor till en plattare, textbaserad multimediaform, ofta med korta klipp och animerade GIF:er från käll-instruktionsvideor.
När man diskuterar projektets användning av WikiHow-sammanfattningar som en källa till grunddata för systemet, skriver författarna:
‘Varje artikel på WikiHow Videos-webbplatsen består av en huvudinstruktionsvideo som demonstrerar en uppgift som ofta innehåller reklammaterial, klipp av instruktören som talar till kameran utan visuell information om uppgiften, och steg som inte är avgörande för att utföra uppgiften.
‘Tittare som vill ha en översikt av uppgiften föredrar en kortare video utan all ovannämnd irrelevant information. WikiHow-artiklarna (t.ex. se Hur man gör sushi-ris) innehåller exakt detta: motsvarande text som innehåller alla viktiga steg i videon listade med åtföljande bilder/klipp som illustrerar olika steg i uppgiften.’
Den databas som skapas genom denna webbskrapning kallas WikiHow Sammanfattningar. Databasen består av 2 106 inmatningsvideor och deras relaterade sammanfattningar. Detta är en anmärkningsvärt större dataset än vad som vanligtvis är tillgängligt för videosammanfattningsprojekt, som normalt kräver dyra och arbetskrävande manuell märkning och annotering – en process som till stor del har automatiserats i det nya arbetet, tack vare den mer begränsade omfattningen av att sammanfatta instruktions- (snarare än allmänna) videor.
IV-Sum utnyttjar tidsmässiga 3D-convolutionella neurala nätverksrepresentationer, snarare än de ram-baserade representationer som kännetecknar tidigare liknande arbeten, och en ablationsstudie som beskrivs i artikeln bekräftar att alla komponenterna i denna ansats är avgörande för systemets funktionalitet.
IV-Sum testade gynnsamt mot olika jämförbara ramverk, inklusive CLIP-It (som flera av artikelförfattarna också arbetade med).

IV-Sum presterar bra mot jämförbara metoder, möjligen på grund av dess mer begränsade tillämpningsområde, i jämförelse med den allmänna trenden av video-sammanfattningsinitiativ. Information om mått och poängsättningsmetoder längre ner i den här artikeln.
Metod
Den första etappen i sammanfattningsprocessen innefattar att använda en relativt låg-insats, svagt övervakad algoritm för att skapa pseudo-sammanfattningar och bildvisa viktighetspoäng för ett stort antal webbskrapade instruktionsvideor, med endast en enda uppgiftsetikett i varje video.
Nästa steg är att träna ett instruktions-sammanfattningsnätverk på denna data. Systemet tar auto-transkriberad tal (t.ex. YouTubes eget AI-genererade undertexter för videon) och käll-videon som indata.
Nätverket består av en video-encoder och en transformermodell för poängsättning av segment (SST), och träningen styrs av viktighetspoängen som tilldelats i pseudo-sammanfattningarna. Den slutliga sammanfattningen skapas genom att konkatenera segment som uppnått en hög viktighetspoäng.
Från artikeln:
‘Huvudtanken bakom vår pseudo-sammanfattningsgenereringspipeline är att om man har många videor av en uppgift, är steg som är avgörande för uppgiften sannolikt att dyka upp i flera videor (uppgiftsrelevans).
‘Dessutom, om ett steg är viktigt, är det typiskt för demonstratören att tala om detta steg antingen före, under eller efter att ha utfört det. Därför kommer undertexterna för videon som erhållits med hjälp av automatisk taligenkänning (ASR) sannolikt att hänvisa till dessa nyckelsteg (modalitetsöverskridande relevans).’

För att generera pseudo-sammanfattningen delas videon först upp i segment, och segmenten grupperas baserat på deras visuella likhet i ‘steg’ (olika färger i bilden ovan). Dessa steg tilldelas viktighetspoäng baserat på ‘uppgiftsrelevans’ och ‘modalitetsöverskridande relevans’ (dvs. korrelationen mellan ASR-text och bilder). Högt poängsatta steg väljs sedan för att representera stadier i pseudo-sammanfattningen.
Systemet använder Cross-Modal Saliency för att hjälpa till att etablera relevansen för varje steg, genom att jämföra det tolkade talet med bilderna och handlingarna i videon. Detta uppnås genom användning av en förtränad video-textmodell där varje element är gemensamt tränad under MIL-NCE-förlust, med en 3D CNN-videoencoder utvecklad av bland andra DeepMind.
En allmän viktighetspoäng erhålls sedan från ett beräknat genomsnitt av dessa uppgiftsrelevans- och cross-modala analysstadier.
Data
En initial pseudo-sammanfattningsdataset genererades för processen, bestående av större delen av innehållet i två tidigare dataset – COIN, en dataset från 2019 som innehåller 11 000 videor relaterade till 180 uppgifter; och Cross-Task, som innehåller 4 700 instruktionsvideor, varav 3 675 användes i forskningen. Cross-Task har 83 olika uppgifter.

Ovan, exempel från COIN; nedan, från Cross-Task. Källor, respektive: https://arxiv.org/pdf/1903.02874.pdf och https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf
Genom att använda videor som finns i båda dataseten bara en gång, kunde forskarna således erhålla 12 160 videor som omfattar 263 olika uppgifter, och 628,53 timmars innehåll för sin dataset.
För att fylla WikiHow-baserade datasetet, och för att tillhandahålla referensdata för systemet, skrapade forskarna WikiHow Videos för alla långa instruktionsvideor, tillsammans med deras bilder och videoklipp (dvs. GIF:er) associerade med varje steg. Således var strukturen på WikiHow’s härledda innehåll avsedd att tjäna som en mall för individueringen av steg i det nya systemet.
Egenskaper som extraherats med ResNet50 användes för att matcha de utvalda videoavsnitten med WikiHow-bilderna och lokalisera stegen. Den mest liknande bilden inom ett fem sekunder långt videofönster användes som ankarpunkt.
De kortare klippen syddes sedan ihop till videor som skulle utgöra referensdata för utbildningen av modellen.
Etiketter tilldelades varje ram i inmatningsvideon, för att deklarera om de tillhörde inmatnings-sammanfattningen eller inte, med varje video som erhöll från forskarna en ram-nivå-binär-etikett, och en genomsnittlig sammanfattningspoäng erhölls via viktighetspoängen för alla ramar i segmentet.
Vid detta stadium var “stegen” i varje instruktionsvideo nu associerade med textbaserad data, och märkta.
Träning, tester och mått
Den slutliga WikiHow-dataseten delades upp i 1 339 testvideor och 768 valideringsvideor, vilket är betydligt större än den genomsnittliga bearbetade datamängden för videoanalys.
Video- och text-encoder i det nya nätverket tränades gemensamt på ett S3D-nätverk med vikter laddade från en förtränad HowTo100M-modell under MIL-NCE-förlust.
Modellen tränades med Adam-optimisatorn vid en inlärningshastighet på 0,01 vid en batch-storlek på 24, med Distributed Data Parallel-länkning som sprider utbildningen över åtta NVIDIA RTX 2080 GPU:er, för totalt 24 GB distribuerat VRAM.
IV-Sum jämfördes sedan med olika scenarier för CLIP-It i enlighet med liknande tidigare arbeten, inklusive en studie på CLIP-It. Mått som användes var Precision, Recall och F-Score-värden, över tre oövervakade baslinjer (se artikeln för detaljer).
Resultaten listas i den tidigare bilden, men forskarna noterar dessutom att CLIP-It missar ett antal möjliga steg vid olika stadier i testerna som IV-Sum inte gör. De tillskriver detta till att CLIP-It har tränats och utvecklats med betydligt mindre dataset än den nya WikiHow-korpusen.
Implikationer
Den eventuella långsiktiga nyttan av denna forskningssträng (som IV-Sum delar med den bredare utmaningen av videoanalys) kunde vara att göra instruktionsvideo-klipp mer tillgängliga för konventionell sökmotor-indexering, och för att möjliggöra den typ av reduktiva utdrag i sökresultaten för videor som Google ofta extraherar från en längre konventionell artikel.
Det är uppenbart att utvecklingen av alla AI-baserade processer som minskar vår skyldighet att applicera linjär och exklusiv uppmärksamhet på videoinnehåll kan ha konsekvenser för attraktionen av mediet för en generation av marknadsförare för vilka opaciteten av video kanske var den enda vägen de kände att de kunde exklusivt engagera oss.
Med lokaliseringspunkten för “värdefullt” innehåll svår att fastställa, har användargenererad video njutit av en bred (om än ovillig) tolerans från mediakonsumenter i förhållande till produktplacering, sponsorplatser och det allmänna självförhärligande som ofta omger en videos egentliga värde. Projekt som IV-Sum ger hopp om att olika delar av videoinnehåll till slut kan särskiljas och skiljas från det som många ser som barlast: inbakad reklam och ovidkommande utvikningar.
Publicerad första gången 16:e augusti 2022. Uppdaterad 14:52 16:e augusti, borttagen dubblett-fras.













