Käyttäen tekoälyä yksityiskohtaisten “miten tehdä” -videojen tiivistämiseen

Jos olet sellainen, joka nopeuttaa YouTube-videon “miten tehdä” -ohjetta saadaksesi tietoon, mitä haluat; konsultoi videon transkriptiä saadaksesi olennaisen tiedon pitkien ja usein sponsorien käyttämien ajankohtien keskuudesta; tai toivoo, että WikiHow olisi luonut vähemmän aikaa vievän version ohjeista videossa; sitten uusi projekti UC Berkeleyltä, Google Researchilta ja Brown Universitylta saattaa olla sinulle mielenkiintoinen.

Projektin nimi on TL;DW? Tiivistämällä ohjevideoita tehtävän merkityksellisyyden ja ristimodaalisen merkittävyyden avulla, ja uudessa tutkimuksessa kerrotaan tekoälyavusteisen videotiivistelmän kehittämisestä, joka voi tunnistaa olennaiset vaiheet videosta ja hylätä kaiken muun, jolloin syntyy lyhyitä tiivistelmiä, jotka nopeasti pääsevät asiaan.

WikiHow:n hyödyntäminen olemassa olevista pitkistä videoista sekä teksti- ja videoinformaatiota varten käytetään IV-Sum-projektissa luomaan väärä tiivistelmä, joka antaa perustiedon järjestelmän koulutukseen. Lähde: https://arxiv.org/pdf/2208.06773.pdf

Tuloksena olevat tiivistelmät ovat vain murto-osa alkuperäisen videon kestosta, ja monimodaalinen (eli tekstipohjainen) tieto tallennetaan myös prosessin aikana, jotta tulevaisuuden järjestelmät voivat mahdollisesti automatisoida WikiHow-tyylisen blogipostauksen luomisen, joka pystyy automaattisesti purkamaan pitkän “miten tehdä” -videon lyhyeksi ja haettavaksi artikkeliksi, jossa on kuvia, mikä voi säästää aikaa ja ärsytystä.

Uusi järjestelmä on nimeltään IV-Sum (‘Ohjevideon tiivistin’), ja se käyttää avoimen lähdekoodin ResNet-50 -tietokoneen näköhavainnon algoritmiä, muun muassa, erottamaan olennaiset kehykset ja segmentit pitkästä lähdevideosta.

IV-Sum:n käsitteellinen työnkulku.

Järjestelmä on koulutettu pseudo-tiivistelmillä, jotka on luotu WikiHow-sivuston sisällön rakenteesta, jossa ihmiset usein hyödyntävät suosittuja ohjevideoita tasaisemmassa, tekstipohjaisessa multimedia-muodossa, usein käyttäen lyhyitä klippejä ja animoituja GIF-kuvia alkuperäisistä ohjevideoista.

Projektin kirjoittajat toteavat WikiHow:n tiivistelmien käytöstä perustiedon lähteenä järjestelmälle:

‘Jokainen artikkeli WikiHow Videos -sivustolla koostuu pääasiassa ohjevideosta, joka osoittaa tehtävän, joka usein sisältää mainosmateriaalia, klippejä opettajasta, joka puhuu kameraan ilman visuaalista tietoa tehtävästä, ja vaiheita, jotka eivät ole välttämättömiä tehtävän suorittamiseksi.

‘Katsojat, jotka haluavat yleiskatsauksen tehtävästä, haluaisivat lyhyemmän videon ilman kaikkea mainittua merkityksettömää tietoa. WikiHow-artikkelit (esim. ks. Miten tehdä sushi-riisi) sisältävät täsmälleen tämän: vastaavan tekstin, joka sisältää kaikki tärkeät vaiheet videossa, joissa on liitetty kuvia/klippejä, jotka havainnollistavat eri vaiheita tehtävässä.’

Tuloksena oleva tietokanta tästä verkkokalastelusta on nimeltään WikiHow Summaries. Tietokanta koostuu 2 106 syötteenä olevasta videosta ja niiden liittyvistä tiivistelmistä. Tämä on huomattavasti suurempi tietokannan koko kuin mitä yleensä on käytettävissä videotiivistelmäprojekteissa, jotka yleensä vaativat kalliita ja työläitä manuaalisia merkintöjä ja annotaatioita – prosessi, joka on suurelta osin automatisoitu uudessa työssä WikiHow:n rajoitetun piirin tiivistämisen ansiosta.

IV-Sum hyödyntää aikasarja-3D-konvoluutioneuraaliverkkoedustuksia, sen sijaan, että se käyttäisi kehyksipohjaisia edustuksia, jotka ovat tyypillisiä aiemmille samankaltaisille töille, ja poistumistutkimus, joka on yksityiskohtaisesti selostettu tutkimuksessa, vahvistaa, että kaikki tämän lähestymistavan osat ovat välttämättömiä järjestelmän toiminnalle.

IV-Sum testattiin myönteisesti useita vertailukelpoisia kehyksiä vastaan, mukaan lukien CLIP-It (jota useat tutkimuksen kirjoittajista myös työskentelivät).

IV-Sum saa hyvät tulokset vertailtavissa kehyksissä, mahdollisesti sen rajoitetun soveltamisalan vuoksi, verrattuna yleiseen videotiivistelmäaloitteeseen.

Menetelmä

Tiivistämisen prosessin ensimmäinen vaihe sisältää melko vähän vaivaa vaativan, heikosti valvottavan algoritmin käytön pseudo-tiivistelmien ja kehyksikohtaisen tärkeysosamäärien luomiseksi suurelta määrältä verkkokalasteltuja ohjevideoita, joissa on vain yksi tehtävänimike kussakin videossa.

Seuraavaksi ohjeistuksen tiivistämisverkko koulutetaan tällä datalla. Järjestelmä ottaa auto-transkriboituneen puheen (esimerkiksi YouTube:n oman tekoälyllä generoidun videon tekstityksen) ja lähdevideon syötteenä.

Verkko koostuu videon koodaajasta ja segmentin arvioimisesta transformerista (SST), ja koulutus ohjataan pseudo-tiivistelmien määrittämien tärkeysosamäärien avulla. Lopullinen tiivistelmä luodaan liittämällä yhteen segmentit, jotka saavuttivat korkean tärkeysosamäärän.

Tutkimuksesta:

‘Pääintuition taustalla oleva pseudo-tiivistelmien generoimisputki on, että annettaessa useita videoita tehtävästä, tehtävän kannalta tärkeät vaiheet ovat todennäköisesti mukana useissa videoissa (tehtävän merkityksellisyys).

‘Lisäksi, jos vaihe on tärkeä, on tyypillistä, että opettaja puhuu tästä vaiheesta joko ennen, aikana tai jälkeen sen suorittamisen. Siksi videon alkuaineista saatujen tekstien (ASR) viittaukset näihin avainvaiheisiin ovat todennäköisesti mukana (ristimodaalinen merkittävyys).’

Pseudo-tiivistelmän generoimiseen videon on jaettava yhdenmukaisesti segmentteihin, ja segmentit ryhmitellään visuaalisen samankaltaisuuden perusteella ‘vaiheiksi’ (eriväriset kuvat yllä).

Järjestelmä käyttää Ristimodaalista merkittävyyttä avustamaan kunkin vaiheen merkityksellisyyden määrittämistä vertaamalla tulkitsemaa puhetta kuvien ja toimien kanssa videossa. Tämä saavutetaan käyttämällä esikoulutettua video-teksti-mallia, jossa kunkin elementin yhdessä koulutetaan MIL-NCE-hävikin alaisena, käyttäen 3D CNN-videonkoodaajaa, jonka ovat kehittäneet muun muassa DeepMind.

Yleinen tärkeysosamäärä saadaan laskemalla keskiarvo näistä tehtävän merkityksellisyyden ja ristimodaalisen analyysin vaiheista.

Data

Alkuperäinen pseudo-tiivistelmien tietokanta luotiin prosessia varten, joka koostui suurimmasta osasta kahden aikaisemman tietokannan sisällöstä – COIN, joka sisälsi 11 000 videota, jotka liittyivät 180 tehtävään; ja Cross-Task, joka sisälsi 4 700 ohjeistusvideota, joista 3 675 käytettiin tutkimuksessa. Cross-Task sisälsi 83 eri tehtävää.

Ylempänä esimerkkejä COIN:ista; alhaalla Cross-Taskista. Lähteet vastaavasti: https://arxiv.org/pdf/1903.02874.pdf ja https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Tutkijat pystyivät näin ollen hankkimaan 12 160 videota, jotka kattoivat 263 eri tehtävää, ja 628,53 tuntia sisältöä tietokantaansa.

WikiHow-pohjaisen tietokannan täyttämiseksi ja antamaan perustiedon järjestelmälle, tutkijat kalastelivat WikiHow Videos -sivustolta kaikki pitkät ohjevideot yhdessä niiden kanssa liittyvien kuvien ja videojen (eli GIF-kuva) kanssa, jotka liittyivät kunkin vaiheen. Näin WikiHow:n johdettujen sisältöjen rakenne toimi mallina vaiheiden erottamiseen uudessa järjestelmässä.

ResNet50:stä poimittuja piirteitä käytettiin WikiHow-kuvien valittujen videoiden osien ristiriitoon ja vaiheiden lokalisoimiseen. Saadun kuvan sisällä 5 sekunnin videon aikana käytettiin ankkuripistettä.

Nämä lyhyemmät klipit liitettiin yhteen videoiksi, jotka muodostaisivat perustiedon järjestelmän koulutukseen.

Merkitsemät luotiin kunkin syötteenä olevan videon jokaiselle kehykselle, jotta ne ilmoittaisivat, kuuluvatko ne syötteen tiivistelmään vai eivät, ja kunkin videon tutkijat saivat kehyksikohtaisen binäärimerkinnän ja tiivistelmän keskiarvon, joka saatiin kunkin kehyksen tärkeysosamäärien kautta.

Tässä vaiheessa “vaiheet” kussakin ohjevideossa liitettiin tekstipohjaisiin tietoihin ja merkitty.

Koulutus, testit ja mittarit

Lopullinen WikiHow-tietokanta jaettiin 1 339 testivideoksi ja 768 validointivideoksi – huomattava lisäys keskimääräiseen ei-raaka-aineiden määrään, jotka on omistettu videoanalyysiin.

Videon ja tekstin koodaajat uudessa verkossa koulutettiin yhdessä S3D -verkolla, jossa painot olivat ladattu esikoulutetusta HowTo100M -mallista MIL-NCE-hävikin alaisena.

Malli koulutettiin Adam-optimoidulla 0,01 oppimisnopeudella ja 24 kappaleen eräkoossa, ja Distributed Data Parallel -linkki jakoi koulutuksen kahdeksan NVIDIA RTX 2080 -näytönohjaimen ympärille, yhteensä 24 Gt:ta jakautunutta VRAM:ia.

IV-Sum verrattiin useisiin skenaarioihin CLIP-It:n kanssa, mukaan lukien tutkimus CLIP-It:stä. Käytetyt mittarit olivat tarkkuus, palautus ja F-piste-arvot kolmessa valvomattomassa vertailukohteessa (ks. tutkimus yksityiskohtia varten).

Tulokset on lueteltu aiemmassa kuvassa, mutta tutkijat toteavat, että CLIP-It jättää puuttumaan useita mahdollisia vaiheita eri vaiheissa testeissä, joita IV-Sum ei jätä puuttumaan. He toteavat tämän johtuvan siitä, että CLIP-It on koulutettu ja kehitetty käyttäen huomattavasti pienempiä tietokantoja kuin uusi WikiHow-korpus.

Vaikutukset

Tutkimuksen pitkän aikavälin arvoinen arvo (jota IV-Sum jakaa laajemman videon analyysin haasteen kanssa) voisi olla se, että ohjeistusvideot muuttuvat helpommin saataviksi perinteisten hakukoneiden indeksoinnille, ja mahdollistaa hakutuloksissa olevan “otteen” videota varten, jonka Google usein poimii pidemmästä artikkelista.

Ilmeisesti, minkä tahansa tekoälyavusteisen prosessin kehittäminen, joka vähentää velvollisuuttamme soveltaa lineaarista ja eksklusiivista huomiota videoon, voisi vaikuttaa median vetovoimaa markkinoijille, joille videon epäselvyys oli ehkä ainoa tapa, jolla he kokivat voivansa meihin eksklusiivisesti.

IV-Sum -projektien kaltaiset projektit lupaavat, että videon sisällön alitekijät tulevat lopulta hienorakeisiksi ja erottuviksi siitä, mitä monet pitävät “lastina” sisällön mainonnasta ja ei-sisällön improvisaatiosta.

Julkaistu ensimmäisen kerran 16. elokuuta 2022. Päivitetty 16. elokuuta klo 14.52, poistettu toistuva lause.