Andersonin kulma

Tekoäly pitkien ohjevideoiden tiivistämisessä

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatIV-Sum käyttää WikiHow'n jäsenneltyjä tiivistelmiä perustotuutena opettaakseen…
Näytä lisää
  • IV-Sum käyttää WikiHow'n jäsenneltyjä tiivistelmiä perustotuutena opettaakseen videoiden tiivistämistä ilman manuaalista merkitsemistä.
  • Järjestelmä hylkää mainossisällön ja epäolennaiset osat tuottaakseen tiivistelmiä, joiden kesto on murto-osa alkuperäisestä.
  • Puheen ja visuaalisen aineiston välinen poikkimodaalinen huomioarvo auttaa IV-Sumia tunnistamaan keskeiset vaiheet useiden ohjevideoiden välillä.

Jos nopeutat YouTuben ohjevideoita päästäksesi haluamaasi tietoon, etsit olennaiset asiat pitkistä ja usein sponsoriosuuksia sisältävistä videoista litteroinnin avulla tai toivot WikiHow’n laatineen ohjeista nopeammin luettavan version, UC Berkeleyn, Google Researchin ja Brownin yliopiston uusi hanke voi kiinnostaa sinua.

Projektin nimi on TL;DW? Tiivistämällä ohjevideoita tehtävän merkityksellisyyden ja ristimodaalisen merkittävyyden avulla, ja uudessa tutkimuksessa kerrotaan tekoälyavusteisen videotiivistelmän kehittämisestä, joka voi tunnistaa olennaiset vaiheet videosta ja hylätä kaiken muun, jolloin syntyy lyhyitä tiivistelmiä, jotka nopeasti pääsevät asiaan.

WikiHow:n hyödyntäminen olemassa olevista pitkistä videoista sekä teksti- ja videoinformaatiota varten käytetään IV-Sum-projektissa luomaan pseudotiivistelmiä, jotka antavat vertailuaineiston järjestelmän koulutukseen. Lähde: https://arxiv.org/pdf/2208.06773.pdf

WikiHow:n hyödyntäminen olemassa olevista pitkistä videoista sekä teksti- ja videoinformaatiota varten käytetään IV-Sum-projektissa luomaan pseudotiivistelmiä, jotka antavat vertailuaineiston järjestelmän koulutukseen. Lähde: https://arxiv.org/pdf/2208.06773.pdf

Tuloksena olevat tiivistelmät ovat vain murto-osa alkuperäisen videon kestosta, ja monimodaalinen (eli tekstipohjainen) tieto tallennetaan myös prosessin aikana, jotta tulevaisuuden järjestelmät voivat mahdollisesti automatisoida WikiHow-tyylisen blogipostauksen luomisen, joka pystyy automaattisesti purkamaan pitkän “miten tehdä” -videon lyhyeksi ja haettavaksi artikkeliksi, jossa on kuvia, mikä voi säästää aikaa ja ärsytystä.

Uusi järjestelmä on nimeltään IV-Sum (‘Ohjevideon tiivistin’), ja se käyttää avoimen lähdekoodin ResNet-50 -konenäön tunnistusalgoritmia, muun muassa, erottamaan olennaiset kehykset ja segmentit pitkästä lähdevideosta.

IV-Sum:n käsitteellinen työnkulku.

IV-Sum:n käsitteellinen työnkulku.

Järjestelmä on koulutettu pseudo-tiivistelmillä, jotka on luotu WikiHow-sivuston sisällön rakenteesta, jossa ihmiset usein hyödyntävät suosittuja ohjevideoita tasaisemmassa, tekstipohjaisessa multimedia-muodossa, usein käyttäen lyhyitä klippejä ja animoituja GIF-kuvia alkuperäisistä ohjevideoista.

Projektin kirjoittajat toteavat WikiHow:n tiivistelmien käytöstä vertailuaineiston lähteenä järjestelmälle:

‘Jokainen artikkeli WikiHow Videos -sivustolla koostuu pääasiassa ohjevideosta, joka osoittaa tehtävän, joka usein sisältää mainosmateriaalia, klippejä opettajasta, joka puhuu kameraan ilman visuaalista tietoa tehtävästä, ja vaiheita, jotka eivät ole välttämättömiä tehtävän suorittamiseksi.

‘Katsojat, jotka haluavat yleiskatsauksen tehtävästä, haluaisivat lyhyemmän videon ilman kaikkea mainittua merkityksettömää tietoa. WikiHow-artikkelit (esim. ks. Miten tehdä sushi-riisi) sisältävät täsmälleen tämän: vastaavan tekstin, joka sisältää kaikki tärkeät vaiheet videossa, joissa on liitetty kuvia/klippejä, jotka havainnollistavat eri vaiheita tehtävässä.’

Tuloksena oleva tietokanta tästä verkkoharavoinnista on nimeltään WikiHow Summaries. Tietokanta koostuu 2 106 syötteenä olevasta videosta ja niiden liittyvistä tiivistelmistä. Tämä on huomattavasti suurempi tietokannan koko kuin mitä yleensä on käytettävissä videotiivistelmäprojekteissa, jotka yleensä vaativat kalliita ja työläitä manuaalisia merkintöjä ja annotaatioita – prosessi, joka on suurelta osin automatisoitu uudessa työssä ohjevideoiden tiivistämisen rajatumman soveltamisalan ansiosta yleisten videoiden sijaan.

IV-Sum hyödyntää ajallisia 3D-konvoluutioneuroverkkojen esityksiä, sen sijaan, että se käyttäisi kehyksipohjaisia edustuksia, jotka ovat tyypillisiä aiemmille samankaltaisille töille, ja ablaatiotutkimus, joka on yksityiskohtaisesti selostettu tutkimuksessa, vahvistaa, että kaikki tämän lähestymistavan osat ovat välttämättömiä järjestelmän toiminnalle.

IV-Sum testattiin myönteisesti useita vertailukelpoisia kehyksiä vastaan, mukaan lukien CLIP-It (jota useat tutkimuksen kirjoittajista myös työskentelivät).

IV-Sum saa hyvät tulokset vertailtavissa kehyksissä, mahdollisesti sen rajoitetun soveltamisalan vuoksi, verrattuna yleiseen videotiivistelmäaloitteeseen. Mittareiden ja pisteytysmenetelmien yksityiskohdat ovat jäljempänä tässä artikkelissa.

IV-Sum saa hyvät tulokset vertailtavissa kehyksissä, mahdollisesti sen rajoitetun soveltamisalan vuoksi, verrattuna yleisiin videoiden tiivistyshankkeisiin. Mittareiden ja pisteytysmenetelmien yksityiskohdat ovat jäljempänä tässä artikkelissa.

Menetelmä

Tiivistämisen prosessin ensimmäinen vaihe sisältää melko vähän vaivaa vaativan, heikosti valvottavan algoritmin käytön pseudo-tiivistelmien ja kuvakohtaisten tärkeyspisteiden luomiseksi suurelta määrältä verkosta kerättyjä ohjevideoita, joissa on vain yksi tehtävänimike kussakin videossa.

Seuraavaksi ohjeistuksen tiivistämisverkko koulutetaan tällä datalla. Järjestelmä ottaa auto-transkriboituneen puheen (esimerkiksi YouTube:n oman tekoälyllä generoidun videon tekstityksen) ja lähdevideon syötteenä.

Verkko koostuu videon koodaajasta ja segmenttien pisteytykseen tarkoitetusta transformerista (SST), ja koulutus ohjataan pseudo-tiivistelmien määrittämien tärkeyspisteiden avulla. Lopullinen tiivistelmä luodaan liittämällä yhteen segmentit, jotka saavuttivat korkean tärkeyspistemäärän.

Tutkimuksesta:

‘Pääintuition taustalla oleva pseudo-tiivistelmien generoimisputki on, että annettaessa useita videoita tehtävästä, tehtävän kannalta tärkeät vaiheet ovat todennäköisesti mukana useissa videoissa (tehtävän merkityksellisyys).

‘Lisäksi, jos vaihe on tärkeä, on tyypillistä, että opettaja puhuu tästä vaiheesta joko ennen, aikana tai jälkeen sen suorittamisen. Siksi automaattisella puheentunnistuksella (ASR) saadut tekstitykset todennäköisesti viittaavat näihin keskeisiin vaiheisiin (ristimodaalinen merkittävyys).’

Pseudo-tiivistelmän generoimiseen videon on jaettava yhdenmukaisesti segmentteihin, ja segmentit ryhmitellään visuaalisen samankaltaisuuden perusteella 'vaiheiksi' (eriväriset kuvat yllä). Nämä vaiheet sitten saavat tärkeyspisteet perustuen 'tehtävän merkityksellisyyteen' ja 'ristimodaaliseen merkittävyyteen' (eli ASR-tekstin ja kuvien välinen korrelaatio). Korkeat arvosanat saaneet vaiheet valitaan edustamaan pseudo-tiivistelmän vaiheita.

Pseudo-tiivistelmän generoimiseen videon on jaettava yhdenmukaisesti segmentteihin, ja segmentit ryhmitellään visuaalisen samankaltaisuuden perusteella ‘vaiheiksi’ (eri värit yllä olevassa kuvassa). Vaiheille annetaan sitten tärkeyspisteet tehtävän kannalta olennaisuuden ja ristimodaalisen merkittävyyden eli ASR-tekstin ja kuvien välisen korrelaation perusteella. Korkeimmat pisteet saaneet vaiheet valitaan pseudotiivistelmän osiksi.

Järjestelmä käyttää Ristimodaalista merkittävyyttä avustamaan kunkin vaiheen merkityksellisyyden määrittämistä vertaamalla tulkitsemaa puhetta kuvien ja toimien kanssa videossa. Tämä saavutetaan käyttämällä esikoulutettua video-teksti-mallia, jossa kunkin elementin yhdessä koulutetaan MIL-NCE-häviöfunktion alaisena, käyttäen 3D CNN-videonkoodaajaa, jonka ovat kehittäneet muun muassa DeepMind.

Yleinen tärkeyspistemäärä saadaan laskemalla keskiarvo näistä tehtävän merkityksellisyyden ja ristimodaalisen analyysin vaiheista.

Data

Alkuperäinen pseudo-tiivistelmien tietokanta luotiin prosessia varten, joka koostui suurimmasta osasta kahden aikaisemman tietokannan sisällöstä – COIN, vuoden 2019 aineisto, joka sisälsi 11 000 videota, jotka liittyivät 180 tehtävään; ja Cross-Task, joka sisälsi 4 700 ohjeistusvideota, joista 3 675 käytettiin tutkimuksessa. Cross-Task sisälsi 83 eri tehtävää.

Ylempänä esimerkkejä COIN:ista; alhaalla Cross-Taskista. Lähteet vastaavasti: https://arxiv.org/pdf/1903.02874.pdf ja https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Ylempänä esimerkkejä COIN:ista; alhaalla Cross-Taskista. Lähteet vastaavasti: https://arxiv.org/pdf/1903.02874.pdf ja https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Tutkijat pystyivät näin ollen hankkimaan 12 160 videota laskemalla molemmissa aineistoissa esiintyvät videot vain kerran. Videot kattoivat 263 eri tehtävää, ja 628,53 tuntia sisältöä tietokantaansa.

WikiHow-pohjaisen tietokannan täyttämiseksi ja antamaan vertailuaineiston järjestelmälle, tutkijat keräsivät WikiHow Videos -sivustolta kaikki pitkät ohjevideot yhdessä niiden kanssa liittyvien kuvien ja videojen (eli GIF-kuva) kanssa, jotka liittyivät kunkin vaiheen. Näin WikiHow:n johdettujen sisältöjen rakenne toimi mallina vaiheiden erottamiseen uudessa järjestelmässä.

ResNet50:llä poimittujen piirteiden avulla etsittiin WikiHow’n kuvista valittuja videokohtia vastaavat osat ja paikannettiin vaiheet. Viiden sekunnin videoikkunasta löydettyä samankaltaisinta kuvaa käytettiin ankkuripisteenä.

Nämä lyhyemmät klipit liitettiin yhteen videoiksi, jotka muodostaisivat vertailuaineiston järjestelmän koulutukseen.

Syötevideon jokaiselle kuvalle annettiin binäärinen merkintä siitä, kuuluiko se tiivistelmään. Lisäksi segmentin kaikkien kuvien tärkeyspisteistä laskettiin keskimääräinen tiivistelmäpistemäärä.

Tässä vaiheessa “vaiheet” kussakin ohjevideossa liitettiin tekstipohjaisiin tietoihin ja merkitty.

Koulutus, testit ja mittarit

Lopullinen WikiHow-aineisto jaettiin 1 339 testivideoon ja 768 validointivideoon. Se on huomattavasti suurempi kuin videoanalyysiin tarkoitettu käsitelty aineisto keskimäärin.

Videon ja tekstin koodaajat uudessa verkossa koulutettiin yhdessä S3D -verkolla, jossa painot olivat ladattu esikoulutetusta HowTo100M -mallista MIL-NCE-häviöfunktion alaisena.

Malli koulutettiin Adam-optimoidulla 0,01 oppimisnopeudella ja 24 kappaleen eräkoossa, ja Distributed Data Parallel -linkki jakoi koulutuksen kahdeksan NVIDIA RTX 2080 -näytönohjaimen ympärille, yhteensä 24 Gt:ta jakautunutta VRAM:ia.

IV-Sumia verrattiin CLIP-Itin eri asetuksiin samankaltaisten aiempien tutkimusten mukaisesti, mukaan lukien CLIP-Itiä koskeva tutkimus. Mittareina käytettiin täsmällisyyttä (Precision), saantia (Recall) ja F-pisteitä kolmella ohjaamattomalla vertailumenetelmällä; yksityiskohdat ovat tutkimuksessa.

Tulokset on lueteltu aiemmassa kuvassa, mutta tutkijat toteavat, että CLIP-It jättää puuttumaan useita mahdollisia vaiheita eri vaiheissa testeissä, joita IV-Sum ei jätä puuttumaan. He toteavat tämän johtuvan siitä, että CLIP-It on koulutettu ja kehitetty käyttäen huomattavasti pienempiä tietokantoja kuin uusi WikiHow-korpus.

Vaikutukset

Tämän tutkimussuunnan mahdollinen pitkän aikavälin arvo — joka liittyy myös videoanalyysin laajempaan haasteeseen — voisi olla ohjevideoiden parempi indeksoitavuus tavallisissa hakukoneissa. Se voisi mahdollistaa videoista samanlaisia hakutulosten katkelmia, joita Google poimii pitkistä tekstiartikkeleista.

Luonnollisesti minkä tahansa sellaisen tekoälyavusteisen menetelmän kehitys, joka vähentää tarvetta seurata videota keskeytyksettä alusta loppuun, voi vaikuttaa videon houkuttelevuuteen markkinoijien silmissä. Heille videon vaikea läpinäkyvyys saattoi olla ainoa keino saada katsojan jakamaton huomio.

Kun arvokkaan sisällön sijaintia on vaikea määrittää, katsojat ovat sietäneet laajasti, vaikkakin vastahakoisesti, tuotesijoittelua, sponsoriosuuksia ja tekijöiden oman toiminnan korostamista, joiden sekaan videon varsinainen hyöty usein kätkeytyy. IV-Sumin kaltaiset hankkeet lupaavat, että videosisällön osat voidaan lopulta erotella tarkasti siitä, mitä monet pitävät painolastina: sisällön sekaan sijoitetusta mainonnasta ja asiaan kuulumattomasta improvisoinnista.

 

Julkaistu ensimmäisen kerran 16. elokuuta 2022. Päivitetty 16. elokuuta klo 14.52, poistettu toistuva lause.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai