Uusi AI-pohjainen työkalu mahdollistaa videoiden editoinnin teemoittuneista tekstidokumenteista

Tiimillä tietokoneen tieteen tutkijoita Tsinghuasta ja Beihand yliopistosta Kiinassa, IDC Herzilyasta Israelissa ja Harvardin yliopistosta on vastikään luonut työkalun, joka luo editoituja videoita tekstikuvauksen ja videoklipin valikoiman perusteella.

Valtavat määrät videoaineistoa tallennetaan joka päivä ammattivideokuvaajien, harrastelijoiden ja tavallisten ihmisten toimesta. Kuitenkin videoiden editointi esitykseksi, joka on merkityksellinen, on edelleen kallista ajan investointia, usein vaativaa monimutkaisia editointityökaluja, joilla voidaan muokata raakavideota. Kansainvälinen tutkijaryhmä on kehittänyt työkalun, joka ottaa teemoittuneen tekstikuvauksen ja luo videoita sen perusteella. Työkalu pystyy tarkastelemaan videoklippejä valikoimassa ja valitsemaan klipit, jotka vastaavat syötettyä tekstikuvauksesta kertovaa tarinaa. Tavoitteena on, että työkalu on käyttäjäystävällinen ja tarpeeksi voimakas tuottamaan laadukkaita videoita ilman, että tarvitaan laajaa videoiden editointitaitoa tai kallista videoiden editointiohjelmistoa.

Siinä, missä nykyiset videoiden editointialustat vaativat tietoa videoiden editointitekniikoista, tutkijoiden luoma työkalu antaa aloitteleville videoiden luojille mahdollisuuden luoda koostuksia, jotka kertovat tarinoita luonnollisemmassa ja intuitiivisemmassa muodossa. ”Kirjoita-videoksi” kutsutun työkalun ansiosta käyttäjät voivat editoida videoita muokkaamalla vain videon kanssa olevaa tekstiä. Jos käyttäjä poistaa tekstin, lisää tekstiä tai siirtää lauseita ympäriinsä, nämä muutokset heijastuvat videossa. Vastaavat otokset leikataan tai lisätään, kun käyttäjä muokkaa tekstiä, ja lopullinen video räätälöidään käyttäjän kuvauksen mukaan.

Ariel Shamir, Efi Arazi -tietokoneen tieteen koulun dekaani IDC Herzilyassa, selitti, että Write-A-Video-työkalu antaa käyttäjille mahdollisuuden vuorovaikuttaa videon kanssa pääasiassa tekstien kautta, käyttäen luonnollisen kielen prosessointitekniikoita videoiden ottamiseen perustuvan semanttisen merkityksen mukaan. Optimointialgoritmi käytetään sitten videon kokoamiseen leikkaamalla ja vaihtamalla otoksia. Työkalu antaa myös käyttäjille mahdollisuuden kokeilla eri visuaalisen tyylin parissa, säätämällä, miten kohtauksia esitetään tiettyjen elokuvallisten ilmaisujen avulla, jotka voivat nopeuttaa tai hidastaa toimintaa tai tehdä enemmän/vähemmän leikkauksia.

Ohjelma valitsee mahdolliset otokset esteettisen viehättävyyden perusteella. Ohjelma huomioi, miten otokset on kehystetty, kohdistettu ja valaistu, jotta voidaan määrittää esteettinen viehättävyys. Työkalu valitsee paremmin keskittyneitä otoksia, eikä epätarkkoja tai epävakaita, ja se antaa myös etusijan hyvin valaistuille otoksille. Write-A-Video-luojien mukaan käyttäjä voi renderöidä luodun videon missä tahansa vaiheessa ja esikatsella sitä äänikommentaarilla, joka kuvaa tekstiä, jota käytettiin klippien valintaan.

Tutkimusryhmän mukaan heidän kokeensa osoitti, että digitaaliset tekniikat, jotka yhdistävät tietokoneen näön ja luonnollisen kielen prosessoinnin, voivat auttaa käyttäjiä luovissa prosesseissa, kuten videoiden editoinnissa.

”Työmme osoittaa automaattisen visuaalisen-semanttisen vastaamisen potentiaalia idiomaattisessa laskennallisessa editoinnissa, tarjoten älykkään tavan tehdä videoiden luominen helpommaksi ei-ammatikiville,” Shamir selitti TechXplorelle.

Tutkijat testasivat työkalua eri videoiden valikoimissa yhdessä teemoittuneiden tekstidokumenttien kanssa. Käyttäjätutkimuksia ja määrällistä arviointia tehtiin tuloksien tulkintaan. Käyttäjätutkimusten tulokset osoittivat, että ei-ammatikot voivat toisinaan tuottaa laadukkaita editoituja videoita työkalun avulla nopeammin kuin ammattilaiset voivat kehyspohjaisilla editointiohjelmilla. TechXploren mukaan tiimi esittää työnsä muutaman päivän kuluttua ACM SIGGRAPH Asia -konferenssissa, joka järjestetään Australiassa. Muita yksiköitä käytetään myös videoiden editoinnin täydentämiseen AI: lla. Adobe (ADBE ) on myös kehittänyt omia AI-pohjaisia laajennuksia Premiere Pro -editointialustalleen. Työkalu auttaa ihmisiä varmistamaan, etteivät muutokset kuvasuhteessa leikkaa pois tärkeitä video-osia.