Nytt AI-drevet verktøy muliggjør videoediting fra tema-baserte tekstdokumenter

Et team av datavitenskapsforskere fra Tsinghua og Beihand University i Kina, IDC Herzilya i Israel og Harvard University har nylig laget et verktøy som genererer redigerte videoer basert på en tekstbeskrivelse og en samling av video klipp.

Store mengder videoopptak blir tatt hver dag av profesjonelle videografere, hobbyister og vanlige mennesker. Likevel er det fortsatt en kostbar tidsinvestering å redigere denne videoen ned til en presentasjon som har mening, ofte krever det bruk av komplekse redigeringsverktøy som kan manipulere råopptak. Det internasjonale teamet av forskere har nylig utviklet et verktøy som tar tema-baserte tekstbeskrivelser og genererer videoer basert på dem. Verktøyet er i stand til å undersøke video klipp i en samling og velge klippene som korresponderer med innputt-teksten som beskriver handlingen. Målet er at verktøyet skal være brukervennlig og kraftig nok til å produsere kvalitetsvideoer uten behov for omfattende video-redigeringsferdigheter eller dyrt video-redigeringsprogramvare.

Mens nåværende video-redigeringsplattformer krever kunnskap om video-redigerings-teknikker, lar verktøyet som er laget av forskerne nybegynnere lage komposisjoner som forteller historier på en mer naturlig og intuitiv måte. “Write-A-Video”, som det er kalt av skaperne, lar brukerne redigere videoer ved å bare redigere teksten som følger med videoen. Hvis en bruker sletter tekst, legger til tekst eller flytter setninger rundt, vil disse endringene bli reflektert i videoen. Tilhørende skudd vil bli kutta eller lagt til når brukeren manipulerer teksten og den resulterende videoen tilpasses brukerens beskrivelse.

Ariel Shamir, dekan for Efi Arazi School of Computer Science ved IDC Herzliya, forklarte at Write-A-Video-verktøyet lar brukeren interagere med videoen hovedsakelig gjennom tekst, ved å bruke naturlig språkbehandlingsteknikker til å matche video-skudd basert på den tilgjengelige semantiske betydningen. En optimeringsalgoritme brukes deretter til å montere videoen ved å kutte og bytte skudd. Verktøyet lar også brukerne eksperimentere med forskjellige visuelle stiler, ved å justere hvordan scener presenteres ved å bruke bestemte film-idiomer som vil akselerere eller sakke ned handlingen, eller gjøre flere eller færre kutt.

Programmet velger mulige skudd basert på deres estetiske appell. Programmet vurderer hvordan skudd er rammet inn, fokusert og belyst for å bestemme den estetiske appellen. Verktøyet vil velge skudd som er bedre fokusert, i stedet for uklare eller ustabile, og det vil også prioritere skudd som er godt belyst. Ifølge skaperne av Write-A-Video kan brukeren rendre den genererte videoen på et hvilket som helst tidspunkt og forhåndsvisning den med en voice-over-narrasjon som beskriver teksten som ble brukt til å velge klippene.

Ifølge forskningsteamet demonstrerte deres eksperiment potensialet for digitale teknikker som kombinerer aspekter av datavisjon og naturlig språkbehandling for å assistere brukerne i kreative prosesser som video-redigering.

“Vårt arbeid demonstrerer potensialet for automatisk visuell-semantisk matching i idiom-basert komputasjonell redigering, og tilbyr en intelligent måte å gjøre video-skaping mer tilgjengelig for ikke-profesjonelle,” forklarte Shamir til TechXplore.

Forskerne testet sitt verktøy på forskjellige video-samlinger kombinert med tema-baserte tekstdokumenter. Brukerstudier og kvantitativ vurdering ble utført for å tolke resultater fra eksperimentet. Resultatene fra brukerstudiene fant at ikke-profesjonelle kunne noen ganger produsere høykvalitets-redigerte videoer ved å bruke verktøyet raskere enn profesjonelle ved å bruke frame-basert redigeringsprogramvare kunne. Ifølge TechXplore vil teamet presentere sitt arbeid om noen dager på ACM SIGGRAPH Asia konferansen holdt i Australia. Andre enheter bruker også AI til å forbedre video-redigering. Adobe (ADBE ) har også arbeidet på sine egne AI-drevne utvidelser for Premiere Pro, sitt redigeringsprogram. Verktøyet hjelper mennesker med å sikre at endringer i aspektforhold ikke kutter ut viktige deler av videoen.