Nyt AI-drevet værktøj giver mulighed for video-redigering fra tema-baserede tekstdokumenter

Et hold af datalogi-forskere fra Tsinghua og Beihand University i Kina, IDC Herzilya i Israel og Harvard University har nyligt oprettet et værktøj, der genererer redigerede videoer baseret på en tekstbeskrivelse og en samling af video-klip.

Massive mængder af videooptagelser bliver optaget hver dag af professionelle videografere, hobby-fotografer og almindelige mennesker. Alligevel er redigering af denne video ned i en præsentation, der giver mening, stadig en kostbar tidsinvestering, der ofte kræver brug af komplekse redigeringsværktøjer, der kan manipulere rå optagelser. Det internationale hold af forskere har nyligt udviklet et værktøj, der tager tema-baserede tekstbeskrivelser og genererer videoer baseret på dem. Værktøjet er i stand til at undersøge video-klip i en samling og vælge de klip, der korresponderer med den indtastede tekst, der beskriver historien. Målet er, at værktøjet er bruger-venligt og kraftfuldt nok til at producere kvalitetsvideoer uden behov for omfattende video-redigeringsevner eller dyre video-redigeringssoftware.

Mens nuværende video-redigeringsplatforme kræver kendskab til video-redigeringsteknikker, låser værktøjet, som forskerne har oprettet, novice video-skabere op til at skabe kompositioner, der fortæller historier på en mere naturlig, intuitiv måde. “Write-A-Video”, som det er døbt af sine skabere, låser brugerne til at redigere videoer ved blot at redigere den tekst, der ledsager videoen. Hvis en bruger sletter tekst, tilføjer tekst eller flytter sætninger rundt, vil disse ændringer blive reflekteret i videoen. Tilsvarende optagelser vil blive klippet eller tilføjet, mens brugeren manipulerer med teksten, og den resulterende video vil blive tilpasset brugerens beskrivelse.

Ariel Shamir, dekan for Efi Arazi School of Computer Science på IDC Herzliya, forklarede, at Write-A-Video-værktøjet låser brugeren til at interagere med videoen primært gennem tekst, ved hjælp af naturlig sprogbehandlingsteknikker til at matche video-optagelser baseret på den tilgængelige semantiske betydning. En optimeringsalgoritme bruges derefter til at samle videoen ved at klippe og bytte optagelser. Værktøjet låser brugere til at eksperimentere med forskellige visuelle stilarter, ved at justere, hvordan scener præsenteres ved hjælp af specifikke film-idiomer, der vil accelerere eller afbremse handlingen eller gøre flere/færre klip.

Programmet vælger mulige optagelser baseret på deres æstetiske appel. Programmet overvejer, hvordan optagelser er rammet, fokuseret og belyst for at bestemme den æstetiske appel. Værktøjet vil vælge optagelser, der er bedre fokuseret, i stedet for uklare eller ustabile, og det vil også prioritere optagelser, der er godt belyst. Ifølge skaberne af Write-A-Video kan brugeren rendre den genererede video på ethvert tidspunkt og forhåndvisning med en voice-over-narration, der beskriver den tekst, der blev brugt til at vælge klipene.

Ifølge forskningsholdet demonstrerede deres eksperiment, at digitale teknikker, der kombinerer aspekter af computer-vision og naturlig sprogbehandling, kan hjælpe brugere i kreative processer som video-redigering.

“Vores arbejde demonstrerer potentialet for automatisk visuelt-semantisk matching i idiom-baseret beregningsredigering, og tilbyder en intelligent måde at gøre video-skabelse mere tilgængelig for ikke-fagfolk,” forklarede Shamir til TechXplore.

Forskerne testede deres værktøj på forskellige video-samlinger kombineret med tema-baserede tekstdokumenter. Brugerstudier og kvantitativ vurdering blev udført for at fortolke resultaterne af eksperimentet. Resultaterne af brugerstudierne fandt, at ikke-fagfolk kunne producere høj-kvalitets-redigerede videoer ved hjælp af værktøjet hurtigere end fagfolk, der brugte ramme-baseret redigeringssoftware. Som rapporteret af TechXplore, vil holdet præsentere deres arbejde om få dage på ACM SIGGRAPH Asia-konferencen, der afholdes i Australien. Andre enheder bruger også AI til at forbedre video-redigering. Adobe har også arbejdet på dets eget AI-drevne udvidelser til Premiere Pro, dets redigeringsplatform. Værktøjet hjælper mennesker med at sikre, at ændringer i billedforhold ikke klipper vigtige dele af videoen.