Nyt AI-drevet værktøj muliggør videoediting fra tema-baserede tekstdokumenter

Et hold computer science-forskere fra Tsinghua og Beihand University i Kina, IDC Herzilya i Israel og Harvard University har nylig udviklet et værktøj, der genererer redigerede videoer baseret på en tekstbeskrivelse og en samling af videoklip.

Massive mængder af videooptagelser bliver optaget hver dag af professionelle videografere, hobbyister og almindelige mennesker. Alligevel er det stadig en kostbar tidsinvestering at redigere disse videoer ned i en præsentation, der giver mening, ofte kræver det brug af komplekse redigeringsværktøjer, der kan manipulere rå optagelser. Det internationale hold af forskere har nylig udviklet et værktøj, der tager tema-baserede tekstbeskrivelser og genererer videoer baseret på dem. Værktøjet kan undersøge videoklip i en samling og vælge de klip, der korresponderer med den indtastede tekst, der beskriver historien. Målet er, at værktøjet er brugervenligt og kraftfuldt nok til at producere kvalitetsvideoer uden behov for omfattende videoredigeringsfærdigheder eller dyrt videoredigeringssoftware.

mens nuværende videoredigeringsplatforme kræver viden om videoredigerings-teknikker, låter det værktøj, som forskerne har udviklet, novice video-skabere oprette kompositioner, der fortæller historier på en mere naturlig og intuitiv måde. “Write-A-Video”, som det er døbt af sine skabere, låter brugerne redigere videoer ved blot at redigere den tekst, der ledsager videoen. Hvis en bruger sletter tekst, tilføjer tekst eller flytter sætninger rundt, vil disse ændringer blive reflekteret i videoen. Tilsvarende optagelser vil blive klippet eller tilføjet, mens brugeren manipulerer med teksten, og den resulterende video vil blive tilpasset brugerens beskrivelse.

Ariel Shamir, dekan for Efi Arazi School of Computer Science på IDC Herzliya, forklarede, at Write-A-Video-værktøjet låter brugeren interagere med videoen primært gennem tekst, ved hjælp af naturlig sprogbehandlingsteknikker til at matche videooptagelser baseret på den tilgængelige semantiske betydning. En optimeringsalgoritme bruges herefter til at samle videoen ved at klippe og bytte optagelser. Værktøjet låter brugerne også eksperimentere med forskellige visuelle stilarter, ved at justere, hvordan scener præsenteres ved hjælp af bestemte film-idiomer, der kan accelerere eller afbremse handlingen eller gøre flere/færre klip.

Programmet vælger mulige optagelser baseret på deres æstetiske appel. Programmet overvejer, hvordan optagelser er rammet, fokuseret og belyst for at bestemme den æstetiske appel. Værktøjet vil vælge optagelser, der er bedre fokuseret, i stedet for uklare eller ustabile, og det vil også prioritere optagelser, der er godt belyst. Ifølge skaberne af Write-A-Video kan brugeren rendre den genererede video på ethvert tidspunkt og forhåndsvise den med en voice-over-narration, der beskriver den tekst, der er brugt til at vælge klipene.

Ifølge forskningsholdet demonstrerede deres eksperiment, at digitale teknikker, der kombinerer aspekter af computer vision og naturlig sprogbehandling, kan hjælpe brugere i kreative processer som video-redigering.

“Vores arbejde demonstrerer potentialet for automatisk visuelt-semantisk matching i idiom-baseret beregningsredigering, og tilbyder en intelligent måde at gøre video-skabelse mere tilgængelig for ikke-fagfolk,”forklarede Shamir til TechXplore.

Forskerne testede deres værktøj på forskellige video-samlinger kombineret med tema-baserede tekstdokumenter. Brugerstudier og kvantitativ vurdering blev udført for at fortolke resultaterne af eksperimentet. Resultaterne af brugerstudierne fandt, at ikke-fagfolk kunne producere højkvalitets-redigerede videoer ved hjælp af værktøjet hurtigere end fagfolk ved hjælp af ramme-baseret redigeringssoftware kunne. Ifølge TechXplore vil holdet præsentere deres arbejde om få dage på ACM SIGGRAPH Asia konferencen afholdt i Australien. Andre enheder bruger også AI til at supplere video-redigering. Adobe (ADBE ) har også arbejdet på deres eget AI-drevne udvidelser til Premiere Pro, deres redigeringsplatform. Værktøjet hjælper mennesker med at sikre, at ændringer i billedforhold ikke skærer vigtige dele af videoen ud.