Novi alat pokretan umjetnom inteligencijom omogućuje uređivanje videa iz tematskih tekstualnih dokumenata

Tim istraživača računalnih znanosti sa Sveučilišta Tsinghua i Beihand u Kini, IDC Herzilya u Izraelu i Sveučilišta Harvard nedavno je stvorio alat koji generira uređene videozapise na temelju tekstualnog opisa i repozitorija videoisječaka.

Ogromne količine video zapisa svakodnevno snimaju profesionalni snimatelji, hobisti i obični ljudi. Ipak, uređivanje ovog videozapisa u prezentaciju koja ima smisla i dalje je skupo ulaganje vremena, često zahtijeva upotrebu složenih alata za uređivanje koji mogu manipulirati neobrađenim snimkama. Međunarodni tim istraživača nedavno je razvio alat koji uzima tematske tekstualne opise i generira videozapise na temelju njih. Alat je sposoban pregledati video isječke u repozitoriju i odabrati isječke koji odgovaraju ulaznom tekstu koji opisuje priču. Cilj je da alat bude jednostavan za korištenje i dovoljno moćan za izradu kvalitetnih videozapisa bez potrebe za opsežnim vještinama uređivanja videozapisa ili skupim softverom za uređivanje videozapisa.

Dok trenutne platforme za uređivanje videozapisa zahtijevaju poznavanje tehnika uređivanja videozapisa, alat koji su izradili istraživači omogućuje početnicima u stvaranju videozapisa stvaranje kompozicija koje pričaju priče na prirodniji, intuitivniji način. “Write-A-Video”, kako su ga nazvali njegovi tvorci, omogućuje korisnicima uređivanje videa samo uređivanjem teksta koji prati video. Ako korisnik izbriše tekst, doda tekst ili premjesti rečenice, te će se promjene odraziti na videozapis. Odgovarajuće snimke bit će izrezane ili dodane kako korisnik manipulira tekstom i konačnim rezultirajućim videozapisom prilagođenim opisu korisnika.

Ariel Shamir, dekan Efi Arazi škole računalnih znanosti pri IDC Herzliya objasnio je da Write-A-Video alat omogućuje korisniku interakciju s videom uglavnom putem teksta, koristeći tehnike obrade prirodnog jezika za usklađivanje video snimaka na temelju pružene semantike značenje. Optimizacijski algoritam se zatim koristi za sklapanje videa rezanjem i izmjenom snimaka. Alat također omogućuje korisnicima da eksperimentiraju s različitim vizualnim stilovima, prilagođavajući način na koji su scene predstavljene korištenjem specifičnih filmskih idioma koji će ubrzati ili usporiti radnju ili napraviti više/manje rezova.

Program odabire moguće snimke na temelju njihove estetske privlačnosti. Program razmatra kako su snimke kadrirane, fokusirane i osvijetljene kako bi se odredila estetska privlačnost. Alat će odabrati snimke koje su bolje fokusirane, umjesto mutnih ili nestabilnih, a također će dati prednost snimkama koje su dobro osvijetljene. Prema tvorcima Write-A-Videoa, korisnik može renderirati generirani video u bilo kojem trenutku i pregledati ga uz glasovnu naraciju koja opisuje tekst korišten za odabir isječaka.

Prema istraživačkom timu, njihov je eksperiment pokazao da digitalne tehnike koje kombiniraju aspekte računalnog vida i obrade prirodnog jezika mogu pomoći korisnicima u kreativnim procesima poput uređivanja videa.

"Naš rad pokazuje potencijal automatskog vizualno-semantičkog podudaranja u računalnom uređivanju temeljenom na idiomima, nudeći inteligentan način da se stvaranje videozapisa učini dostupnijim neprofesionalcima," objasnio je Shamir za TechXplore.

Istraživači su testirali svoj alat na različitim video spremištima u kombinaciji s tematskim tekstualnim dokumentima. Korisničke studije i kvantitativna procjena provedena su za tumačenje rezultata eksperimenta. Rezultati istraživanja korisnika otkrili su da neprofesionalci ponekad mogu proizvesti visokokvalitetne uređene videozapise pomoću alata brže nego profesionalci koji koriste softver za uređivanje temeljen na okvirima. Kako javlja TechXplore, tim će svoj rad predstaviti za nekoliko dana na ACM-u SIGGRAF Azija konferencija održana u Australiji. Drugi entiteti također koriste AI kako bi poboljšali uređivanje videa. Adobe je također radio na iima vlastita proširenja koja pokreće AI za Premiere Pro, njegovu platformu za uređivanje. Alat pomaže ljudima osigurati da promjene u omjeru slike ne izrezuju važne dijelove videozapisa.