Nieuw AI-gepowered tool maakt video-editing mogelijk vanuit thema-tekstdocumenten

Een team van computerwetenschappers van de Tsinghua- en Beihand-universiteit in China, IDC Herzilya in Israël en Harvard University hebben onlangs een tool ontwikkeld die bewerkte video’s genereert op basis van een tekstbeschrijving en een repository van videoclips.

Er worden elke dag enorme hoeveelheden videomateriaal opgenomen door professionele videografen, hobbyisten en gewone mensen. Toch is het bewerken van deze video’s tot een presentatie die zin heeft nog steeds een kostbare tijdsinvestering, vaak met het gebruik van complexe bewerkingsprogramma’s die ruwe beelden kunnen manipuleren. Het internationale team van onderzoekers heeft onlangs een tool ontwikkeld die thema-tekstbeschrijvingen neemt en video’s genereert op basis daarvan. De tool kan videoclips in een repository onderzoeken en de clips selecteren die overeenkomen met de invoertekst die de verhaallijn beschrijft. Het doel is dat de tool gebruiksvriendelijk en krachtig genoeg is om kwaliteitsvideo’s te produceren zonder de behoefte aan uitgebreide videobewerkingsvaardigheden of dure videobewerkingssoftware.

Terwijl huidige videobewerkingsplatforms kennis van videobewerkingsTechnieken vereisen, laat de tool die door de onderzoekers is gemaakt, novice-videomakers compositie maken die verhalen vertelt op een meer natuurlijke, intuïtieve manier. “Write-A-Video”, zoals het door de makers is gedoopt, laat gebruikers video’s bewerken door alleen de tekst te bewerken die bij de video hoort. Als een gebruiker tekst verwijdert, tekst toevoegt of zinnen omwisselt, worden deze wijzigingen weerspiegeld in de video. Overeenkomstige shots worden geknipt of toegevoegd terwijl de gebruiker de tekst manipuleert en de resulterende video wordt aangepast aan de beschrijving van de gebruiker.

Ariel Shamir, decaan van de Efi Arazi School of Computer Science aan IDC Herzliya, legde uit dat de Write-A-Video-tool de gebruiker in staat stelt om voornamelijk via tekst te communiceren, met behulp van natuurlijke taalverwerkingstechnieken om videoshots te koppelen op basis van de verstrekte semantische betekenis. Een optimalisatiealgoritme wordt vervolgens gebruikt om de video samen te stellen door shots te knippen en te wisselen. De tool laat gebruikers ook experimenteren met verschillende visuele stijlen, door specifieke filmidiomen te gebruiken die de actie versnellen of vertragen, of meer of minder cuts maken.

Het programma selecteert mogelijke shots op basis van hun esthetische aantrekkingskracht. Het programma overweegt hoe shots zijn geframed, gefocust en verlicht om de esthetische aantrekkingskracht te bepalen. De tool selecteert shots die beter gefocust zijn, in plaats van wazig of onstabiel, en het zal ook shots prioriteren die goed verlicht zijn. Volgens de makers van Write-A-Video kan de gebruiker de gegenereerde video op elk moment weergeven en voorvertonen met een voice-over-narratie die de tekst beschrijft die is gebruikt om de clips te selecteren.

Volgens het onderzoeksteam toonde hun experiment aan dat digitale technieken die aspecten van computerzicht en natuurlijke taalverwerking combineren, gebruikers kunnen helpen bij creatieve processen zoals het bewerken van video’s.

“Ons werk toont het potentieel van automatische visueel-semantische matching in idioom-gebaseerde computationele bewerking, en biedt een intelligente manier om video-creatie toegankelijker te maken voor niet-professionals,” legde Shamir uit aan TechXplore.

De onderzoekers hebben hun tool getest op verschillende videorepositories in combinatie met thema-tekstdocumenten. Gebruikersstudies en kwantitatieve evaluatie werden uitgevoerd om de resultaten van het experiment te interpreteren. De resultaten van de gebruikersstudies toonden aan dat niet-professionals soms hoge kwaliteit bewerkte video’s konden produceren met de tool sneller dan professionals met frame-gebaseerde bewerkingssoftware konden. Zoals gerapporteerd door TechXplore, zal het team hun werk binnenkort presenteren op de ACM SIGGRAPH Asia-conferentie gehouden in Australië. Andere entiteiten gebruiken ook AI om video-bewerking te verbeteren. Adobe (ADBE ) werkt ook aan eigen AI-gepowerde extensies voor Premiere Pro, hun bewerkingsplatform. De tool helpt mensen ervoor te zorgen dat veranderingen in het beeldformaat geen belangrijke delen van de video wegknippen.