Nuovo strumento alimentato da intelligenza artificiale consente la modifica video da documenti di testo tematici

Un team di ricercatori di scienze informatiche di Tsinghua e Beihand University in Cina, IDC Herzilya in Israele e Harvard University ha recentemente creato uno strumento che genera video modificati in base a una descrizione testuale e a un repository di clip video.

Enormi quantità di riprese video vengono registrate ogni giorno da professionisti, appassionati e persone comuni. Tuttavia, la modifica di questi video in una presentazione che abbia senso è ancora un investimento di tempo costoso, che richiede spesso l’uso di strumenti di modifica complessi in grado di manipolare il materiale grezzo. Il team internazionale di ricercatori ha recentemente sviluppato uno strumento che prende descrizioni testuali tematiche e genera video in base a esse. Lo strumento è in grado di esaminare le clip video in un repository e selezionare le clip che corrispondono al testo di input che descrive la storia. L’obiettivo è che lo strumento sia facile da usare e sufficientemente potente da produrre video di qualità senza la necessità di estese competenze di modifica video o costosi software di modifica video.

Mentre le piattaforme di modifica video attuali richiedono la conoscenza di tecniche di modifica video, lo strumento creato dai ricercatori consente ai creatori di video novizi di creare composizioni che raccontano storie in modo più naturale e intuitivo. “Write-A-Video”, come è stato battezzato dai suoi creatori, consente agli utenti di modificare i video semplicemente modificando il testo che accompagna il video. Se un utente cancella del testo, aggiunge del testo o sposta le frasi, queste modifiche saranno riflesse nel video. Le riprese corrispondenti saranno tagliate o aggiunte mentre l’utente manipola il testo e il video finale risultante sarà personalizzato in base alla descrizione dell’utente.

Ariel Shamir, il preside della Efi Arazi School of Computer Science all’IDC Herzliya, ha spiegato che lo strumento Write-A-Video consente all’utente di interagire con il video principalmente attraverso il testo, utilizzando tecniche di elaborazione del linguaggio naturale per abbinare le riprese video in base al significato semantico fornito. Un algoritmo di ottimizzazione viene quindi utilizzato per assemblare il video tagliando e scambiando le riprese. Lo strumento consente anche agli utenti di sperimentare con diversi stili visivi, regolando come le scene sono presentate utilizzando specifici idiomi cinematografici che accelereranno o rallenteranno l’azione, o effettueranno più o meno tagli.

Il programma seleziona le possibili riprese in base al loro appeal estetico. Il programma considera come le riprese sono inquadrate, focalizzate e illuminate per determinare l’appeal estetico. Lo strumento selezionerà le riprese che sono meglio focalizzate, invece di essere sfocate o instabili, e darà anche priorità alle riprese che sono ben illuminate. Secondo i creatori di Write-A-Video, l’utente può renderizzare il video generato in qualsiasi momento e visualizzarlo con una narrazione vocale che descrive il testo utilizzato per selezionare le clip.

Secondo il team di ricerca, il loro esperimento ha dimostrato che le tecniche digitali che combinano aspetti di visione artificiale e elaborazione del linguaggio naturale possono aiutare gli utenti nei processi creativi come la modifica dei video.

“Il nostro lavoro dimostra il potenziale dell’abbinamento visivo-semantico automatico nella modifica computazionale basata sugli idiomi, offrendo un modo intelligente per rendere la creazione di video più accessibile ai non professionisti”, ha spiegato Shamir a TechXplore.

I ricercatori hanno testato il loro strumento su diversi repository di video combinati con documenti di testo tematici. Sono stati condotti studi sugli utenti e valutazioni quantitative per interpretare i risultati dell’esperimento. I risultati degli studi sugli utenti hanno trovato che i non professionisti potevano a volte produrre video modificati di alta qualità utilizzando lo strumento più velocemente dei professionisti che utilizzavano software di modifica basato su frame. Come riportato da TechXplore, il team presenterà il loro lavoro tra pochi giorni alla conferenza ACM SIGGRAPH Asia tenutasi in Australia. Altre entità stanno anche utilizzando l’intelligenza artificiale per aumentare la modifica video. Adobe (ADBE ) ha anche lavorato alle proprie estensioni alimentate da intelligenza artificiale per Premiere Pro, la sua piattaforma di modifica. Lo strumento aiuta le persone a garantire che i cambiamenti nel rapporto di aspetto non taglino fuori pezzi importanti del video.