Unelte noi bazate pe IA care permit editarea videoclipurilor din documente text tematice

O echipă de cercetători în informatică de la universitățile Tsinghua și Beihand din China, IDC Herzilya din Israel și Harvard University a creat recent unelte care generează videoclipuri editate pe baza unei descrieri text și a unei colecții de clipuri video.

Cantități masive de imagini video sunt înregistrate în fiecare zi de profesioniști, amatori și oameni obișnuiți. Cu toate acestea, editarea acestor videoclipuri pentru a crea o prezentare care are sens rămâne o investiție de timp costisitoare, care necesită adesea utilizarea unor instrumente de editare complexe care pot manipula materialul brut. Echipa internațională de cercetători a dezvoltat recent unelte care iau descrieri text tematice și generează videoclipuri pe baza acestora. Uneltele sunt capabile să examineze clipurile video dintr-o colecție și să selecteze clipurile care corespund textului de intrare care descrie povestea. Scopul este ca uneltele să fie ușor de utilizat și suficient de puternice pentru a produce videoclipuri de calitate fără a necesita cunoștințe extensive de editare video sau software de editare video scump.

În timp ce platformele actuale de editare video necesită cunoștințe de tehnici de editare video, uneltele create de cercetători permit creatorilor de videoclipuri începători să creeze compoziții care spun povești într-un mod mai natural și intuitiv. “Write-A-Video”, așa cum este numită de creatorii săi, permite utilizatorilor să editeze videoclipuri prin editarea textului care însoțește videoclipul. Dacă un utilizator șterge text, adaugă text sau mută propoziții, aceste modificări vor fi reflectate în videoclip. Clipurile corespunzătoare vor fi tăiate sau adăugate pe măsură ce utilizatorul manipulează textul, iar videoclipul final rezultat va fi personalizat conform descrierii utilizatorului.

Ariel Shamir, decanul Școlii de Informatică Efi Arazi de la IDC Herzliya, a explicat că uneltele Write-A-Video permit utilizatorilor să interacționeze cu videoclipul în principal prin text, utilizând tehnici de procesare a limbajului natural pentru a corela clipuri video pe baza sensului semantic furnizat. Un algoritm de optimizare este apoi utilizat pentru a asambla videoclipul prin tăierea și schimbarea clipurilor. Uneltele permit utilizatorilor să experimenteze cu diferite stiluri vizuale, reglând modul în care scenele sunt prezentate prin utilizarea unor idiomi de film specifici care vor accelera sau încetini acțiunea sau vor face mai multe/mai puține tăieri.

Programul selectează clipuri posibile pe baza atracției lor estetice. Programul ia în considerare modul în care clipurile sunt filmate, focalizate și iluminate pentru a determina atracția estetică. Uneltele vor selecta clipuri care sunt mai bine focalizate, în loc de cele blurate sau instabile, și vor prioriza clipurile care sunt bine iluminate. Conform creatorilor Write-A-Video, utilizatorul poate reda videoclipul generat în orice moment și îl poate prevedea cu o narare vocală care descrie textul utilizat pentru a selecta clipurile.

Conform echipei de cercetare, experimentul lor a demonstrat că tehnicile digitale care combină aspecte de viziune computerizată și procesare a limbajului natural pot ajuta utilizatorii în procese creative, cum ar fi editarea videoclipurilor.

“Lucrarea noastră demonstrează potențialul de corelare vizual-semantică automată în editarea computațională bazată pe idiomi, oferind o modalitate inteligentă de a face creația de videoclipuri mai accesibilă pentru non-profesioniști”, a explicat Shamir pentru TechXplore.

Cercetătorii au testat uneltele lor pe diferite colecții de videoclipuri combinate cu documente text tematice. Au fost efectuate studii cu utilizatori și evaluări cantitative pentru a interpreta rezultatele experimentului. Rezultatele studiilor cu utilizatori au arătat că non-profesioniștii pot produce uneori videoclipuri editate de calitate utilizând uneltele mai rapid decât profesioniștii care utilizează software de editare bazat pe cadre. Așa cum a raportat TechXplore, echipa va prezenta lucrarea lor în câteva zile la conferința SIGGRAPH Asia care va avea loc în Australia. Alte entități utilizează, de asemenea, IA pentru a îmbunătăți editarea videoclipurilor. Adobe (ADBE ) a lucrat, de asemenea, la extensii proprii bazate pe IA pentru Premiere Pro, platforma lor de editare. Uneltele ajută oamenii să se asigure că modificările raportului de aspect nu taie bucăți importante de videoclip.