Alat Baru yang Ditenagai AI Memungkinkan Pengeditan Video dari Dokumen Teks Bertema

Tim peneliti ilmu komputer dari Tsinghua dan Beihand University di Cina, IDC Herzilya di Israel, dan Harvard University baru-baru ini mengembangkan alat yang menghasilkan video diedit berdasarkan deskripsi teks dan repositori klip video.

Jumlah besar footage video direkam setiap hari oleh videografer profesional, hobi, dan orang biasa. Namun, mengedit video tersebut menjadi presentasi yang masuk akal masih memerlukan investasi waktu yang mahal, seringkali memerlukan penggunaan alat editing yang kompleks yang dapat memanipulasi footage mentah. Tim peneliti internasional baru-baru ini mengembangkan alat yang mengambil deskripsi teks bertema dan menghasilkan video berdasarkan deskripsi tersebut. Alat ini dapat mengeksaminasi klip video dalam repositori dan memilih klip yang sesuai dengan teks input yang menjelaskan alur cerita. Tujuannya adalah alat ini ramah pengguna dan cukup kuat untuk menghasilkan video berkualitas tanpa memerlukan keterampilan editing video yang luas atau perangkat lunak editing video yang mahal.

Saat ini, platform editing video memerlukan pengetahuan tentang teknik editing video, alat yang dikembangkan oleh peneliti memungkinkan pembuat video pemula untuk membuat komposisi yang menceritakan kisah dengan cara yang lebih alami dan intuitif. “Write-A-Video”, sebagaimana disebut oleh para pembuatnya, memungkinkan pengguna untuk mengedit video dengan hanya mengedit teks yang menyertainya. Jika pengguna menghapus teks, menambahkan teks, atau memindahkan kalimat, perubahan tersebut akan tercermin dalam video. Shot yang sesuai akan dipotong atau ditambahkan saat pengguna memanipulasi teks dan video akhir yang dihasilkan disesuaikan dengan deskripsi pengguna.

Ariel Shamir, Dekan Sekolah Ilmu Komputer Efi Arazi di IDC Herzliya menjelaskan bahwa alat Write-A-Video memungkinkan pengguna untuk berinteraksi dengan video terutama melalui teks, menggunakan teknik pemrosesan bahasa alami untuk mencocokkan shot video berdasarkan makna semantik yang disediakan. Algoritma optimasi kemudian digunakan untuk merakit video dengan memotong dan menukar shot. Alat ini juga memungkinkan pengguna untuk bereksperimen dengan gaya visual yang berbeda, menyesuaikan bagaimana adegan disajikan dengan menggunakan idiom film tertentu yang akan mempercepat atau memperlambat aksi, atau membuat lebih/sedikit potongan.

Program ini memilih shot yang mungkin berdasarkan daya tarik estetika. Program ini mempertimbangkan bagaimana shot diambil, difokuskan, dan diterangi untuk menentukan daya tarik estetika. Alat ini akan memilih shot yang lebih fokus, bukan kabur atau tidak stabil, dan juga akan memprioritaskan shot yang terang. Menurut para pembuat Write-A-Video, pengguna dapat merender video yang dihasilkan kapan saja dan mempratinjaunya dengan narasi suara yang menjelaskan teks yang digunakan untuk memilih klip.

Menurut tim peneliti, eksperimen mereka menunjukkan bahwa teknik digital yang menggabungkan aspek penglihatan komputer dan pemrosesan bahasa alami dapat membantu pengguna dalam proses kreatif seperti editing video.

“Karya kami menunjukkan potensi pencocokan visual-semantik otomatis dalam editing komputasi berbasis idiom, menawarkan cara cerdas untuk membuat pembuatan video lebih mudah diakses oleh non-profesional,” jelaskan Shamir kepada TechXplore.

Para peneliti menguji alat mereka pada repositori video yang berbeda yang dikombinasikan dengan dokumen teks bertema. Studi pengguna dan evaluasi kuantitatif dilakukan untuk menafsirkan hasil eksperimen. Hasil studi pengguna menunjukkan bahwa non-profesional dapat menghasilkan video diedit berkualitas tinggi menggunakan alat ini lebih cepat daripada profesional yang menggunakan perangkat lunak editing berbasis frame. Seperti yang dilaporkan oleh TechXplore, tim akan mempresentasikan karya mereka dalam beberapa hari di konferensi SIGGRAPH Asia yang diadakan di Australia. Entitas lain juga menggunakan AI untuk meningkatkan editing video. Adobe (ADBE ) juga telah mengerjakan ekstensi AI-powered untuk Premiere Pro, platform editingnya. Alat ini membantu orang untuk memastikan bahwa perubahan rasio aspek tidak memotong bagian penting dari video.