Alat Bertenaga AI Baru Memungkinkan Pengeditan Video Dari Dokumen Teks Bertema

Sebuah tim peneliti ilmu komputer dari Universitas Tsinghua dan Beihand di China, IDC Herzilya di Israel, dan Universitas Harvard baru-baru ini menciptakan sebuah alat yang menghasilkan video yang diedit berdasarkan deskripsi teks dan gudang klip video.

Rekaman video dalam jumlah besar direkam setiap hari oleh videografer profesional, penghobi, dan orang biasa. Namun, mengedit video ini menjadi presentasi yang masuk akal masih merupakan investasi waktu yang mahal, seringkali membutuhkan penggunaan alat pengeditan yang rumit yang dapat memanipulasi rekaman mentah. Tim peneliti internasional baru-baru ini mengembangkan alat yang mengambil deskripsi teks bertema dan menghasilkan video berdasarkan deskripsi tersebut. Alat ini mampu memeriksa klip video dalam repositori dan memilih klip yang sesuai dengan teks masukan yang menjelaskan alur cerita. Tujuannya adalah agar alat ini ramah pengguna dan cukup kuat untuk menghasilkan video berkualitas tanpa memerlukan keterampilan mengedit video yang luas atau perangkat lunak pengeditan video yang mahal.

Sementara platform pengeditan video saat ini membutuhkan pengetahuan tentang teknik pengeditan video, alat yang dibuat oleh para peneliti memungkinkan pembuat video pemula membuat komposisi yang menceritakan kisah dengan cara yang lebih alami dan intuitif. "Tulis-A-Video", seperti yang dijuluki oleh pembuatnya, memungkinkan pengguna mengedit video hanya dengan mengedit teks yang menyertai video. Jika pengguna menghapus teks, menambahkan teks, atau memindahkan kalimat, perubahan ini akan tercermin dalam video. Jepretan yang sesuai akan dipotong atau ditambahkan saat pengguna memanipulasi teks dan video hasil akhir disesuaikan dengan deskripsi pengguna.

Ariel Shamir, Dekan Sekolah Ilmu Komputer Efi Arazi di IDC Herzliya menjelaskan bahwa alat Write-A-Video memungkinkan pengguna berinteraksi dengan video terutama melalui teks, menggunakan teknik pemrosesan bahasa alami untuk mencocokkan pengambilan video berdasarkan semantik yang disediakan. arti. Algoritme pengoptimalan kemudian digunakan untuk merakit video dengan memotong dan menukar gambar. Alat ini memungkinkan pengguna untuk bereksperimen dengan gaya visual yang berbeda juga, mengubah cara adegan disajikan dengan menggunakan idiom film tertentu yang akan mempercepat atau memperlambat aksi, atau membuat lebih banyak/lebih sedikit potongan.

Program ini memilih bidikan yang memungkinkan berdasarkan daya tarik estetisnya. Program ini mempertimbangkan bagaimana bidikan dibingkai, difokuskan, dan ringan untuk menentukan daya tarik estetika. Alat ini akan memilih bidikan yang lebih fokus, bukannya buram atau tidak stabil, dan juga akan memprioritaskan bidikan yang memiliki pencahayaan yang baik. Menurut pembuat Write-A-Video, pengguna dapat merender video yang dihasilkan kapan saja dan mempratinjaunya dengan narasi sulih suara yang mendeskripsikan teks yang digunakan untuk memilih klip.

Menurut tim peneliti, eksperimen mereka menunjukkan bahwa teknik digital yang menggabungkan aspek visi komputer dan pemrosesan bahasa alami dapat membantu pengguna dalam proses kreatif seperti pengeditan video.

“Pekerjaan kami menunjukkan potensi pencocokan visual-semantik otomatis dalam pengeditan komputasi berbasis idiom, menawarkan cara cerdas untuk membuat pembuatan video lebih mudah diakses oleh non-profesional,” jelas Shamir kepada TechXplore.

Para peneliti menguji alat mereka pada repositori video berbeda yang digabungkan dengan dokumen teks bertema. Studi pengguna dan evaluasi kuantitatif dilakukan untuk menginterpretasikan hasil percobaan. Hasil studi pengguna menemukan bahwa non-profesional terkadang dapat menghasilkan video editan berkualitas tinggi menggunakan alat ini lebih cepat daripada profesional yang menggunakan perangkat lunak pengeditan berbasis bingkai. Seperti dilansir TechXplore, tim akan mempresentasikan hasil karyanya dalam beberapa hari di ACM SIGRAF Asia konferensi yang diadakan di Australia. Entitas lain juga menggunakan AI untuk meningkatkan pengeditan video. Adobe juga telah mengerjakan its ekstensi bertenaga AI sendiri untuk Premiere Pro, platform pengeditannya. Alat ini membantu orang memastikan bahwa perubahan rasio aspek tidak menghilangkan bagian penting dari video.