Menggunakan AI untuk Meringkas Video “Cara” yang Panjang

Jika Anda adalah orang yang suka mempercepat kecepatan video tutorial di YouTube untuk mendapatkan informasi yang sebenarnya Anda inginkan; berkonsultasi dengan transkrip video untuk mendapatkan informasi penting yang tersembunyi dalam runtime yang panjang dan seringkali disponsori; atau berharap WikiHow membuat versi yang kurang memakan waktu dari informasi dalam video instruksional; maka proyek baru dari UC Berkeley, Google Research, dan Brown University mungkin menarik bagi Anda.

Bertajuk TL;DW? Meringkas Video Instruksional dengan Relevansi Tugas & Saliensi Antarmoda, makalah baru ini menjelaskan tentang pembuatan sistem ringkasan video yang dibantu AI yang dapat mengidentifikasi langkah-langkah penting dari video dan membuang semua yang lain, sehingga menghasilkan ringkasan yang singkat dan langsung menuju intinya.

Eksploitasi WikiHow terhadap klip video panjang yang ada untuk teks dan informasi video digunakan oleh proyek IV-Sum untuk menghasilkan ringkasan palsu yang memberikan kebenaran untuk melatih sistem. Sumber: https://arxiv.org/pdf/2208.06773.pdf

Ringkasan yang dihasilkan memiliki waktu runtime yang jauh lebih singkat dari video aslinya, sedangkan informasi multi-moda (yaitu berbasis teks) juga direkam selama proses sehingga sistem di masa depan dapat memungkinkan pembuatan posting blog gaya WikiHow yang dapat memparse video “cara” yang panjang menjadi artikel singkat dan dapat dicari, lengkap dengan ilustrasi, sehingga dapat menghemat waktu dan frustrasi.

Sistem baru ini disebut IV-Sum (‘Pengringkas Video Instruksional’), dan menggunakan algoritma pengenalan visi komputer ResNet-50 yang open source, di antara beberapa teknik lainnya, untuk mengidentifikasi frame dan segmen video yang relevan.

Alur kerja konseptual untuk IV-Sum.

Sistem ini dilatih pada pseudo-ringkasan yang dihasilkan dari struktur konten situs web WikiHow, di mana orang-orang sering menggunakan video instruksional populer menjadi bentuk multimedia yang lebih datar, sering menggunakan klip pendek dan GIF yang diambil dari video instruksional sumber.

Dalam membahas penggunaan ringkasan WikiHow sebagai sumber data kebenaran untuk sistem, penulis menyatakan:

‘Setiap artikel di situs web WikiHow Videos terdiri dari video instruksional utama yang mendemonstrasikan tugas yang sering mencakup konten promosi, klip instruktur berbicara ke kamera tanpa informasi visual tentang tugas, dan langkah-langkah yang tidak penting untuk melakukan tugas.

‘Pembaca yang ingin memiliki gambaran tentang tugas akan lebih memilih video yang lebih singkat tanpa semua informasi yang tidak relevan tersebut. Artikel WikiHow (misalnya, lihat Cara Membuat Nasi Sushi) mengandung hal ini: teks yang berisi semua langkah penting dalam video yang terdaftar dengan gambar/klip yang mengilustrasikan berbagai langkah dalam tugas.’

Basis data yang dihasilkan dari web scraping ini disebut WikiHow Summaries. Basis data ini terdiri dari 2.106 video input dan ringkasan terkait. Ini adalah ukuran dataset yang jauh lebih besar daripada yang biasanya tersedia untuk proyek ringkasan video, yang biasanya memerlukan pelabelan dan anotasi manual yang mahal dan memakan waktu – proses yang sebagian besar telah diotomatisasi dalam karya baru ini, berkat ruang lingkup yang lebih terbatas dari ringkasan video instruksional (bukan video umum).

IV-Sum menggunakan representasi jaringan saraf konvolusional 3D temporal, bukan representasi berbasis frame yang karakteristik karya serupa sebelumnya, dan studi ablasion yang terperinci dalam makalah ini mengkonfirmasi bahwa semua komponen dari pendekatan ini penting untuk fungsionalitas sistem.

IV-Sum diuji dengan hasil yang menguntungkan melawan berbagai kerangka kerja yang setara, termasuk CLIP-It (yang beberapa penulis makalah ini juga bekerja sama).

IV-Sum mencetak skor yang baik melawan metode yang setara, mungkin karena ruang lingkup aplikasi yang lebih terbatas, dibandingkan dengan inisiatif ringkasan video umum. Detail tentang metrik dan metode skoring lebih lanjut di artikel ini.

Metode

Tahap pertama dalam proses ringkasan melibatkan penggunaan algoritma yang relatif sederhana, lemah-terawasi untuk membuat pseudo-ringkasan dan skor kepentingan frame untuk sejumlah besar video instruksional yang diweb-scrap, dengan hanya satu label tugas dalam setiap video.

Berikutnya, jaringan ringkasan instruksional dilatih pada data ini. Sistem ini mengambil transkrip ucapan otomatis (misalnya, subtitle AI yang dihasilkan YouTube untuk video) dan video sumber sebagai input.

Jaringan ini terdiri dari pengkode video dan transformer skor segmen (SST), dan pelatihan dipandu oleh skor kepentingan yang ditetapkan dalam pseudo-ringkasan. Ringkasan akhir dibuat dengan menggabungkan segmen yang mencapai skor kepentingan yang tinggi.

Dari makalah:

‘Intuisi utama di balik pipa pengembangan pseudo-ringkasan kami adalah bahwa diberi banyak video dari suatu tugas, langkah-langkah yang penting untuk tugas tersebut kemungkinan akan muncul di seluruh video (relevansi tugas).

‘Selain itu, jika suatu langkah penting, biasanya demonstrator akan berbicara tentang langkah tersebut baik sebelum, selama, atau setelah melakukan langkah tersebut. Oleh karena itu, subtitle untuk video yang diperoleh menggunakan Pengenalan Ucapan Otomatis (ASR) kemungkinan akan merujuk pada langkah-langkah kunci tersebut (saliensi antarmoda).’

Untuk menghasilkan pseudo-ringkasan, video pertama kali dipartisi seragam menjadi segmen, dan segmen dikelompokkan berdasarkan kesamaan visual menjadi ‘langkah’ (warna yang berbeda di gambar di atas). Langkah-langkah ini kemudian diberi skor kepentingan berdasarkan ‘relevansi tugas’ dan ‘saliensi antarmoda’ (yaitu korelasi antara teks ASR dan gambar). Langkah-langkah dengan skor tinggi kemudian dipilih untuk mewakili tahap dalam pseudo-ringkasan.

Sistem ini menggunakan Saliensi Antarmoda untuk membantu menetapkan relevansi setiap langkah, dengan membandingkan ucapan yang ditafsirkan dengan gambar dan aksi dalam video. Ini dilakukan dengan menggunakan model video-teks pra-terlatih di mana setiap elemen dilatih bersama di bawah kerugian MIL-NCE, menggunakan pengkode video 3D CNN yang dikembangkan oleh, antara lain, DeepMind.

Skor kepentingan umum kemudian diperoleh dari rata-rata yang dihitung dari tahap analisis relevansi tugas dan saliensi antarmoda ini.

Data

Dataset pseudo-ringkasan awal dihasilkan untuk proses ini, yang mencakup sebagian besar konten dari dua dataset sebelumnya – COIN, sebuah set 2019 yang berisi 11.000 video terkait 180 tugas; dan Cross-Task, yang berisi 4.700 video instruksional, di mana 3.675 di antaranya digunakan dalam penelitian. Cross-Task memiliki 83 tugas yang berbeda.

Di atas, contoh dari COIN; di bawah, dari Cross-Task. Sumber, secara berturut-turut: https://arxiv.org/pdf/1903.02874.pdf dan https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

Peneliti menggunakan video yang hanya muncul sekali dalam kedua dataset, sehingga mereka dapat memperoleh 12.160 video yang mencakup 263 tugas yang berbeda, dan 628,53 jam konten untuk dataset mereka.

Untuk mempopulasi dataset berbasis WikiHow, dan untuk memberikan kebenaran untuk sistem, penulis mengambil video instruksional panjang dari WikiHow Videos, bersama dengan gambar dan klip video (yaitu GIF) yang terkait dengan setiap langkah. Struktur konten WikiHow yang dihasilkan kemudian digunakan sebagai template untuk individuasi langkah-langkah dalam sistem baru.

Fitur yang diekstrak melalui ResNet50 digunakan untuk mencocokkan bagian video yang dipilih dalam gambar WikiHow, dan melakukan lokalasi langkah-langkah. Gambar yang paling mirip yang diperoleh dalam jendela video 5 detik digunakan sebagai titik acuan.

Bagian video yang lebih pendek kemudian disatukan menjadi video yang akan membentuk kebenaran untuk pelatihan model.

Label ditetapkan untuk setiap frame dalam video input, untuk menyatakan apakah mereka termasuk dalam ringkasan input atau tidak, dengan setiap video menerima label biner frame-level dari peneliti, dan skor ringkasan rata-rata yang diperoleh melalui skor kepentingan untuk semua frame dalam segmen.

Pada tahap ini, ‘langkah-langkah’ dalam setiap video instruksional sekarang terkait dengan data berbasis teks, dan diberi label.

Pelatihan, Pengujian, dan Metrik

Dataset WikiHow akhir dibagi menjadi 1.339 video uji dan 768 video validasi – peningkatan yang cukup besar dibandingkan dengan ukuran rata-rata dataset non-raw yang didedikasikan untuk analisis video.

Pengkode video dan teks dalam jaringan baru dilatih bersama pada jaringan S3D dengan bobot yang dimuat dari model HowTo100M pra-terlatih di bawah kerugian MIL-NCE.

Model ini dilatih dengan optimizer Adam dengan tingkat pembelajaran 0,01 pada ukuran batch 24, dengan Distributed Data Parallel yang menghubungkan pelatihan di seluruh delapan NVIDIA RTX 2080 GPU, untuk total 24GB VRAM terdistribusi.

IV-Sum kemudian dibandingkan dengan berbagai skenario untuk CLIP-It sesuai dengan karya sebelumnya, termasuk studi tentang CLIP-It. Metrik yang digunakan adalah Nilai Presisi, Recall, dan F-Skor, di seluruh tiga baseline tidak terawasi (lihat makalah untuk detail).

Hasilnya tercantum dalam gambar sebelumnya, tetapi peneliti juga mencatat bahwa CLIP-It melewatkan sejumlah langkah yang mungkin pada berbagai tahap dalam pengujian yang tidak dilakukan oleh IV-Sum. Mereka mengatributkan ini pada CLIP-It yang dilatih dan dikembangkan menggunakan dataset yang jauh lebih kecil daripada corpus WikiHow baru.

Implikasi

Nilai jangka panjang dari jalur penelitian ini (yang IV-Sum bagikan dengan tantangan analisis video yang lebih luas) bisa membuat klip video instruksional lebih dapat diakses oleh mesin pencari, dan memungkinkan jenis ‘cuplikan’ dalam hasil yang Google sering ekstrak dari artikel konvensional yang lebih panjang.

Tentu saja, pengembangan apa pun proses yang dibantu AI yang mengurangi kewajiban kita untuk memberikan perhatian linear dan eksklusif pada konten video bisa memiliki dampak pada daya tarik media bagi generasi pemasar yang merasa bahwa opasitas video adalah satu-satunya cara mereka bisa secara eksklusif menghubungi kita.

Dengan lokasi ‘konten yang berharga’ sulit untuk ditentukan, video yang disumbangkan oleh pengguna telah menikmati indulgensi yang luas (meskipun enggan) dari konsumen media dalam hal penempatan produk, slot sponsor, dan self-aggrandizement umum di mana proposisi nilai video sering dibungkus. Proyek seperti IV-Sum memegang janji bahwa sub-facet konten video akhirnya akan menjadi granular dan dapat dipisahkan dari apa yang banyak orang anggap sebagai ‘ballast’ dari iklan dalam konten dan ekstemporasi non-konten.

Dipublikasikan pertama kali pada 16 Agustus 2022. Diperbarui pukul 2.52 siang 16 Agustus, menghapus frasa duplikat.