Anderson’un Açısı
Uzun ‘Nasıl Yapılır’ Videolarını Özetlemek için AI Kullanma

Öne çıkan noktalarIV-Sum, manuel etiketleme olmadan video özetleme eğitimi için WikiHow'ın…
Daha fazla göster
- IV-Sum, manuel etiketleme olmadan video özetleme eğitimi için WikiHow'ın yapılandırılmış özetlerini temel gerçeklik olarak kullanır.
- Sistem, tanıtım içeriğini ve gereksiz bölümleri atarak, orijinal sürenin çok küçük bir kısmı kadar olan özetler üretir.
- Konuşma ve görseller arasındaki çapraz-modal belirginlik, IV-Sum'un birden fazla eğitim videosundaki kritik adımları belirlemesine yardımcı olur.
Eğer bir YouTube nasıl yapılır videosunun hızını artırmak için oynatma hızını artırarak bilgiye ulaşmaya çalışıyorsanız; videonun metnini inceleyerek uzun ve genellikle sponsorlu olan çalışma zamanlarında gizlenen önemli bilgileri çıkarmak için; ya da WikiHow’un bu bilgileri daha az zaman alan bir versiyonunu oluşturup oluşturmadığını umuyorsanız; o zaman Kaliforniya Üniversitesi, Berkeley, Google Araştırma ve Brown Üniversitesi’nden yeni bir proje ilginizi çekebilir.
Adı TL;DW? Talimatlı Videoları Görevle İlgili ve Çapraz Mod Saliency ile Özetleme olan yeni makale, videoyu önemli adımlardan oluşan kısa bir özetle sonuçlandırabilen bir AI destekli video özetleme sistemi oluşturulmasını anlatıyor.

WikiHow’un mevcut uzun video kliplerini metin ve video bilgileri için kullanması, IV-Sum projesi tarafından yapay olarak üretilmiş özetler oluşturmak ve sistemi eğitmek için kullanılan gerçek verileri sağlar. Kaynak: https://arxiv.org/pdf/2208.06773.pdf
Elde edilen özetler, orijinal videonun çalışma zamanının yalnızca bir kısmına sahiptir ve çok modlu (yani metin tabanlı) bilgiler de işleme sırasında kaydedilir, böylece gelecekteki sistemler, uzun bir nasıl yapılır videosunu otomatik olarak kısa ve aranabilir bir resimlerle tamamlanmış kısa ve aranabilir WikiHow tarzı blog yazılarına dönüştürerek zaman ve hayal kırıklığından tasarruf sağlayabilir.
Yeni sistem IV-Sum (‘Talimatlı Video Özetleyici’) olarak adlandırılmaktadır ve önemli kareleri ve video segmentlerini belirlemek için açık kaynaklı ResNet-50 bilgisayar görüşü tanıma algoritması da dahil olmak üzere çeşitli teknikleri kullanır.
Sistem, WikiHow websitesinin içerik yapısından elde edilen pseudo-özetler üzerinde eğitilir, burada gerçek insanlar genellikle popüler talimatlı videoları daha düz ve metin tabanlı bir çokluortam forma dönüştürür; kaynak eğitim videolarından alınan kısa klipleri ve animasyonlu GIF dosyalarını sıkça kullanır.
Projenin WikiHow özetlerini sistem için gerçek veri kaynağı olarak kullanımını tartışan yazarlar şunları söylemektedir:
‘WikiHow Videos sitesindeki her makale, genellikle görevi gösteren bir ana talimat videosu içerir ve bu video, sık sık tanıtım içeriği, öğretmenin kamera karşısında konuşurken görevle ilgili hiçbir görsel bilgi içermeyen kısımlar ve görevi gerçekleştirmek için kritik olmayan adımlar içerir. ‘
‘Görevin bir özeti isteyen izleyiciler, tüm bu yukarıda belirtilen alakasız bilgileri içermeyen daha kısa bir video tercih edeceklerdir. WikiHow makaleleri (örneğin, Suşi Pirinci Nasıl Yapılır), tam da bunu içerir: önemli tüm adımları listeleyen metin ve görevin çeşitli adımlarını gösteren resimler/kliplerle birlikte.’
Elde edilen veritabanı WikiHow Özetleri olarak adlandırılmaktadır. Veritabanı, 2.106 girdi videosu ve ilgili özetlerini içerir. Bu, video özetleme projelerinde genellikle mevcut olandan çok daha büyük bir veri setidir. Bu projeler normalde pahalı ve yoğun emek gerektiren elle etiketleme ve açıklama ister. Yeni çalışma, genel videolar yerine eğitim videolarına odaklandığı için bu süreci büyük ölçüde otomatikleştirmiştir.
IV-Sum, önceki benzer çalışmaların karakterize ettiği kare tabanlı temsil yerine zaman içinde 3D konvolüsyonel sinir ağı temsilini kullanır ve makalede ayrıntılı olarak belirtilen bir bileşenlerin tek tek çıkarıldığı bir ablasyon çalışması, bu yaklaşımın tüm bileşenlerinin sistemin işlevselliği için gerekli olduğunu doğrular.
IV-Sum, çeşitli karşılaştırılabilir çerçevelerle, CLIP-It dahil olmak üzere olumlu sonuçlarla test edilmiştir. Makalenin bazı yazarları CLIP-It üzerinde de çalışmıştır.

IV-Sum, genel video özetleme girişimlerinin çoğuna kıyasla daha kısıtlı uygulama kapsamına sahip olabileceğinden, karşılaştırılabilir yöntemlerle iyi bir şekilde çalışır. Bu makalenin ilerleyen kısımlarında metrikler ve puanlama yöntemleri hakkında daha fazla bilgi bulunabilir.
Yöntem
Özetleme sürecinin ilk aşaması, bir dizi web tarayıcı talimatlı videosu için göreceli olarak düşük çaba gerektiren, zayıf bir şekilde denetlenen algoritma kullanarak pseudo-özetler ve kare bazında önem puanları oluşturmayı içerir. Her videoda yalnızca tek bir görev etiketi bulunur.
Sonra, bu veriler üzerinde eğitilen bir talimatlı özetleme ağı kullanılır. Sistem, otomatik olarak oluşturulmuş alt yazılar (örneğin, YouTube’ın kendi AI tarafından oluşturulan alt yazıları) ve kaynak videosu alır.
Ağ, bir video kodlayıcısı ve bir segment puanlama dönüştürücüsünden (SST) oluşur ve eğitim, pseudo-özetlerde atanan önem puanları tarafından yönlendirilir. Nihai özet, yüksek bir önem puanı alan segmentleri birleştirmek suretiyle oluşturulur.
Makaleden:
‘Yapay özet oluşturma pipeline’mizin arkasındaki ana sezgi, birçok videonun bir görevi göstermesi durumunda, görev için kritik adımların muhtemelen birden fazla videoda görünmesidir (görevle ilgili). ‘
‘Ek olarak, bir adım önemli ise, genellikle demonstratörün bu adımı gerçekleştirmeden, gerçekleştirirken veya gerçekleştirdikten sonra konuşması gerekir. Bu nedenle, video için Otomatik Konuşma Tanıma (ASR) kullanılarak elde edilen altyazılar, muhtemelen bu ana adımlara atıfta bulunacaktır (çapraz mod saliency).’

Yapay özet oluşturmak için, video önce eşit olarak bölünür ve segmentler görsel benzerliklerine göre ‘adım’lar (yukarıdaki resimde farklı renkler) olarak gruplandırılır. Bu adımlar daha sonra ‘görevle ilgili’ ve ‘çapraz mod saliency’ (yani ASR metni ve resim arasındaki korelasyon) temelinde önem puanları atanır. Yüksek puan alan adımlar, sahte özetin aşamalarını temsil etmek için seçilir.
Sistem, her bir adımı için ilgiliğini belirlemek amacıyla Çapraz Mod Saliency kullanır ve bu, konuşulan metni videodaki resimlerle ve eylemlerle karşılaştırmak suretiyle gerçekleştirilir. Bunun için önceden eğitilmiş bir video–metin modeli kullanılır; bileşenler MIL-NCE kayıp fonksiyonu altında ortak eğitilir. Model, DeepMind ve diğer araştırmacıların geliştirdiği 3D CNN video kodlayıcısını kullanır.
Her bir görevle ilgili ve çapraz mod analiz aşamasından hesaplanan ortalama bir genel önem puanı elde edilir.
Veri
İlk olarak, pseudo-özetler verisi oluşturuldu. Bu veri seti, büyük ölçüde iki önceki veri setinin içeriğini içerir – COIN, 180 görevle ilgili 11.000 video içeren 2019 yılına ait bir veri seti ve Cross-Task, 4.700 talimatlı video içeren bir veri seti (araştırmada 3.675 tanesi kullanılmıştır). Cross-Task, 83 farklı görevi içerir.

Üstte, COIN’den örnekler; aşağıda, Cross-Task’ten örnekler. Kaynaklar sırasıyla: https://arxiv.org/pdf/1903.02874.pdf ve https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf
Araştırmacılar, her iki veri setinde de yer alan videoları yalnızca bir kez kullanarak, 12.160 video ve 263 farklı görevi kapsayan ve 628,53 saatlik içeriği olan bir veri seti elde edebildiler.
WikiHow tabanlı veri setini oluşturmak ve sistemi eğitmek için gerçek verileri sağlamak amacıyla, araştırmacılar WikiHow Videosu’ndaki tüm uzun talimatlı videoları, resimleri ve her adıma ait video kliplerini (yani GIF’leri) topladılar. WikiHow’un türetilmiş içeriğinin yapısı, yeni sistemde adımları ayırt etmek için şablon olarak kullanıldı.
ResNet50 tarafından çıkarılan özellikler, WikiHow resimlerinde seçilen video kısımlarını eşleştirmek ve adımların konumlarını belirlemek için kullanıldı.
Beş saniyelik video penceresi içinde bulunan en benzer görüntü, referans noktası olarak kullanıldı.
Bu daha kısa klipler daha sonra, modelin eğitimi için gerçek verileri oluşturmak amacıyla videolara dönüştürüldü.
Her bir girdi videosunun her bir karesine, giriş özetinin bir parçası olup olmadığını belirten bir ikili etiket atanmıştır. Ayrıca segmentteki tüm karelerin önem puanlarından ortalama özet puanı hesaplandı. Bu aşamada her videodaki adımlar metinsel verilerle ilişkilendirilmiş ve etiketlenmişti.
Eğitim, Testler ve Metrikler
Nihai WikiHow veri seti, 1.339 test videosu ve 768 doğrulama videosu olarak bölündü. Bu, video analizine yönelik işlenmiş veri setlerinin ortalama büyüklüğüne kıyasla kayda değer bir artıştır.
Video ve metin kodlayıcıları, S3D ağı üzerinde ortak olarak eğitildi ve önceden eğitilmiş HowTo100M modelinin ağırlıkları yüklendi; eğitim MIL-NCE kayıp fonksiyonuyla gerçekleştirildi.
Model, 0,01’lik öğrenme hızında ve 24’lük bir toplu işlemin boyutunda Adam optimizatörü ile eğitildi ve sekiz NVIDIA RTX 2080 GPU’si üzerinden Dağıtılmış Veri Paralel Bağlantısı kullanılarak eğitimi dağıtıldı. Toplam dağıtılmış VRAM miktarı 24 GB idi.
IV-Sum, çeşitli senaryolarda benzer önceki çalışmalara uygun olarak CLIP-It ile karşılaştırıldı; bunlar arasında CLIP-It üzerine bir çalışma da vardı. Ölçütler Precision, Recall ve F-Score olup üç gözetimsiz temel yöntem üzerinde değerlendirildi; ayrıntılar makalededir.
Sonuçlar daha önce gösterilen resimdedir, ancak araştırmacılar ayrıca CLIP-It’in testlerin çeşitli aşamalarında IV-Sum’un kaçırmadığı olası adımları kaçırdığını not ederler. Bunu, CLIP-It’in yeni WikiHow korpusundan önemli ölçüde daha küçük veri setleri kullanılarak eğitilmiş olmasına bağlarlar.
Ön Görüler
Bu araştırma alanının (IV-Sum ile paylaştığı) uzun vadeli değeri, talimatlı video kliplerini geleneksel arama motoru dizinlemesine daha erişilebilir hale getirmek ve videolar için Google’ın genellikle daha uzun bir makaleden çıkardığı türden kısa arama sonucu parçalarını etkinleştirmek olabilir.
Videoyu baştan sona kesintisiz ve tüm dikkatimizi vererek izleme zorunluluğunu azaltan herhangi bir AI destekli süreç, bu ortamın pazarlamacılar açısından çekiciliğini etkileyebilir. Video içeriğinin kolay taranamaması, onlara göre dikkatimizi yalnızca kendilerinde tutmanın tek yolu olabilir.
Değerli içeriğin konumunu belirlemek zor olduğundan, kullanıcı tarafından oluşturulan video, ürün yerleştirme, sponsorlu reklamlar ve video değer önerisinin genellikle sunulduğu kendini yüceltme için geniş bir (fakat isteksiz) hoşgörüye sahip oldu.
IV-Sum gibi projeler, video içeriğinin alt bölümlerinin ayrıntılı biçimde belirlenerek birçok kişinin yük olarak gördüğü içerik içi reklamlardan ve konuyla ilgisiz doğaçlama konuşmalardan ayrılabileceği umudunu verir.
İlk olarak 16 Ağustos 2022’de yayınlandı. 16 Ağustos saat 14:52’de güncellendi, yinelenen ifade kaldırıldı.













