Aşırı sıkıştırılmış sosyal medya videolarını makine öğrenimiyle geri yüklemek

Çin’den yapılan yeni bir araştırmada, WeChat ve YouTube gibi platformlarda bant genişliği ve depolama alanından tasarruf etmek için otomatik olarak sıkıştırılan kullanıcı tarafından yüklenen videolara ayrıntı ve çözünürlük kazandırmak için etkili ve yeni bir yöntem sunuluyor.

Yeni yöntemin, sosyal medya platformlarının otomatik optimizasyonunun sonucu olarak atılan ayrıntıları yeniden çözme yeteneği açısından önceki yaklaşımlarla karşılaştırılması. Kaynak: https://arxiv.org/pdf/2208.08597.pdf

Önceki yöntemler genel eğitim verilerine dayanarak videoları büyütüp üst örnekleyebilirken, yeni yaklaşım her sıkıştırılmış video karesi için bir bozulma özellik haritası (DFM) türetir – efektif olarak karedeki en çok hasar gören veya bozulan bölgelerin bir özeti.

Yeni makalenin bileşen çıkarma deneylerinden: sağdan ikinci, ‘saf’ bir bozulma özellik haritasının (DFM) gerçek değerleri; sağdan üçüncü, DFM kullanmadan hasar tahmini. Sol, DFM ile çok daha doğru bir hasar haritası.

Geri yükleme işlemi, konvolüsyonel sinir ağları (CNN) gibi teknolojileri kullanarak, DFM’deki bilgiler tarafından yönlendirilir ve odaklanır, böylece yeni yöntem önceki yaklaşımların performansını ve doğruluğunu aşar.

Araştırmacılar, yüksek kaliteli videoyu dört popüler paylaşım platformuna yükleyerek, sıkıştırılmış sonuçları indirerek ve sıkıştırma kalıntılarını ve ayrıntı kaybını soyut bir şekilde öğrenen bir bilgisayar görme pipeline’ı geliştirerek işlemin gerçek değerini elde ettiler, böylece tümüyle göreve uygun verilere dayanarak birden fazla platformdaki videoları neredeyse orijinal kaliteye geri yükleyebileceklerdi.

Araştırmacıların yeni UVSSM veri setinden örnekler.

Araştırma materyali, Sosyal Medyada Paylaşılan Kullanıcı Videoları (UVSSM) adlı bir HQ/LQ veri setine derlenmiştir ve Baidu’da (parola: rsqw) sonraki araştırma projelerinin yararlanabileceği şekilde indirilmeye açık hale getirilmiştir.

İndirilebilir UVSSM veri setinden eşdeğer HQ/LQ örneklerinin karşılaştırması. Bu örneğin de birden fazla sıkıştırma turuna tabi olabileceğini unutmayın, bu nedenle daha doğru bir karşılaştırma için lütfen orijinal kaynak verilerine başvurun.

Sistemin kodu, Video restOration through adapTive dEgradation Sensing (VOTES) olarak bilinen bir isimle GitHub’da yayınlandı, ancak uygulaması bir dizi çekme tabanlı bağımlılığı içerir.

Makale, Sosyal Medyada Paylaşılan Kullanıcı Videolarının Geri Yüklenmesi olarak adlandırılmış ve Shenzhen Üniversitesi’nden üç araştırmacı ve Hong Kong Polytechnic Üniversitesi Elektronik ve Bilgi Mühendisliği Bölümünden bir araştırmacı tarafından yazılmıştır.

Görüntü Bozulmalarından Gerçeklere

Sosyal medya videolarının kalitesini, Gigapixel gibi programların bazen aşırı ‘hayal gücü’ ile sağladığı ayrıntı ‘hayal gücü’ olmadan geri yüklemenin, bilgisayar görme araştırmaları için önemli sonuçları olabilir.

Bilgisayar görme tabanlı video teknolojileri araştırmaları genellikle YouTube ve Twitter gibi platformlardan elde edilen görüntüleri kullanır, ancak bu platformlarda kullanılan sıkıştırma yöntemleri ve kodekler sıkı biçimde gizli tutulur; bozulma örüntülerinden veya başka görsel işaretlerden kolayca çıkarılamaz ve dönem dönem değişebilir.

Web kaynaklı video kullanan projelerin çoğu sıkıştırmayı araştırmaz ve mevcut video kalitesinin sınırlamalarına uyum sağlamak zorundadır, çünkü orijinal yüksek kaliteli sürümlere erişimi yoktur.

Bu nedenle, ilgisiz bilgisayarlı görü veri kümelerinden kaynaklanan sonraki etkileri eklemeden bu videoları daha yüksek kalite ve çözünürlüğe sadık biçimde geri yüklemek, bilgisayarlı görü projelerinin bozulmuş video kaynakları için sık sık başvurmak zorunda kaldığı geçici çözümleri ve uyarlamaları azaltabilir.

YouTube gibi platformlar, kullanıcı videolarının sıkıştırma yöntemlerindeki büyük değişiklikleri duyurabilir (örneğin VP9), ancak hiçbirisi tüm süreci veya kullanılan kodlayıcıları ve ayarları açıklamaz.

Kullanıcı yüklemelerinin çıktı kalitesini iyileştirmek, son on yılda bir druidik sanat haline gelmiştir, çeşitli (çoğunlukla doğrulanmamış) ‘çözümler’ moda olmuştur.

Yöntem

Önceki derin öğrenme tabanlı video geri yükleme yaklaşımları, tek kare geri yükleme için genel özellik çıkarma veya çok kareli bir mimari kullanarak optik akış dahil olmak üzere çeşitli yöntemler içermiştir.

Bunların tümü ‘kara kutu’ etkisini karşılamak zorunda kalmıştır – yani sıkıştırma etkilerini çekirdek teknolojilerde inceleyemezler, çünkü ne çekirdek teknolojilerin ne olduğu ne de herhangi bir kullanıcı tarafından yüklenen video için nasıl yapılandırıldığı bilinmemektedir.

VOTES, bunun yerine, orijinal ve sıkıştırılmış videodan doğrudan önemli özellikleri çıkarmaya ve çeşitli platformların standartlarına genelleyecek dönüşüm kalıplarını belirlemeye çalışır.

VOTES için basitleştirilmiş kavramsal mimari.

VOTES, bir bozulma algılama modülü (DSM) kullanarak konvolüsyonel bloklarda özellikler çıkarır. Birden fazla kare, daha sonra bir özellik çıkarma ve hizalama modülüne (FEAM) geçirilir, bu da daha sonra bir bozulma modülasyon modülüne (DMM) iletilir. Son olarak, yeniden yapılandırma modülü geri yüklenen videoyu çıkarır.

Veri ve Deneyler

Yeni çalışmada araştırmacılar, WeChat platformuna yüklenen ve indirilen videoların geri yüklenmesine odaklanmış, ancak algoritmanın diğer platformlara uyarlanabilir olmasını sağlamak istemişlerdir.

WeChat videoları için etkili bir geri yükleme modeli elde ettikten sonra, Bilibili, Twitter ve YouTube için her platformun özel modelini bir eğitim döngüsü boyunca uyarlamak sadece 90 saniye sürmüştür (4 NVIDIA Tesla P40 GPU ile toplam 96GB VRAM olan bir makine kullanılmıştır).

Başarılı WeChat modelinin diğer video paylaşım platformlarına uyarlanması oldukça basittir. Burada VOTES, kendi UVSSM veri setini ve REDS veri setini kullanarak çeşitli platformlar boyunca neredeyse anında performans eşitliği sağlar.

UVSSM veri setini oluşturmak için araştırmacılar, 5-30 saniye arasında değişen 264 video topladı, her biri 30fps kare hızı ile ve mobil telefon kameralarından veya internetten alınan 1920 x 1080 veya 1280 x 270 çözünürlüğe sahip videolardan oluşmaktadır.

İçerik (daha önceki resme bakınız), şehir manzaraları, peyzajlar, insanlar, hayvanlar ve diğer çeşitli konuları içermektedir ve Creative Commons Attribution lisansı altında kamu veri setinde kullanılabilir ve yeniden kullanılabilir.

Araştırmacılar, 214 videoyu beş farklı marka mobil telefon kullanarak WeChat’e yükledi ve WeChat’in varsayılan video çözünürlüğünü (960×540) elde etti (kaynak video zaten bu boyutlardan küçük değilse), bu da popüler platformlar arasında en ‘cezai’ dönüşümlerden biridir.

Sol-üst, orijinal HQ kare ile üç büyütülmüş bölüm; sağ-üst, aynı karenin platform tarafından bozulmuş bir sıkıştırılmış sürümü; sol-alt, sıkıştırılmış karenin hesaplanan bozulması; ve sağ-alt, VOTES’in odaklanacağı ‘çalışma alanı’. Düşük kaliteli görüntünün boyutu HQ görüntünün yarısıdır; burada karşılaştırmayı kolaylaştırmak için yeniden boyutlandırılmıştır.

Diğer platformların dönüşüm rutinlerine karşı sonraki karşılaştırmalar için araştırmacılar, ilk 214 videoya dahil olmayan 50 videoyu Bilibili, YouTube ve Twitter’a yükledi. Orijinal videoların çözünürlüğü 1280×270, indirilen sürümlerinin çözünürlüğü ise 640×360 idi.

Bu, UVSSM veri setini toplam 364 HQ/LQ video çiftine çıkarır, 214’ü WeChat’e ve Bilibili, YouTube ve Twitter’ın her birine 50’si yüklenmiştir.

Deneyler için 10 rastgele video test kümesi olarak seçildi, dördü doğrulama kümesi olarak ve kalan 200’ü temel eğitim seti olarak kullanıldı. Deneyler beş kez K katlı çapraz doğrulama ile gerçekleştirildi ve sonuçlar bu örnekler boyunca ortalama olarak hesaplandı.

Video geri yükleme testlerinde VOTES, Spatio-Temporal Deformable Fusion (STDF) ile karşılaştırıldı. Çözünürlük artırma için Enhanced Deformable convolutions (EDVR), RSDN, Video Super-resolution with Temporal Group Attention (VSR_TGA), ve BasicVSR ile test edildi. Google’un tek-aşamalı yöntemi COMISR de dahil edildi, ancak diğer önceki çalışmaların mimari tipine uymamaktadır.

Yöntemler, UVSS ve REDS veri setleri ile test edildi, VOTES en yüksek puanları elde etti:

Araştırmacılar, nitel sonuçların da VOTES’in önceki sistemlere göre üstünlüğünü gösterdiğini iddia etmektedir:

REDS’ten geri yüklenen video kareleri, rakip yaklaşımlarla karşılaştırıldı. Yalnızca gösterge amaçlı çözünürlük – kesin çözünürlük için lütfen makaleye bakınız.

İlk olarak 19 Ağustos 2022’de yayınlandı.