Araştırmacılar Düşük Kaliteli Görüntüleri Geliştirmek için Yeni Teknikler Geliştirdi

Yale-NUS Koleji’ndeki bir araştırma ekibi, yağmur ve gece koşulları gibi çevresel faktörler nedeniyle düşük kaliteli videolardan daha doğru veri çıkarmak için yeni bilgisayar görme ve derin öğrenme yaklaşımları geliştirdi. Ayrıca, videolardaki 3D insan duruşu tahmini doğruluğunu da iyileştirdiler.

Bilgisayar görme teknolojisi, otomatik gözetim sistemleri, otonom araçlar ve sağlık ve sosyal mesafe araçları gibi uygulamalarda kullanılır ve genellikle çevresel faktörlerden etkilenir, bu da çıkarılan verilerin doğruluğunu etkileyebilir.

Yeni araştırma, 2021 Bilgisayar Görme ve Desen Tanıma Konferansı’nda sunuldu.

Görüntülere Çevresel Etki

Düşük ışık ve insan yapımı ışık efektleri gibi parlama, parıltı ve projektörler gece görüntülerini etkiler. Yağmur görüntüleri de yağmur izleri veya yağmur birikmesi tarafından etkilenir.

Yale-NUS Koleji Bilim Associate Profesörü Robby Tan, araştırma ekibinin liderliğini yaptı.

“Çok fazla bilgisayar görme sistemi, otomatik gözetim ve otonom araçlar gibi, girişteki videoların net görünümü üzerine çalışır. Örneğin, otonom araçlar ağır yağmurda güçlü bir şekilde çalışamaz ve CCTV otomatik gözetim sistemleri genellikle gece, özellikle karanlık sahnelerde veya önemli parlama veya projektörler olduğunda başarısız olur” dedi Assoc. Prof Tan.

Ekibin iki ayrı çalışması, gece videolarının ve yağmur videolarının kalitesini artırmak için derin öğrenme algoritmaları sundu.

İlk çalışma, gece videolarının netliğini artırmak için parlaklığı artırırken aynı zamanda gürültü ve ışık efektlerini bastırmaya odaklandı. Yeni teknik, kaçınılmaz parlamaların olduğu gece görüntülerinin ve videolarının netliğini artırmayı hedefliyor.

Ağır yağmurun yaygın olduğu ülkelerde, yağmur birikmesi videolardaki görünürlüğü olumsuz etkiler. İkinci çalışma, bu soruna, bir çerçeve hizalama yöntemi sunarak cevap verdi. Bu method, yağmur izlerinin rastgele görünmediği daha iyi görsel bilgi sağlar. Ekibin kullandığı hareketli kamera, derinlik tahmini için kullanıldı ve yağmur perdesi etkisini kaldırdı. Mevcut yöntemler yağmur izlerini kaldırmaya odaklanırken, geliştirilen yeni yöntemler hem yağmur izlerini hem de yağmur perdesi etkisini aynı anda kaldırabilir.

Resim: Yale-NUS Koleji

3D İnsan Duruşu Tahmini

Yeni tekniklerin yanı sıra, ekip ayrıca 3D insan duruşu tahmini üzerine araştırmalarını sundu. Bu, video gözetiminde, video oyunlarında ve spor yayınlarında kullanılabilir.

Tek bir kameradan alınan videolardan 3D çoklu insan duruşu tahmini, son birkaç yıldır giderek daha fazla araştırılmıştır. Birden fazla kameradan alınan videolardan farklı olarak, tek kameradan alınan videolar daha esnek ve bir cep telefonu gibi tek bir kamera ile çekilebilir.

Bununla birlikte, yüksek aktivite gibi aynı sahnedeki birden fazla kişinin varlığı, insan tespitinin doğruluğunu etkiler. Bu, özellikle bireyler birbirleriyle yakın bir şekilde etkileşime girdiğinde veya birbirlerinin üzerine bindiğinde doğrudur.

Ekibin üçüncü çalışması, 3D insan duruşunu videoya iki mevcut yöntemi birleştirerek tahmin etti. Yeni yöntem, diğer iki yönteme kıyasla çoklu insan ayarlarında daha güvenilir duruş tahmini sağlar ve bireyler arasındaki mesafeyi daha iyi işleyebilir.

“3D insan duruşu tahmini araştırmamızın bir sonraki adımı, Ulusal Araştırma Vakfı tarafından desteklenmektedir, videolardaki gizlilik bilgilerini korumaya bakacağız. Görünürlük iyileştirme yöntemleri için, bilgisayar görme alanındaki ilerlemelere katkıda bulunmaya çalışıyoruz, çünkü bunlar günlük hayatımızı etkileyen birçok uygulamaya kritiktir, örneğin otonom araçların kötü hava koşullarında daha iyi çalışmasını sağlar” dedi Assoc. Prof Tan.