Araştırmacılar Bozuk Görüntüleri İyileştirmek için Yeni Teknikler Geliştirdi

Yale-NUS Koleji’ndeki bir araştırma ekibi, yağmur ve gece koşulları gibi çevresel faktörler nedeniyle videolardaki düşük görme düzeyinden daha doğru verileri çıkarmak için yeni bilgisayar görme ve derin öğrenme yaklaşımları geliştirdi. Ayrıca, videolardaki 3D insan duruşu tahmini doğruluğunu da iyileştirdiler.

Otomatik gözetim sistemleri, otonom araçlar ve sağlık ve sosyal mesafe araçları gibi uygulamalarda kullanılan bilgisayar görme teknolojisi, genellikle çevresel faktörlerden etkilenir ve çıkarılan verilerde sorunlara neden olur.

Yeni araştırma, 2021 Bilgisayar Görme ve Desen Tanıma Konferansı’nda (CVPR) sunuldu.

Görüntüleri Etkileyen Çevresel Faktörler

Düşük ışık ve insan yapımı ışık etkileri gibi parlama, parıltı ve projektörler gece görüntülerini etkiler. Yağmur görüntüleri de yağmur izleri veya yağmur birikimi tarafından etkilenir.

Yale-NUS Koleji Bilim Associate Profesörü Robby Tan, araştırma ekibine liderlik etti.

“Otomatik gözetim sistemleri gibi birçok bilgisayar görme sistemi ve otonom araçlar, iyi çalışmak için giriş videolarının net görünmesine güveniyor. Örneğin, otonom araçlar ağır yağmurda robust bir şekilde çalışamaz ve CCTV otomatik gözetim sistemleri genellikle gece, özellikle de sahneler karanlık veya önemli bir parlama veya projektör varsa başarısız olur” dedi Assoc. Prof Tan.

Ekibin iki ayrı çalışma ile derin öğrenme algoritmalarını kullanarak gece ve yağmur videolarının kalitesini artırmaya odaklandığı belirtildi.

İlk çalışma, gece görüntülerini ve videolarını netleştirmeyi amaçlayarak, aynı zamanda gürültü ve ışık etkilerini, such as parlama, parıltı ve projektörleri bastırmaya odaklandı. Yeni teknik, mevcut yöntemlerin henüz yapamadığı coisa, kaçınılmaz parlamayı yapan gece görüntülerinde ve videolarında netliği artırmayı hedefliyor.

Ağır yağmurun yaygın olduğu ülkelerde, yağmur birikimi videolardaki görünürlüğü olumsuz etkiliyor. İkinci çalışma, bu sorunu, bir çerçeve hizalama yöntemi kullanarak, yağmur izlerinin rastgele görünmediği daha iyi görsel bilgi elde etmeyi amaçladı. Ekibin, hareketli bir kamera kullanarak derinlik tahmini yapması, yağmur perdesi etkisini ortadan kaldırmaya yardımcı oldu. Mevcut yöntemler yağmur izlerini çıkarmaya odaklanırken, yeni geliştirilen yöntemler hem yağmur izlerini hem de yağmur perdesi etkisini aynı anda çıkarabiliyor.

Resim: Yale-NUS Koleji

3D İnsan Poz Estimasyonu

Yeni tekniklerin yanı sıra, ekip ayrıca video gözetimi, video oyunları ve spor yayınları gibi alanlarda kullanılan 3D insan pozu estimasyonu üzerine araştırmalarını sundu.

Tek bir kameradan alınan video veya monoküler video ile 3D çoklu insan pozu estimasyonu, son birkaç yıldır giderek daha fazla araştırılan bir konu haline geldi. Çoklu kameradan alınan videolardan farklı olarak, monoküler videolar daha esnek ve tek bir kamera ile, örneğin bir cep telefonu ile çekilebilir.

Bununla birlikte, yüksek aktivite gibi birden fazla kişinin aynı sahneyi paylaştığı durumlarda, insan algılama doğruluğu etkilenir. Bu, özellikle monoküler videolarda bireylerin birbirleriyle yakın temas halinde veya birbirinin üzerine bindiğinde daha da doğru olur.

Ekibin üçüncü çalışması, 3D insan pozu estimasyonu için iki mevcut yöntemi, yani üstten alta ve alttan üste yaklaşımı birleştirdi. Yeni yöntem, diğer ikisine kıyasla çoklu kişi ortamlarında daha güvenilir bir pozu estimasyonu üretir ve bireyler arasındaki mesafeyi daha iyi işleyebilir.

“3D insan pozu estimasyonu araştırmamızın bir sonraki aşamasında, Ulusal Araştırma Vakfı tarafından desteklenen video gizlilik bilgilerini korumaya bakacağız. Görünürlük iyileştirme yöntemleri için, bilgisayar görme alanındaki ilerlemelere katkıda bulunmaya çalışacağız, çünkü bunlar günlük yaşantımızı etkileyen birçok uygulamaya kritik önem taşıyor, örneğin otonom araçların advers hava koşullarında daha iyi çalışmasını sağlamak gibi” dedi Assoc. Prof Tan.