AI, Boş Duvarlarda Açığa Çıkan Gizli Faaliyeti Ortaya Çıkardı

NVIDIA ve MIT’den katkıda bulunanlar dahil bir araştırma işbirliği, insanların yalnızca yakındaki bir duvarda dolaylı aydınlatmayı gözlemleyerek, insanların gizli kalmasını sağlayan bir makine öğrenimi yöntemi geliştirdi, bu yöntem, insanların nowhere near the illuminating light sources olduğu durumlarda bile gizli insanları tanımlayabiliyor. Yöntemin gizli insan sayısını tanımlamaya çalışırken %94’e yakın bir doğruluğu vardır ve ayrıca bir gizli kişinin özel faaliyetini, insan gözlerine ve standart görüntü büyütme yöntemlerine görünmeyen ışık sekmelerini büyük ölçüde büyüterek tanımlayabilir.

İnsan gözlerine görünmeyen ışık değişiklikleri, yeni yöntemle büyütülüyor, bu yöntem, değişim alanlarını tanımlamak için convolutional neural networks kullanıyor. Kaynak: https://www.youtube.com/watch?v=K4PapXyXX-bI

Yeni makale, Boş Bir Duvara Bakarak Ne Öğrenebilirsiniz başlığını taşıyor ve NVIDIA, MIT ve İsrail Teknoloji Enstitüsü’nden katkıda bulunanlar bulunuyor.

Duvarların arkasını görme konusundaki önceki yaklaşımlar, kontrollü ışık kaynaklarına veya bilinen engelleme kaynaklarına ilişkin önceden bilgiye dayanıyordu, ancak yeni teknik, herhangi bir yeni odaya genelleştirilebilir ve yeniden kalibrasyona gerek yoktur. Gizli insanları ayıran iki convolutional neural network, yalnızca 20 sahnedeki verilerden faydalandı.

Proje, yüksek riskli, güvenlik açısından kritik durumlar, arama ve kurtarma operasyonları, genel law enforcement gözetim görevleri, acil durum senaryoları, yaşlı insanların düşme tespiti ve otonom araçlar için gizli yayanları tespit etmek için tasarlandı.

Pasif Değerlendirme

Bilgisayarlı görme projeleri ile sık sık karşılaşıldığı gibi, merkezi görev, bir görüntü akışındaki algılanan durum değişikliklerini tanımlamak, sınıflandırmak ve işlevselleştirmekti. Değişiklikleri birleştirmek, bir dizi insanı tanımlamak veya bir veya daha fazla insanın faaliyetini tespit etmek için kullanılabilen imzalı desenler oluşturur.

Çalışma, yansıyan yüzeyler, Wi-Fi sinyalleri, radar, ses veya diğer araştırmalarda gizli insan varlığını belirlemek için gereken diğer “özel koşullar” olmadan tamamen pasif sahne değerlendirmesi olasılığını açıyor.

Yeni araştırmada kullanılan bir örnek veri toplama senaryosu. Konular, gölgeler oluşturmamak veya ışıkları doğrudan engellememek için dikkatlice yerleştirilir ve yansıyan yüzeyler veya diğer ‘hile’ vektörleri izin verilmez. Kaynak: https://arxiv.org/pdf/2108.13027.pdf

Etkili bir şekilde, tipik bir senaryo için ortam ışığı, insanların başka bir yerde gizli olduğu sahnedeki küçük pertürbasyonları kolayca bastırabilir. Araştırmacılar, insanların ışığa olan katkısının genellikle toplam görünen ışığın %1’inden daha az olacağını hesaplıyorlar.

Statik Aydınlatmanın Kaldırılması

Görünüşte statik duvar görüntüsünden hareketi çıkarmak için, videonun zaman ortalama değerini hesaplamak ve her kareden çıkarmak gerekiyor. Hareket kalıpları genellikle iyi kaliteli video ekipmanının gürültü eşiğinin altında kalıyor ve aslında çoğu hareket negatif piksel alanında gerçekleşiyor.

Bunu gidermek için araştırmacılar, videonun 16 faktörle aşağı örneklemesini indirip, ardından ortaya çıkan görüntüyü 50 faktörle yukarı örneklemesini çıkarıyor ve negatif pikselleri (temel video sensör gürültüsü tarafından hesaba katılamayan) ayırt edebilmek için orta gri temel seviyesini ekliyorlar.

İnsan gözüyle algılanan duvar ve çıkarılan gizli bireylerin pertürbasyonu arasındaki fark. Görüntü kalitesi bu araştırmada merkezi bir sorun olduğundan, daha yüksek kaliteli bir görüntü için makalenin sonundaki resmi videoya bakınız.

Hareketi algılama fırsatı çok kırılgan ve 60 Hz AC frekansında ışık titreşimleri bile etkileyebiliyor. Bu nedenle, bu doğal pertürbasyon da personele bağlı hareket ortaya çıkmeden önce videodan değerlendirilmeli ve çıkarılmalıdır.

Son olarak, sistem, gizli oda sakinlerinin belirli bir sayısını gösteren uzay-zaman grafikleri üretiyor – ayrık görsel imzalar:

Odadaki gizli insan sayısını temsil eden imza uzay-zaman grafikleri.

Farklı insan faaliyetleri de imzalı pertürbasyonlara neden olacak ve daha sonra sınıflandırılabilecek ve tanınabilecek:

Etkinliklerin uzay-zaman grafikleri imzaları: inaktivite, yürüme, çömelme, el sallama ve zıplama.

Gizli insan tanıma için otomatik bir makine öğrenimi tabanlı iş akışı üretmek için, 20 uygun senaryodan çeşitli görüntüler kullanılarak, birini insan sayısını saymak için ve diğerini hareketi tanımlamak için çalışan iki sinir ağı eğitildi.

Test

Araştırmacılar, eğitilen sistemi, nihai dağıtımda öngörülen kısıtlamaları yeniden yaratmak üzere tasarlanmış on gerçek dünya ortamında test etti. Sistem, 256 kare (tipik olarak 8 saniyeden biraz fazla video) üzerinde gizli insan sayısını sınıflandırmada %94,4’e kadar doğruluk elde edebildi ve aynı koşullarda faaliyetleri sınıflandırmada %93,7’ye kadar doğruluk elde edebildi. Doğruluk, kaynak çerçevelerin sayısının azalmasıyla düşmese de, bu düşüş lineer değil; 64 kare bile ‘insan sayımı’ değerlendirmesi için %79,4’lük bir doğruluk oranına ulaşabiliyor (dört kat daha fazla kareye yakın %95’e karşı).

Yöntem, hava koşullarına bağlı aydınlatma değişikliklerine karşı robust olsa da, bir televizyon tarafından aydınlatılan bir sahne veya insanların duvara yansıyan aynı renkteki tek renkli giysiler giydiği durumlarda mücadele ediyor.

Araştırmayla ilgili daha fazla ayrıntı, çıkarılan görüntülerin daha yüksek kaliteli videoları da dahil olmak üzere, aşağıdaki resmi videoda görülebilir.