AI, Boş Duvarların Ortaya Çıkardığı Gizli Etkinliği Ortaya Çıkarıyor

NVIDIA ve MIT'den katkıda bulunanların da dahil olduğu bir araştırma işbirliği, insanlar aydınlatıcı ışık kaynaklarının yakınında olmasa bile, yakındaki bir duvardaki dolaylı aydınlatmayı gözlemleyerek gizli insanları tespit edebilen bir makine öğrenme yöntemi geliştirdi. Yöntem, gizli kişilerin sayısını belirlemeye çalışırken %94'e yakın bir doğruluğa sahip ve aynı zamanda insan gözüyle görülmeyen ışık sıçramalarını ve standart görüntü güçlendirme yöntemlerine göre büyük ölçüde güçlendirerek gizli bir kişinin belirli aktivitesini de tanımlayabiliyor.

Değişim alanlarını belirlemek için evrişimli sinir ağlarını kullanan yeni yöntemle güçlendirilen, algılanamayan ışık bozulmaları. Kaynak: https://www.youtube.com/watch?v=K4PapXyX-bI

Yeni kâğıt başlıklı Boş Bir Duvara Bakarak Ne Öğrenebilirsiniz?, NVIDIA ve MIT'nin yanı sıra İsrail Teknoloji Enstitüsü'nün katkılarıyla.

'Duvarların arkasını görmeye' ilişkin önceki yaklaşımlar, kontrol edilebilir ışık kaynaklarına veya bilinen kapatma kaynaklarına ilişkin önceden bilgilere dayanıyordu; oysa yeni teknik, yeniden kalibrasyon gerektirmeden herhangi bir yeni odaya genellenebilir. Gizli kişileri bireyselleştiren iki evrişimli sinir ağı, yalnızca 20 sahneden elde edilen verileri kullandı.

Proje, arama ve kurtarma operasyonları, genel kolluk gözetim görevleri, acil durum müdahale senaryoları, yaşlı insanlar arasında düşme tespiti ve otonom araçlar için gizli yayaları tespit etme aracı olarak yüksek riskli, güvenlik açısından kritik durumlara yöneliktir.

Pasif Değerlendirme

Bilgisayarla görme projelerinde sıklıkla olduğu gibi, merkezi görev, bir görüntü akışında algılanan durum değişikliklerini tanımlamak, sınıflandırmak ve operasyonel hale getirmekti. Değişikliklerin birleştirilmesi, birden fazla kişiyi tanımlamak veya bir veya daha fazla kişinin etkinliğini tespit etmek için kullanılabilecek imza modellerine yol açar.

Çalışma, yansıtıcı yüzeylerin kullanılmasına gerek kalmadan tamamen pasif sahne değerlendirmesi imkanı sunuyor. Wi-Fi sinyalleri, radar, ses veya tehlikeli veya kritik bir ortamda gizli insan varlığını tespit etmeye çalışan son yıllardaki diğer araştırma çabalarının gerektirdiği diğer "özel durumlar".

Yeni araştırma için kullanılan türden örnek bir veri toplama senaryosu. Denekler, gölge oluşturmayacak veya herhangi bir ışığı doğrudan kapatmayacak şekilde dikkatlice konumlandırılır ve hiçbir yansıtıcı yüzeye veya diğer 'hile' vektörlerine izin verilmez. Kaynak: https://arxiv.org/pdf/2108.13027.pdf

Etkili bir şekilde, uygulama için öngörülen tipik senaryo için ortam ışığı, sahnede başka bir yere gizlenmiş insanlardan yansıyan ışığın neden olduğu her türlü küçük bozulmayı bastıracaktır. Araştırmacılar, bireylerin ışık bozulmasına katkısının tipik olarak toplam görünür ışığın %1'inden az olacağını hesaplıyor.

Statik Aydınlatmayı Kaldırma

Görünüşte statik duvar görüntüsünden hareket çıkarmak için, videonun zamansal ortalamasını hesaplamak ve her kareden çıkarmak gerekir. Ortaya çıkan hareket kalıpları, genellikle iyi kaliteli video ekipmanının bile gürültü eşiğinin altındadır ve aslında hareketin çoğu, negatif bir piksel alanı içinde gerçekleşir.

Bunu düzeltmek için, araştırmacılar videoyu 16 kat küçültüyor ve ortaya çıkan görüntüyü 50 kat yukarı ölçeklendiriyor, bu arada negatif piksellerin varlığını ayırt etmek için bir orta gri taban seviyesi ekliyor (bu, temel video tarafından açıklanamadı) sensör gürültüsü).

İnsan tarafından algılanan duvar ile gizli bireylerin çıkarılan pertürbasyonu arasındaki fark. Görüntü kalitesi bu araştırmada merkezi bir konu olduğundan, daha yüksek kaliteli bir görüntü için lütfen makalenin sonundaki resmi videoya bakın.

Hareketi algılama fırsatı penceresi çok kırılgandır ve 60 Hz AC frekansındaki ışıkların titremesinden bile etkilenebilir. Bu nedenle, kişi kaynaklı hareket ortaya çıkmadan önce bu doğal tedirginliğin de değerlendirilmesi ve görüntüden çıkarılması gerekir.

Son olarak, sistem, belirli sayıda gizli oda sakinine işaret eden uzay-zaman grafikleri üretir - ayrık görsel imzalar:

Bir odadaki farklı sayıda gizli insanı temsil eden imza uzay-zaman grafikleri.

Farklı insan faaliyetleri ayrıca sınıflandırılabilecek ve daha sonra tanınabilecek belirgin bozulmalara yol açacaktır:

Hareketsizlik, yürüme, çömelme, el sallama ve zıplama için uzay-zaman çizimi imzaları.

Gizli kişi tanıma için otomatik makine öğrenimi tabanlı bir iş akışı üretmek amacıyla, geniş ölçüde benzer yapılandırmalarda çalışan iki sinir ağını eğitmek için 20 uygun senaryodan çeşitli görüntüler kullanıldı - biri bir sahnedeki insan sayısını saymak için, diğeri ise meydana gelen herhangi bir hareketi tanımlayın.

Test yapmak

Araştırmacılar, eğitimli sistemi, nihai dağıtım için öngörülen sınırlamaları yeniden oluşturmak üzere tasarlanmış, görünmeyen on gerçek dünya ortamında test etti. Sistem, gizli kişilerin sayısını sınıflandırmada %94.4'e varan doğruluk (256 karenin üzerinde - tipik olarak 8 saniyeden biraz fazla video) ve etkinlikleri sınıflandırmada (aynı koşullar altında) %93.7'ye varan doğruluk elde edebildi. Doğruluk, daha az kaynak kareyle düşse de, bu doğrusal bir düşüş değildir ve 64 kare bile 'insan sayısı' değerlendirmesinde %79.4'lük bir doğruluk oranına ulaşacaktır (kare sayısının dört katı için yaklaşık %95'e karşı).

Yöntem, aydınlatmadaki hava durumuna bağlı değişikliklere karşı dayanıklı olsa da, televizyon tarafından aydınlatılan bir sahnede veya insanların yansıtan duvarla aynı renkte tek renkli giysiler giydiği durumlarda mücadele eder.

Çıkarmaların yüksek kaliteli görüntüleri de dahil olmak üzere araştırmanın daha fazla detayı aşağıdaki resmi videoda görülebilir.