AI, Boş Duvarların Ortaya Çıkardığı Gizli Etkinliği Ortaya Çıkarıyor

NVIDIA ve MIT'den katkıda bulunanların da dahil olduğu bir araştırma işbirliği, insanlar aydınlatıcı ışık kaynaklarının yakınında olmasa bile, yakındaki bir duvardaki dolaylı aydınlatmayı gözlemleyerek gizli insanları tespit edebilen bir makine öğrenme yöntemi geliştirdi. Yöntem, gizli kişilerin sayısını belirlemeye çalışırken %94'e yakın bir doğruluğa sahip ve aynı zamanda insan gözüyle görülmeyen ışık sıçramalarını ve standart görüntü güçlendirme yöntemlerine göre büyük ölçüde güçlendirerek gizli bir kişinin belirli aktivitesini de tanımlayabiliyor.

Değişim alanlarını belirlemek için evrişimli sinir ağlarını kullanan yeni yöntemle güçlendirilen, algılanamayan ışık bozulmaları. Kaynak: https://www.youtube.com/watch?v=K4PapXyX-bI

Yeni kâğıt başlıklı Boş Bir Duvara Bakarak Ne Öğrenebilirsiniz?, NVIDIA ve MIT'nin yanı sıra İsrail Teknoloji Enstitüsü'nün katkılarıyla.

'Duvarların arkasını görme' konusundaki önceki yaklaşımlar, kontrol edilebilir ışık kaynaklarına veya bilinen tıkanıklık kaynaklarına dair önceden edinilmiş bilgilere dayanıyordu. Oysa yeni teknik, herhangi bir yeni odaya genelleştirilebiliyor ve yeniden kalibrasyon gerektirmiyor. Gizli kişileri bireyselleştiren iki evrişimli sinir ağı, yalnızca 20 sahneden elde edilen verileri kullandı.

Proje, arama ve kurtarma operasyonları, genel kolluk gözetim görevleri, acil durum müdahale senaryoları, yaşlı insanlar arasında düşme tespiti ve otonom araçlar için gizli yayaları tespit etme aracı olarak yüksek riskli, güvenlik açısından kritik durumlara yöneliktir.

Pasif Değerlendirme

Bilgisayarla görme projelerinde sıklıkla olduğu gibi, merkezi görev, bir görüntü akışında algılanan durum değişikliklerini tanımlamak, sınıflandırmak ve operasyonel hale getirmekti. Değişikliklerin birleştirilmesi, birden fazla kişiyi tanımlamak veya bir veya daha fazla kişinin etkinliğini tespit etmek için kullanılabilecek imza modellerine yol açar.

Çalışma, yansıtıcı yüzeylerin kullanılmasına gerek kalmadan tamamen pasif sahne değerlendirmesi imkanı sunuyor. Wi-Fi sinyalleri, radar, ses veya son yıllarda tehlikeli veya kritik bir ortamda gizli insan varlığını tespit etmeyi amaçlayan diğer araştırma çabalarında gerekli olan herhangi bir diğer 'özel durum'.

Yeni araştırma için kullanılan türden örnek bir veri toplama senaryosu. Denekler, gölge oluşturmayacak veya ışıkları doğrudan engellemeyecek şekilde dikkatlice konumlandırılmıştır ve yansıtıcı yüzeylere veya diğer "hile" vektörlere izin verilmemektedir. Kaynak: https://arxiv.org/pdf/2108.13027.pdf

Etkili bir şekilde, uygulama için öngörülen tipik senaryo için ortam ışığı, sahnede başka bir yere gizlenmiş insanlardan yansıyan ışığın neden olduğu her türlü küçük bozulmayı bastıracaktır. Araştırmacılar, bireylerin ışık bozulmasına katkısının tipik olarak toplam görünür ışığın %1'inden az olacağını hesaplıyor.

Statik Aydınlatmayı Kaldırma

Görünüşte durağan bir duvar görüntüsünden hareket çıkarmak için, videonun zamansal ortalamasının hesaplanması ve her kareden çıkarılması gerekir. Ortaya çıkan hareket desenleri genellikle kaliteli video ekipmanlarının bile gürültü eşiğinin altındadır ve aslında hareketin büyük bir kısmı negatif bir piksel alanında gerçekleşir.

Bunu düzeltmek için, araştırmacılar videoyu 16 kat küçültüyor ve ortaya çıkan görüntüyü 50 kat yukarı ölçeklendiriyor, bu arada negatif piksellerin varlığını ayırt etmek için bir orta gri taban seviyesi ekliyor (bu, temel video tarafından açıklanamadı) sensör gürültüsü).

İnsan tarafından algılanan duvar ile gizli bireylerin çıkarılan pertürbasyonu arasındaki fark. Görüntü kalitesi bu araştırmada merkezi bir konu olduğundan, daha yüksek kaliteli bir görüntü için lütfen makalenin sonundaki resmi videoya bakın.

Hareketi algılama fırsatı penceresi çok kırılgandır ve 60 Hz AC frekansındaki ışıkların titremesinden bile etkilenebilir. Bu nedenle, kişi kaynaklı hareket ortaya çıkmadan önce bu doğal tedirginliğin de değerlendirilmesi ve görüntüden çıkarılması gerekir.

Son olarak, sistem, belirli sayıda gizli oda sakinine işaret eden uzay-zaman grafikleri üretir - ayrık görsel imzalar:

Bir odadaki farklı sayıda gizli insanı temsil eden imza uzay-zaman grafikleri.

Farklı insan faaliyetleri ayrıca sınıflandırılabilecek ve daha sonra tanınabilecek belirgin bozulmalara yol açacaktır:

Hareketsizlik, yürüme, çömelme, el sallama ve zıplama için uzay-zaman çizimi imzaları.

Gizli kişi tanıma için otomatik makine öğrenimi tabanlı bir iş akışı üretmek amacıyla, geniş ölçüde benzer yapılandırmalarda çalışan iki sinir ağını eğitmek için 20 uygun senaryodan çeşitli görüntüler kullanıldı - biri bir sahnedeki insan sayısını saymak için, diğeri ise meydana gelen herhangi bir hareketi tanımlayın.

Test yapmak

Araştırmacılar, eğitilmiş sistemi, nihai uygulama için öngörülen sınırlamaları yeniden oluşturmak üzere tasarlanmış, on adet görülmemiş gerçek dünya ortamında test ettiler. Sistem, gizli kişi sayısını sınıflandırmada %94.4'e varan bir doğruluk oranına (256 karede - genellikle 8 saniyenin biraz üzerinde videoda) ve aktiviteleri sınıflandırmada %93.7'ye varan bir doğruluk oranına (aynı koşullar altında) ulaştı. Kaynak kare sayısı azaldıkça doğruluk oranı düşse de, bu doğrusal bir düşüş değildir ve 64 kare bile "kişi sayısı" değerlendirmesinde %79.4'lük bir doğruluk oranına ulaşacaktır (kare sayısının dört katı için yaklaşık %95'e kıyasla).

Yöntem, aydınlatmadaki hava durumuna bağlı değişikliklere karşı dayanıklı olsa da, televizyon tarafından aydınlatılan bir sahnede veya insanların yansıtan duvarla aynı renkte tek renkli giysiler giydiği durumlarda mücadele eder.

Çıkarmaların yüksek kaliteli görüntüleri de dahil olmak üzere araştırmanın daha fazla detayı aşağıdaki resmi videoda görülebilir.