AI, Duvarlarda Gizli Aktiviteyi Açığa Çıkarıyor

Bir araştırma işbirliği, NVIDIA ve MIT’den katkıda bulunanlar dahil, bir makine öğrenimi yöntemi geliştirdi. Bu yöntem, yakındaki bir duvarda dolaylı aydınlatmayı观learak gizli insanları tanımlayabiliyor. Hatta insanlar aydınlatma kaynaklarına yakın bile olmasa. Bu yöntem, gizli insanları tanımlamaya çalışırken %94’e yakın bir doğruluk payına sahip. Ayrıca, gizli bir insanın spesifik aktivitesini de, insan gözlerine ve standart görüntü büyütme yöntemlerine görünmeyen ışık seğirmeğini büyük ölçüde artırarak tanımlayabiliyor.

İnsan gözlerine görünmeyen ışık değişiklikleri, yeni yöntemle büyütülüyor. Kaynak: https://www.youtube.com/watch?v=K4PapXyX-bI

Yeni makale, Boş Bir Duvara Bakarak Nelere Öğrenilebilir başlığını taşıyor. Bu makaleye, NVIDIA ve MIT’den yanı sıra İsrail Teknoloji Enstitüsü’den de katkıda bulunanlar yer alıyor.

Önceki “duvarların arkasını görmek” yöntemleri, kontrollü ışık kaynaklarına veya bilinen engelleme kaynaklarına dayanıyordu. Ancak yeni teknik, herhangi bir yeni odaya genelleştirilebilir ve yeniden kalibrasyona gerek duyulmuyor. Gizli insanları tanımlamak için kullanılan iki convolutional neural network, yalnızca 20 sahne verisinden elde edilen verilerle eğitildi.

Bu proje, yüksek riskli, güvenlik açısından kritik durumlar için, arama ve kurtarma operasyonları, genel polis gözetimi görevleri, acil durum senaryoları, yaşlı insanların düşme tespiti için ve otonom araçlar için gizli yayaların tespiti amacıyla tasarlandı.

Pasif Değerlendirme

Bilgisayarlı görü yöntemleri projelerinde sıkça görüldüğü gibi, temel görev, görüntüdeki değişim durumlarını tanımlamak, sınıflandırmak ve işleyebilmekti. Değişiklikleri birleştirmek, bireylerin sayısını belirlemek veya bir ya da daha fazla bireyin aktivitesini tespit etmek için kullanılan imzalı kalıplar oluşturuyor.

Çalışma, tamamen pasif sahne değerlendirmesi olasılığını açıyor. Bu, yansıtıcı yüzeyler, Wi-Fi sinyalleri, radar, ses veya diğer özel koşulların gerekmediği anlamına geliyor.

Yeni araştırmada kullanılan veri toplama senaryosunun bir örneği. Kaynak: https://arxiv.org/pdf/2108.13027.pdf

Etkili bir şekilde, tipik senaryodaki ambiente ışık, sahnedeki diğer insanlardan kaynaklanan küçük ışık değişikliklerini gölgelendiriyor. Araştırmacılar, insanların ışık bozulma katkısının genellikle toplam görünen ışığın %1’den az olacağını hesaplıyor.

Durağan Aydınlatmanın Kaldırılması

Görünüşte durağan duvar görüntüsünden hareketi çıkarmak için, videonun zaman ortalama değerini hesaplamak ve her kareden çıkarmak gerekiyor. Sonuç olarak ortaya çıkan hareket kalıpları genellikle iyi kaliteli video ekipmanlarının gürültü eşiğinin altında kalıyor ve hareketin çoğu negatif piksel alanında gerçekleşiyor.

Bu sorunu çözmek için araştırmacılar, videonun çözünürlüğünü 16 faktörle küçültüyor ve sonra sonucu 50 faktörle büyütüyor. Ayrıca, negatif piksellerin varlığını belirlemek için orta gri bir temel seviye ekliyorlar.

İnsan gözüyle algılanan duvar ve çıkarılan gizli bireylerin ışık değişikliği.

Hareketi algılamak için olan fırsat çok kırılgan ve hatta 60 Hz AC frekansında ışık titreşimleri bile etkileyebiliyor. Bu nedenle, bu doğal değişikliklerin de değerlendirilmesi ve hareketin ortaya çıkmasından önce videodan çıkarılması gerekiyor.

Sonuç olarak, sistem, gizli oda sakinlerinin sayısını gösteren uzay-zaman grafikleri üretiyor:

Farklı sayıda gizli insanın uzay-zaman grafik imzaları.

Farklı insan aktiviteleri de, sınıflandırılabilecek ve daha sonra tanınabilecek imzalı değişikliklere yol açıyor:

İnzivaya, yürümeye, çömelmeye, el sallamaya ve zıplamaya karşılık gelen uzay-zaman grafik imzaları.

Gizli insan tanımlama için otomatik bir makine öğrenimi tabanlı iş akışı üretmek amacıyla, 20 farklı senaryodan elde edilen çeşitli görüntüler kullanılarak iki sinir ağı eğitildi. Bu ağlardan biri, bir sahnedeki insan sayısını belirlemek için, diğeri ise herhangi bir hareketi tanımlamak için tasarlandı.

Test Edilmesi

Araştırmacılar, eğitilen sistemi, beklenen sınırlamaları yeniden yaratmak amacıyla tasarlanmış on gerçek dünya ortamında test etti. Sistem, 256 kare (genellikle 8 saniyeden biraz fazla video) üzerinden gizli insan sayısını sınıflandırmada %94.4’e varan bir doğruluk payına ulaştı. Aynı koşullarda aktivite sınıflandırmasında %93.7’ye varan bir doğruluk payına ulaştı. Doğruluk payı, kaynak karelerin sayısının azalmasıyla düşüyor, ancak bu düşüş lineer değil. Hatta 64 kare bile, insan sayısının değerlendirilmesinde %79.4’lük bir doğruluk payına ulaşıyor (nearly 95’e kıyasla).

Yöntem, hava koşullarına bağlı aydınlatma değişikliklerine karşı dayanıklı olsa da, bir televizyon tarafından aydınlatılan bir sahne veya insanların yansıyan duvara aynı renkteki tek renkli giysiler giydiği durumlarda zorluk yaşıyor.

Araştırmayla ilgili daha fazla ayrıntı, çıkarılan görüntülerin daha yüksek kaliteli videoları, makalenin sonunda bulunan resmi videoda görülebilir.