‘Rute Rahasia’ yang Dapat Menggagalkan Sistem Pengenalan Wajah Pejalan Kaki

Sebuah kolaborasi penelitian baru antara Israel dan Jepang berpendapat bahwa sistem deteksi pejalan kaki memiliki kelemahan bawaan, yang memungkinkan individu yang terinformasi dengan baik untuk menghindari sistem pengenalan wajah dengan menavigasi rute yang direncanakan dengan hati-hati melalui area di mana jaringan pengawasan paling tidak efektif.

Dengan bantuan rekaman yang tersedia secara publik dari Tokyo, New York, dan San Francisco, para peneliti mengembangkan metode otomatis untuk menghitung rute tersebut, berdasarkan sistem pengenalan objek yang paling populer dan kemungkinan digunakan dalam jaringan pengawasan publik.

Tiga persimpangan yang digunakan dalam studi: Shibuya Crossing di Tokyo, Jepang; Broadway, New York; dan Castro District, San Francisco. Sumber: https://arxiv.org/pdf/2501.15653

Dengan metode ini, memungkinkan untuk menghasilkan peta panas kepercayaan yang membatasi area dalam umpan kamera di mana pejalan kaki paling tidak mungkin memberikan hit pengenalan wajah yang positif:

Di sebelah kanan, kita melihat peta panas kepercayaan yang dihasilkan oleh metode peneliti. Area merah menunjukkan kepercayaan rendah, dan konfigurasi sikap, pose kamera, dan faktor lain yang kemungkinan menghalangi pengenalan wajah.

Secara teori, metode seperti ini dapat diinstrumentalisasi menjadi aplikasi yang sadar lokasi, atau platform lain untuk menyebarkan rute yang paling tidak ‘ramah pengenalan’ dari A ke B di lokasi yang dihitung.

Makalah baru ini mengusulkan metodologi tersebut, yang berjudul Teknik Peningkatan Privasi Berbasis Lokasi (L-PET); juga mengusulkan tindakan pencegahan yang berjudul Ambang Batas Adaptif Berbasis Lokasi (L-BAT), yang pada dasarnya menjalankan rutinitas yang sama, tetapi kemudian menggunakan informasi untuk memperkuat dan memperbaiki pengawasan, bukan mengembangkan cara untuk menghindari pengenalan; dan dalam banyak kasus, perbaikan seperti itu tidak mungkin tanpa investasi lebih lanjut dalam infrastruktur pengawasan.

Makalah ini oleh karena itu membangun perang teknologi eskalasi potensial antara mereka yang mencari untuk mengoptimalkan rute mereka untuk menghindari deteksi dan kemampuan sistem pengawasan untuk memanfaatkan teknologi pengenalan wajah secara maksimal.

Metode sebelumnya untuk menggagalkan deteksi kurang elegan daripada ini, dan berfokus pada pendekatan adversarial, seperti TnT Attacks, dan penggunaan pola cetak untuk membingungkan algoritma deteksi.

Karya 2019 ‘Mengelabui kamera pengawasan otomatis: patch adversarial untuk menyerang deteksi orang’ menunjukkan pola cetak adversarial yang dapat membujuk sistem pengenalan bahwa tidak ada orang yang terdeteksi, memungkinkan jenis ‘ketidakkelihatan’. Sumber: https://arxiv.org/pdf/1904.08653

Peneliti di balik makalah baru ini mengamati bahwa pendekatan mereka memerlukan persiapan yang lebih sedikit, tanpa perlu mengembangkan barang yang dapat dikenakan yang adversarial (lihat gambar di atas).

Makalah ini berjudul Teknik Peningkatan Privasi untuk Menghindari Deteksi oleh Kamera Video Jalan Tanpa Menggunakan Aksesoris Adversarial, dan berasal dari lima peneliti di Ben-Gurion University of the Negev dan Fujitsu Limited.

Metode dan Pengujian

Sesuai dengan karya sebelumnya seperti Adversarial Mask, AdvHat, patch adversarial, dan berbagai karya lain yang serupa, para peneliti mengasumsikan bahwa pejalan kaki ‘penyerang’ mengetahui sistem deteksi objek yang digunakan dalam jaringan pengawasan. Ini sebenarnya bukan asumsi yang tidak masuk akal, karena adopsi sistem sumber terbuka yang mutakhir seperti YOLO dalam sistem pengawasan dari perusahaan seperti Cisco dan Ultralytics (saat ini merupakan kekuatan penggerak utama dalam pengembangan YOLO).

Makalah ini juga mengasumsikan bahwa pejalan kaki memiliki akses ke siaran langsung di internet yang difokuskan pada lokasi yang akan dihitung, yang, lagi-lagi, merupakan asumsi yang masuk akal di sebagian besar tempat yang kemungkinan memiliki intensitas cakupan.

Situs seperti 511ny.org menawarkan akses ke banyak kamera pengawasan di area NYC. Sumber: https://511ny.or

Selain itu, pejalan kaki memerlukan akses ke metode yang diusulkan, dan ke adegan itu sendiri (yaitu, persimpangan dan rute di mana rute ‘aman’ akan ditetapkan).

Untuk mengembangkan L-PET, para peneliti mengevaluasi efek sudut pejalan kaki terhadap kamera; efek ketinggian kamera; efek jarak; dan efek waktu hari. Untuk mendapatkan kebenaran, mereka memotret seorang orang pada sudut 0°, 45°, 90°, 135°, 180°, 225°, 270°, dan 315°.

Pengamatan kebenaran yang dilakukan oleh para peneliti.

Mereka mengulangi variasi ini pada tiga ketinggian kamera yang berbeda (0,6m, 1,8m, 2,4m), dan dengan kondisi pencahayaan yang bervariasi (pagi, siang, malam, dan ‘lab’ kondisi).

Memasukkan rekaman ini ke dalam Faster R-CNN dan YOLOv3 detektor objek, mereka menemukan bahwa kepercayaan objek tergantung pada sudut pejalan kaki, jarak pejalan kaki, ketinggian kamera, dan kondisi pencahayaan*.

Para peneliti kemudian menguji rentang yang lebih luas dari detektor objek dalam skenario yang sama: Faster R-CNN; YOLOv3; SSD; DiffusionDet; dan RTMDet.

Para peneliti menyatakan:

‘Kami menemukan bahwa semua lima arsitektur detektor objek dipengaruhi oleh posisi pejalan kaki dan cahaya sekitar. Selain itu, kami menemukan bahwa untuk tiga dari lima model (YOLOv3, SSD, dan RTMDet) efeknya bertahan melalui semua tingkat cahaya sekitar.’

Untuk memperluas cakupan, para peneliti menggunakan rekaman yang diambil dari kamera lalu lintas yang tersedia secara publik di tiga lokasi: Shibuya Crossing di Tokyo, Broadway di New York, dan Castro District di San Francisco.

Setiap lokasi menyediakan antara lima dan enam rekaman, dengan sekitar empat jam rekaman per rekaman. Untuk menganalisis kinerja deteksi, satu bingkai diambil setiap dua detik, dan diproses menggunakan detektor objek Faster R-CNN. Untuk setiap piksel dalam bingkai yang diperoleh, metode ini memperkirakan rata-rata kepercayaan ‘deteksi orang’ kotak pembatas yang ada di piksel tersebut.

‘Kami menemukan bahwa di semua tiga lokasi, kepercayaan detektor objek bervariasi tergantung pada lokasi orang dalam bingkai. Misalnya, dalam rekaman Shibuya Crossing, ada area besar dengan kepercayaan rendah yang lebih jauh dari kamera, serta lebih dekat dengan kamera, di mana tiang sebagian menghalangi pejalan kaki yang lewat.’

Metode L-PET pada dasarnya adalah prosedur ini, yang dapat dianggap ‘dipersenjatai’ untuk mendapatkan rute melalui area perkotaan yang paling tidak mungkin menghasilkan pejalan kaki yang berhasil dikenali.

Sebaliknya, L-BAT mengikuti prosedur yang sama, dengan perbedaan bahwa ia memperbarui skor dalam sistem deteksi, membuat umpan balik yang dirancang untuk menghilangkan pendekatan L-PET dan membuat ‘area buta’ sistem lebih efektif.

(Dalam istilah praktis, bagaimanapun, memperbaiki cakupan berdasarkan peta panas yang diperoleh akan memerlukan lebih dari sekadar peningkatan kamera yang ada di posisi yang diharapkan; berdasarkan kriteria pengujian, termasuk lokasi, itu akan memerlukan pemasangan kamera tambahan untuk menutupi area yang diabaikan – oleh karena itu dapat diperdebatkan bahwa metode L-PET memperburuk ‘perang dingin’ ini menjadi skenario yang sangat mahal)

Rata-rata kepercayaan deteksi pejalan kaki untuk setiap piksel, di seluruh kerangka detektor yang berbeda, di area Castro Street yang diamati, dianalisis melalui lima video. Setiap video direkam di bawah kondisi pencahayaan yang berbeda: sunrise, siang hari, sunset, dan dua pengaturan malam yang berbeda. Hasilnya disajikan secara terpisah untuk setiap skenario pencahayaan.

Setelah mengubah representasi matriks berbasis piksel menjadi representasi grafik yang sesuai untuk tugas, para peneliti menyesuaikan algoritma Dijkstra untuk menghitung rute optimal bagi pejalan kaki untuk menavigasi melalui area dengan deteksi pengawasan yang berkurang.

Sebagai gantinya untuk menemukan rute terpendek, algoritma ini dimodifikasi untuk meminimalkan kepercayaan deteksi, memperlakukan area dengan kepercayaan tinggi sebagai area dengan ‘biaya’ yang lebih tinggi. Penyesuaian ini memungkinkan algoritma untuk mengidentifikasi rute yang melewati area buta atau zona deteksi rendah, secara efektif memandu pejalan kaki sepanjang rute dengan visibilitas yang berkurang ke sistem pengawasan.

Visualisasi yang menunjukkan transformasi peta panas adegan dari matriks berbasis piksel ke representasi berbasis grafik.

Para peneliti mengevaluasi dampak sistem L-BAT pada deteksi pejalan kaki dengan dataset yang dibangun dari empat jam rekaman lalu lintas pejalan kaki yang disebutkan sebelumnya. Untuk mempopulasikan koleksi, satu bingkai diproses setiap dua detik menggunakan detektor objek SSD.

Dari setiap bingkai, satu kotak pembatas dipilih yang berisi orang yang terdeteksi sebagai sampel positif, dan area acak lain dengan tidak ada orang yang terdeteksi digunakan sebagai sampel negatif. Sampel kembar ini membentuk dataset untuk mengevaluasi dua model Faster R-CNN – satu dengan L-BAT diterapkan, dan satu tanpa.

Kinerja model ini dievaluasi dengan memeriksa seberapa akurat mereka mengidentifikasi sampel positif dan negatif: kotak pembatas yang tumpang tindih dengan sampel positif dianggap sebagai benar positif, sedangkan kotak pembatas yang tumpang tindih dengan sampel negatif dilabeli sebagai palsu positif.

Metri yang digunakan untuk menentukan keandalan deteksi L-BAT adalah Area Under the Curve (AUC); tingkat positif benar (TPR); tingkat positif palsu (FPR); dan rata-rata kepercayaan positif benar. Para peneliti menyatakan bahwa penggunaan L-BAT meningkatkan kepercayaan deteksi sambil mempertahankan tingkat positif benar yang tinggi (meskipun dengan sedikit peningkatan positif palsu).

Menutup, para peneliti mencatat bahwa pendekatan ini memiliki beberapa keterbatasan. Salah satunya adalah bahwa peta panas yang dihasilkan oleh metode mereka spesifik untuk waktu hari tertentu. Meskipun mereka tidak memperluasnya, ini akan menunjukkan bahwa pendekatan yang lebih luas dan berlapis diperlukan untuk mempertimbangkan waktu hari dalam penerapan yang lebih fleksibel.

Mereka juga mengamati bahwa peta panas tidak akan ditransfer ke arsitektur model yang berbeda, dan terikat pada model detektor objek tertentu. Karena pekerjaan yang diusulkan pada dasarnya adalah konsep bukti, arsitektur yang lebih terampil juga dapat dikembangkan untuk memperbaiki utang teknis ini.

Kesimpulan

Setiap metode serangan baru yang solusinya adalah ‘membayar kamera pengawasan baru’ memiliki kelebihan, karena memperluas jaringan kamera sipil di area yang sangat diawasi dapat menantang secara politik, serta mewakili biaya sipil yang signifikan yang biasanya memerlukan mandat pemilih.

Pertanyaan terbesar yang diajukan oleh karya ini adalah ‘Apakah sistem pengawasan tertutup menggunakan kerangka kerja SOTA sumber terbuka seperti YOLO?’ . Ini, tentu saja, tidak mungkin untuk diketahui, karena pembuat sistem propietary yang menggerakkan banyak jaringan kamera negara dan sipil (setidaknya di AS) akan berpendapat bahwa mengungkapkan penggunaan seperti itu mungkin membuka mereka untuk diserang.

Bagaimanapun, migrasi IT pemerintah dan kode propietary internal ke kode global dan sumber terbuka akan menunjukkan bahwa siapa pun yang menguji klaim peneliti dengan (misalnya) YOLO mungkin akan langsung memenangkan jackpot.

* Saya biasanya akan menyertakan hasil tabel terkait ketika mereka disediakan dalam makalah, tetapi dalam kasus ini kompleksitas tabel makalah membuatnya tidak menarik bagi pembaca kasual, dan ringkasan lebih berguna.

Dipublikasikan pertama kali pada hari Selasa, 28 Januari 2025