«Секретні маршрути», які можуть обманути системи розпізнавання пішоходів

Нова дослідницька співпраця між Ізраїлем і Японією стверджує, що системи виявлення пішоходів мають вбудовані слабкості, що дозволяють добре інформованим особам уникнути систем розпізнавання облич, рухаючись по ретельно спланованим маршрутам через території, де мережі відеоспостереження є найменш ефективними.

За допомогою відкритих відеозаписів з Токіо, Нью-Йорка та Сан-Франциско дослідники розробили автоматичний метод розрахунку таких маршрутів, заснований на найбільш популярних системах розпізнавання об’єктів, які найімовірніше використовуються в публічних мережах.

Три перехрестя, використані в дослідженні: перехрестя Сібуя в Токіо, Японія; Бродвей, Нью-Йорк; і район Кастро в Сан-Франциско. Джерело: https://arxiv.org/pdf/2501.15653

За допомогою цього методу можна генерувати карти конфіденційності, які виділяють території всередині відеопотоку, де пішоходи найменше ймовірно дають позитивний результат розпізнавання обличчя:

Зправа ми бачимо карту конфіденційності, згенеровану методом дослідників. Червоні території вказують на низьку конфіденційність, а також конфігурацію положення, пози камери та інших факторів, які можуть завадити розпізнаванню облич.

У теорії такий метод міг би бути інструменталізований у вигляді програми, яка знаходить найменш «розпізнавані» маршрути від точки А до точки Б у будь-якій розрахованій території.

Нова робота пропонує таку методологію, названу Методом підвищення конфіденційності на основі місця (L-PET); вона також пропонує контрзаходи, названі Адаптивний поріг на основі місця (L-BAT), який фактично виконує ті самі процедури, але використовує інформацію для посилення та покращення заходів відеоспостереження, а не для розробки способів уникнути розпізнавання; і в багатьох випадках такі покращення були б неможливі без подальших інвестицій у інфраструктуру відеоспостереження.

Отже, робота створює потенційну технологічну війну ескалації між тими, хто намагається оптимізувати свої маршрути для уникнення виявлення, і можливістю систем відеоспостереження повністю використовувати технології розпізнавання облич.

Раніші методи обману виявлення менш елегантні, ніж цей, і складаються з протидійних підходів, таких як TnT Attacks, і використання друкованих зображень для плутання алгоритму виявлення.

Робота 2019 року «Обман автоматичних систем відеоспостереження: протидійні наклейки для атаки на виявлення осіб» продемонструвала протидійне друковане зображення, здатне переконати систему розпізнавання, що жодної особи не виявлено, дозволяючи певного роду «невидимість». Джерело: https://arxiv.org/pdf/1904.08653

Дослідники, які стоять за новою роботою, спостерігають, що їхній підхід вимагає менше підготовки, без необхідності розробки протидійних носимих предметів (див. зображення вище).

Стаття роботи називається Метод підвищення конфіденційності для уникнення виявлення камерами відеоспостереження без використання протидійних аксесуарів, і походить від п’яти дослідників з Університету Бен-Гуріона Негева та компанії Fujitsu Limited.

Метод і тести

У відповідності з попередніми роботами, такими як Adversarial Mask, AdvHat, протидійні наклейки, і різні інші подібні роботи, дослідники припускають, що пішохід-«атакувальник» знає, яку систему виявлення об’єктів використовується у мережі відеоспостереження. Це фактично не є нерозумним припущенням, через широке впровадження відкритих систем джерельного коду, таких як YOLO, у системах відеоспостереження компаній, таких як Cisco і Ultralytics (наразі центральна сила, що рухає розвиток YOLO).

Стаття також припускає, що пішохід має доступ до прямої трансляції в інтернеті, встановленої на місцях, які підлягають розрахунку, що знову ж таки є розумним припущенням у більшості місць, які мають інтенсивність покриття.

Сайти, такі як 511ny.org, пропонують доступ до багатьох камер відеоспостереження в районі Нью-Йорка. Джерело: https://511ny.or

Окрім цього, пішохід потребує доступу до запропонованого методу, а також до самої сцени (тобто перехрестя і маршрутів, на яких потрібно встановити «безпечний» маршрут).

Для розробки L-PET автори оцінили вплив кута пішохода відносно камери; вплив висоти камери; вплив відстані; і вплив часу доби. Для отримання основних даних вони сфотографували людину під кутами 0°, 45°, 90°, 135°, 180°, 225°, 270° і 315°.

Наблюдення за основними даними, проведені дослідниками.

Вони повторили ці варіації на трьох різних висотах камер (0,6 м, 1,8 м, 2,4 м) і з різними умовами освітлення (ранок, день, ніч і «лабораторні» умови).

Підключивши ці кадри до Faster R-CNN і YOLOv3 детекторів об’єктів, вони виявили, що впевненість об’єкта залежить від гострого кута пішохода, відстані пішохода, висоти камери і умов освітлення*.

Автори потім протестували ширший діапазон детекторів об’єктів у тому самому сценарії: Faster R-CNN; YOLOv3; SSD; DiffusionDet; і RTMDet.

Автори заявляють:

«Ми виявили, що всі п’ять архітектур детекторів об’єктів залежать від положення пішохода і навколишнього освітлення. Крім того, ми виявили, що для трьох із п’яти моделей (YOLOv3, SSD і RTMDet) вплив триває через усі рівні навколишнього освітлення.»

Для розширення сфери дії дослідники використали кадри, зняті з публічно доступних камер відеоспостереження в трьох місцях: перехрестя Сібуя в Токіо, Бродвей у Нью-Йорку та район Кастро в Сан-Франциско.

Кожне місце забезпечило від п’яти до шести записів, з приблизно чотирма годинами кадрів на запис. Для аналізу продуктивності виявлення було витягнуто один кадр кожні дві секунди і оброблено за допомогою детектора об’єктів Faster R-CNN. Для кожного пікселя у отриманих кадрах метод оцінив середню впевненість у виявленні «людини» у тому пікселі.

«Ми виявили, що у всіх трьох місцях впевненість детектора об’єктів змінювалася залежно від положення людей у кадрі. Наприклад, у кадрах перехрестя Сібуя є великі території низької впевненості як далі від камери, так і ближче до камери, де стовп частково закриває пішоходів.»

Метод L-PET є фактично цією процедурою, яку можна вважати «зброєною» для отримання маршруту через міську територію, який найменш імовірно призведе до успішного розпізнавання пішохода.

Натомість L-BAT слідує тій самій процедурі, з різницею в тому, що він оновлює оцінки у системі виявлення, створюючи зворотній зв’язок, призначений для нейтралізації підходу L-PET і зробити «сліпі» території системи більш ефективними.

(У практичних термінах, однак, покращення покриття на основі отриманих карт конфіденційності вимагало б не тільки модернізації камери, яка сидить у очікуваній позиції; на основі критеріїв тестування, включаючи місце, це вимагало б встановлення додаткових камер для покриття зазначених територій – тому можна сказати, що метод L-PET ескалує цю «холодну війну» у дуже дорогий сценарій)

Середня впевненість у виявленні пішохода для кожного пікселя, по різних кадрах, у спостережуваній території вулиці Кастро, проаналізованої за п’ятьма відео. Кожне відео було записано під різними умовами освітлення: сходження сонця, денний час, захід сонця і два різні нічні налаштування. Результати представлені окремо для кожного сценарію освітлення.

Перетворивши матрицю пікселів у графічну структуру, придатну для завдання, дослідники адаптували алгоритм Дейкстри для розрахунку оптимальних маршрутів для пішоходів, щоб рухатися через території з зменшеним виявленням відеоспостереження.

Натомість алгоритм шукав не найкоротший шлях, а мінімізував впевненість у виявленні,扱уючи території з високою впевченістю як території з вищими «вартостями». Ця адаптація дозволила алгоритму визначити маршрути, які проходять через «сліпі» території або території з низьким виявленням, ефективно направляючи пішоходів по маршрутах з зменшеною видимістю для систем відеоспостереження.

Візуалізація, що зображує перетворення теплової карти сцени з матриці пікселів у графічну структуру.

Дослідники оцінили вплив системи L-BAT на виявлення пішоходів за допомогою набору даних, побудованого з чотиригодинних записів публічного руху пішоходів. Для популяції цього набору було оброблено один кадр кожні дві секунди за допомогою детектора об’єктів SSD.

З кожного кадру було вибрано один бокс, що містить виявлену людину, як позитивний зразок, і іншу випадкову територію без виявлених людей як негативний зразок. Ці двійкові зразки утворили набір даних для оцінки двох моделей Faster R-CNN – одну з застосованим L-BAT і одну без нього.

Продуктивність моделей була оцінена шляхом перевірки, наскільки точно вони ідентифікують позитивні і негативні зразки: бокс, що перекриває позитивний зразок, вважався справжнім позитивним, тоді як бокс, що перекриває негативний зразок, був позначений як хибний позитивний.

Метрики, використані для визначення надійності виявлення L-BAT, були площа під кривою (AUC); справжня позитивна швидкість (TPR); хибна позитивна швидкість (FPR); і середня справжня позитивна впевненість. Дослідники стверджують, що використання L-BAT підвищує впевненість у виявленні, зберігаючи при цьому високий рівень справжньої позитивної швидкості (хоча з незначним збільшенням хибних позитивів).

У висновку автори відзначають, що підхід має деякі обмеження. Одним із них є те, що карти конфіденційності, згенеровані їхнім методом, специфічні для певного часу доби. Хоча вони не розширюють цю думку, це вказувало б на те, що більш широкий, багаторівневий підхід був би необхідний для урахування часу доби у більш гнучкій реалізації.

Вони також спостерігають, що карти конфіденційності не будуть переноситися на різні архітектури моделей, і прив’язані до конкретної моделі детектора об’єктів. Оскільки робота, яку вони пропонують, є фактично концепцією, більш досконалі архітектури могли б бути розроблені для виправлення цієї технічної заборгованості.

Висновок

Будь-який новий метод атаки, для якого рішення полягає у «оплаті нових камер відеоспостереження», має певну перевагу, оскільки розширення мережі камер відеоспостереження у високо спостережуваних територіях може бути політично складним, а також представляє суттєву громадську витрату, яка зазвичай потребує мандату виборців.

Можливо, найбільше питання, яке ставить ця робота, полягає у тому, «Чи закриті системи відеоспостереження використовують відкриті джерельні коди, такі як YOLO?». Це, природно, неможливо знати, оскільки виробники власних систем, які живлять так багато державних і громадських мереж камер відеоспостереження (хоча лише у США), стверджують, що розкриття такого використання могло б відкрити їх для атаки.

Незважаючи на це, міграція урядових ІТ і внутрішніх власних кодів до глобальних і відкритих джерельних кодів свідчить про те, що будь-хто, хто тестує твердження авторів (наприклад, за допомогою YOLO), міг би миттєво виграти джекпот.

* Я зазвичай включаю пов’язані таблиці результатів, коли вони надаються в статті, але в цьому випадку складність таблиць статті робить їх незрозумілими для звичайного читача, і тому підсумок є більш корисним.

Перша публікація відбулася у вівторок, 28 січня 2025 року