보행자 인식 시스템을 속이는 ‘비밀 루트’

이스라엘과 일본의 새로운 연구 협력에 따르면, 보행자 감지 시스템에는 내재된 약점이 있어, 잘 계획된 루트를 통해 감시 네트워크가 가장 효과적이지 않은 지역을 통과하는 것으로 보행자 인식 시스템을 피하는 것이 가능하다고 주장한다.

도쿄, 뉴욕, 샌프란시스코의 공개된 영상 자료를 사용하여, 연구자들은 가장 인기 있는 객체 인식 시스템을 기반으로 이러한 경로를 계산하는 자동화된 방법을 개발했다.

연구에서 사용된 세 개의 교차로: 도쿄의 시부야 교차로, 뉴욕의 브로드웨이, 샌프란시스코의 카스트로 지구. 출처: https://arxiv.org/pdf/2501.15653

이 방법을 통해, 카메라 피드 내에서 보행자가 가장 적게 인식될 가능성이 있는 영역을 표시하는 신뢰도 히트맵을 생성할 수 있다.

연구자들의 방법으로 생성된 신뢰도 히트맵. 빨간 영역은 낮은 신뢰도를 나타내며, 자세, 카메라 포즈 및 기타 요인이 얼굴 인식을 방해할 가능성이 있다.

이론적으로, 이러한 방법은 위치 인식 앱이나 플랫폼으로 구현되어, 任意의 위치에서 A에서 B까지의 가장 인식되지 않는 경로를 제공할 수 있다.

새로운 논문은 이러한 방법론을 제안하며, 위치 기반 개인 정보 보호 강화 기술(L-PET)이라고 명명했다. 또한, 위치 기반 적응적 임계값(L-BAT)이라는 대응책을 제안했는데, 이는 본질적으로 동일한 루틴을 수행하지만, 얼굴 인식 기술을 강화하고 개선하는 데 사용된다.

논문은 잠재적인 기술적 에스컬레이션 전쟁을 설정하며, 루트를 최적화하여 감지 피하는 것과 감시 시스템이 얼굴 인식 기술을 최대한 활용하는 능력 사이에 경쟁을 조성한다.

이전의 감지 피하는 방법은 덜 우아하며, 적대적 접근을 기반으로 한다. 예를 들어, TnT Attacks와 인쇄된 패턴을 사용하여 감지 알고리즘을 혼동시킨다.

2019年的 연구 ‘Fooling automated surveillance cameras: adversarial patches to attack person detection’는 인식 시스템이 사람을 감지하지 못하도록 설계된 적대적 인쇄 패턴을 보여준다. 출처: https://arxiv.org/pdf/1904.08653

연구자들은 새로운 논문의 접근법이 적대적 착용 아이템을 설계할 필요가 없으며, 이전 방법보다 더 간단하다고 관찰한다.

논문은 거리 영상 카메라로 인한 감지 피하기 위한 개인 정보 보호 강화 기술이라고 제목이 붙여져 있으며, 벤구리온 대학교와 후지쯔 제한公司의 다섯 연구자들에 의해 작성되었다.

방법 및 테스트

이전의 연구와 마찬가지로, Adversarial Mask, AdvHat, 적대적 패치를 사용하여, 연구자들은 보행자가 감시 네트워크에서 사용되는 객체 감지 시스템을 알고 있다고 가정한다. 이는 실제로 불가한 가정은 아니며, YOLO와 같은 최신 개방형 시스템이 감시 시스템에서 널리 채택되고 있기 때문이다.

논문은 또한 보행자가 위치를 계산할 인터넷 실시간 스트림에 접근할 수 있다고 가정한다. 이는 대부분의 지역에서 합리적인 가정이다.

511ny.org와 같은 사이트는 뉴욕 지역의 많은 감시 카메라에 접근할 수 있다. 출처: https://511ny.org

또한, 보행자는 제안된 방법과 실제 장면에 접근할 수 있어야 한다.

Чтобы 개발 L-PET, 연구자들은 카메라 각도, 카메라 높이, 거리, 일자에 대한 영향을 평가했다. 실제 값을 얻기 위해, 연구자들은 0°, 45°, 90°, 135°, 180°, 225°, 270°, 315° 각도에서 사람을 촬영했다.

연구자들이 수행한 실제 관찰

이러한 변화를 0.6m, 1.8m, 2.4m의 세 가지 카메라 높이에서 반복했으며, 다양한 조명 조건에서 수행했다.

Faster R-CNN과 YOLOv3 객체 감지기에 이 영상을 입력하여, 연구자들은 객체의 신뢰도가 보행자의 각도, 거리, 카메라 높이, 조명 조건에 따라 달라짐을 발견했다.

연구자들은 다양한 객체 감지기를 동일한 시나리오에서 테스트했다: Faster R-CNN, YOLOv3, SSD, DiffusionDet, RTMDet.

연구자들은 다음과 같이 말한다:

‘우리는 모든 다섯 개의 객체 감지 아키텍처가 보행자 위치와 주변 조명에 영향을 받는다는 것을 발견했다. 또한, 세 가지 모델(YOLOv3, SSD, RTMDet)에서 이러한 영향이 모든 주변 조명 수준에서 지속됨을 발견했다.’

연구자들은 도쿄, 뉴욕, 샌프란시스코의 세 가지 위치에서 공개된 교통 카메라 영상을 사용하여 연구의 범위를 확장했다.

각 위치에서 다섯 개에서 여섯 개의 녹화를 수행했으며, 각 녹화에서 약 4시간의 영상을 얻었다. 감지 성능을 분석하기 위해, 두 초마다 한 프레임을 추출하여 Faster R-CNN 객체 감지기를 사용하여 처리했다.

얻은 프레임에서 각 픽셀에 대해, 방법은 해당 픽셀에서 ‘사람’ 감지 바운딩 박스의 평균 신뢰도를 추정했다.

‘우리는 모든 세 위치에서 객체 감지기의 신뢰도가 프레임 내의 사람 위치에 따라 달라짐을 발견했다. 예를 들어, 시부야 교차로의 영상을 분석한 결과, 카메라에서 멀리 떨어진 지역과 카메라 근처의 지역에서 낮은 신뢰도를 발견했다.’

L-PET 방법은 본질적으로 이 절차이며, 도시 지역을 통과하는 경로를 얻기 위해 ‘무기화’된 것으로 볼 수 있다.

반면, L-BAT는 동일한 절차를 따르지만, 감지 시스템의 점수를 업데이트하여 피드백 루프를 생성하여 L-PET 접근법을 무효화하고 시스템의 ‘블라인드 영역’을 더 효과적으로 만든다.

(실제로, 그러나, 얻은 히트맵을 기반으로 커버리지 개선을 위해서는 단지 카메라 업그레이드가 아니라, 카메라를 설치하여 무시된 영역을 커버해야 하므로, 이는 매우 비싼 시나리오가 될 수 있다.)

카스트로 스트리트의 다섯 개의 비디오에서 다양한 감지기 프레임워크에 대한 평균 보행자 감지 신뢰도. 각 비디오는 다른 조명 조건에서 녹화되었다.

연구자들은 픽셀 기반 매트릭스 표현을 그래프 표현으로 변환하여, 보행자가 감시를 피하는 경로를 계산하기 위해 다익스트라 알고리즘을 적용했다.

대신에, 알고리즘은 감지 신뢰도를 최소화하여, 높은 신뢰도 영역을 높은 ‘비용’ 영역으로 처리했다. 이 적응은 알고리즘을 블라인드 스폿 또는 낮은 감지 영역을 통과하는 경로를 식별하도록 허용했다.

장면의 히트맵을 픽셀 기반 매트릭스에서 그래프 기반 표현으로 변환하는 시각화

연구자들은 L-BAT 시스템이 보행자 감지에 미치는 영향을 평가하기 위해, 공공 보행자 교통의 4시간 녹화에서 구축된 데이터셋을 사용했다.

각 프레임에서, 하나의 바운딩 박스를 선택하여 감지된 사람을 포함하는 양성 샘플로 사용했으며, 다른 무작위 영역에서 감지된 사람이 없는 영역을 음성 샘플로 사용했다.

이 쌍의 샘플은 L-BAT를 적용한 Faster R-CNN 모델과 적용하지 않은 모델의 성능을 평가하기 위한 데이터셋을 형성했다.

모델의 성능은 양성 샘플과 음성 샘플을 정확하게 식별하는지 확인하여 평가했다.

연구자들은 L-BAT의 감지 신뢰도를 평가하기 위해, ROC 곡선 아래의 면적(AUC), 정성적 비율(true positive rate, TPR), 부정적 비율(false positive rate, FPR), 평균 정성적 신뢰도를 사용했다.

연구자들은 L-BAT를 사용하면 감지 신뢰도가 향상되고, 높은 정성적 비율을 유지할 수 있음을 주장한다.

마지막으로, 연구자들은 접근법의 일부 제한점을 지적한다. 하나는 생성된 히트맵이 특정 시간에 특화되어 있다는 것이다. 이는 더 유연한 배치에 필요한 다단계 접근법을 필요로 함을 나타낸다.

또한, 히트맵은 다른 모델 아키텍처에 전이되지 않으며, 특정 객체 감지기 모델에 묶여 있다. 이는 본 연구가 본질적으로 증명된 개념이라는 것을 의미하며, 더 우아한 아키텍처가 개발될 수 있다.

결론

새로운 공격 방법이 등장하면, 그 해결책은 새로운 감시 카메라를 설치하는 것이 된다. 이는 높은 수준의 감시 지역에서 시민 카메라 네트워크를 확장하는 것이 정치적으로 도전적일 수 있으며, 시민 비용이 많이 드는 경우가 많다.

연구의 가장 큰 질문은 ‘폐쇄형 감시 시스템이 YOLO와 같은 최신 개방형 프레임워크를 사용하는가?’이다. 이는 물론 알 수 없는 것이며, 이러한 사용을 공개하는 것은 공격에 취약할 수 있다.

그러나, 정부 IT와 자체 개발 코드가 글로벌 및 개방형 코드로 이전하는 추세를 고려하면, 이러한 주장을 테스트하는 것에는 가치가 있을 수 있다.

예를 들어, YOLO를 사용하여 테스트하는 경우, 즉시 성공할 수 있다.

* 일반적으로, 나는 논문에서 제공된 관련 테이블 결과를 포함하지만, 이 경우에는 논문의 테이블이 복잡하여 일반적인 독자에게는 유용하지 않기 때문에, 요약이 더 유용하다.

最初에 2025년 1월 28일에 게시되었습니다.