시각적 적대적 공격은 도로 표지판의 의미를 바꿀 수 있습니다.

미국 연구진은 도로 표지판과 같은 임무 수행에 필수적인 항목을 포함하여 머신러닝 시스템이 보는 것을 정확하게 해석하는 능력에 대한 적대적 공격을 개발했습니다. 이 공격은 실제 물체에 패턴화된 빛을 비추는 방식으로 이루어졌습니다. 한 실험에서는 이 접근법을 통해 'STOP' 도로 표지판의 의미를 '30mph' 제한 속도 표지판으로 변환하는 데 성공했습니다.

제작된 빛을 비추어 생성된 간판의 섭동은 기계 학습 시스템에서 해석되는 방식을 왜곡합니다. 출처 : https://arxiv.org/pdf/2108.06247.pdf

The 연구 명명되었다 광학 적 공격, 인디애나의 Purdue University에서 왔습니다.

논문에서 제안한 OPtical ADversarial 공격(OPAD)은 ​​구조화된 조명을 사용하여 대상 물체의 모양을 변경하며 상용 프로젝터, 카메라 및 컴퓨터만 필요합니다. 연구원들은 이 기술을 사용하여 화이트박스 및 블랙박스 공격을 모두 성공적으로 수행할 수 있었습니다.

오분류를 유발하기에 적합한 OPAD 설정 및 (사람이) 최소한으로 인식하는 왜곡.

OPAD 설정은 ViewSonic 3600 Lumens SVGA 프로젝터, Canon T6i 카메라 및 랩톱 컴퓨터로 구성됩니다.

블랙박스 및 표적 공격

화이트박스 공격은 공격자가 학습 모델 절차나 입력 데이터 거버넌스에 직접 접근할 수 있는, 발생 가능성이 낮은 시나리오입니다. 반대로, 블랙박스 공격은 일반적으로 머신러닝의 구성 방식 또는 최소한 동작 방식을 추론하고, '섀도우' 모델을 제작하고, 원본 모델에 작동하도록 설계된 적대적 공격을 개발하는 방식으로 이루어집니다.

여기에서 분류를 속이는 데 필요한 시각적 교란의 양을 볼 수 있습니다.어.

후자의 경우 특별한 액세스가 필요하지 않지만 이러한 공격은 현재 학술 및 상업 연구에서 널리 사용되는 오픈 소스 컴퓨터 비전 라이브러리 및 데이터베이스의 도움을 많이 받습니다.

새로운 논문에 설명된 모든 OPAD 공격은 특정 객체의 해석 방식을 변경하는 것을 목표로 하는 '타겟형' 공격입니다. 이 시스템은 일반화되고 추상적인 공격도 수행할 수 있는 것으로 입증되었지만, 연구진은 실제 공격자는 더욱 구체적인 파괴적 목표를 가지고 있을 것이라고 주장합니다.

OPAD 공격은 컴퓨터 비전 시스템에 사용될 이미지에 노이즈를 주입하는, 흔히 연구되는 원리의 실제 버전일 뿐입니다. 이 접근법의 장점은 대상 객체에 섭동을 '투사'하여 오분류를 유발할 수 있다는 점입니다. 반면, '트로이 목마' 이미지가 학습 과정에 포함되도록 하는 것은 훨씬 더 어렵습니다.

OPAD가 데이터 세트의 '속도 30' 이미지의 해시된 의미를 '정지' 표지판에 적용할 수 있었던 경우, 기준 이미지는 물체에 140/255의 밝기로 균일하게 조명하여 얻었습니다. 그런 다음 프로젝터 보정 조명을 투사된 이미지로 적용했습니다. 경사 하강 공격.

OPAD 오분류 공격의 예.

연구자들은 이 프로젝트의 가장 큰 과제는 프로젝터 메커니즘을 보정하고 설정하여 깔끔한 '기만'을 달성하는 것이라고 관찰했습니다. 각도, 광학 및 기타 여러 요소가 이러한 공격에 대한 과제이기 때문입니다.

또한, 이 접근법은 야간에만 효과가 있을 가능성이 높습니다. 눈에 띄는 조명이 '해킹'을 드러낼지 여부도 중요한 요소입니다. 표지판과 같은 물체가 이미 조명을 받고 있다면, 프로젝터는 그 조명을 보정해야 하며, 반사되는 교란의 양도 헤드라이트에 견딜 수 있어야 합니다. 주변 조명이 더 안정적일 가능성이 높은 도시 환경에서 가장 잘 작동하는 시스템으로 보입니다.

이 연구는 컬럼비아 대학의 ML 지향 반복을 효과적으로 구축합니다. 2004 연구 OPAD의 악성 잠재력이 결여된 광학 기반 실험인 다른 이미지를 개체에 투사하여 개체의 모양을 변경하는 것입니다.

테스트에서 OPAD는 31개 공격 중 64개 공격에 대해 분류자를 속일 수 있었으며 성공률은 48%였습니다. 연구원들은 공격 성공률이 공격 대상의 유형에 크게 좌우된다는 점에 주목합니다. 얼룩덜룩하거나 구부러진 표면(각각 테디 베어와 머그잔 등)은 공격을 수행하기에 충분한 직접 반사성을 제공할 수 없습니다. 반면에 도로 표지판과 같이 의도적으로 반사되는 평평한 표면은 OPAD 왜곡에 이상적인 환경입니다.

오픈 소스 공격 표면

모든 공격은 특정 데이터베이스 집합인 독일 교통 표지 인식 데이터베이스(GTSRB, 새 논문에서는 GTSRB-CNN이라고 함), 이는 모델을 훈련하는 데 사용되었습니다. 2018년 유사한 공격 시나리오; 이미지넷 VGG16 데이터세트; 그리고 이미지넷 레스넷-50 설정할 수 있습니다.

그렇다면 이러한 공격은 자율주행차의 독점적이고 폐쇄적인 시스템이 아닌 오픈소스 데이터셋을 겨냥하고 있으므로 '단순히 이론적인' 것일까요? 주요 연구 기관들이 알고리즘과 데이터셋을 포함한 오픈소스 생태계에 의존하지 않고, 대신 폐쇄소스 데이터셋과 불투명한 인식 알고리즘을 비밀리에 개발했다면, 이론적인 공격이 되었을 것입니다.

하지만 일반적으로는 그렇지 않습니다. 랜드마크 데이터셋은 모든 발전(그리고 존경/찬사)을 측정하는 기준이 되는 반면, YOLO 시리즈와 같은 오픈소스 이미지 인식 시스템은 유사한 원리로 작동하도록 설계된 내부 개발 폐쇄 시스템보다 글로벌 협력을 통해 앞서 나갑니다.

FOSS 노출

컴퓨터 비전 프레임워크의 데이터가 결국 완전히 폐쇄된 데이터로 대체되더라도 '비워진' 모델의 가중치는 결코 완전히 삭제되지 않을 FOSS 데이터에 의해 개발 초기 단계에서 자주 보정됩니다. 즉, 결과 시스템이 잠재적으로 FOSS 방법을 대상으로 할 수 있다는 의미입니다.

또한 이러한 성격의 CV 시스템에 대한 오픈 소스 접근 방식을 사용하면 민간 기업이 다른 글로벌 연구 프로젝트의 분기된 혁신을 무료로 이용할 수 있으므로 아키텍처에 액세스할 수 있는 재정적 인센티브가 추가됩니다. 그 후 그들은 상업화 시점에서만 시스템을 닫으려고 시도할 수 있으며, 이때까지 추론 가능한 FOSS 메트릭의 전체 배열이 시스템에 깊숙이 내재되어 있습니다.