์ฌ์ด๋ฒ ๋ณด์
๊ดํ ์ ๋์ ๊ณต๊ฒฉ์ ๋๋ก ํ์งํ์ ์๋ฏธ๋ฅผ ๋ณ๊ฒฝํ ์ ์๋ค
미국의 연구자들은 기계 학습 시스템이 올바르게 해석할 수 있는 능력에 대한 적대적 공격을 개발했으며, 이는 미션 크리티컬 항목과 같은 도로 표지판을 포함하여 실제 세계의 객체에 패턴화된 빛을 비추는 방식으로 수행됩니다. 한 실험에서, 이 접근 방식은 ‘STOP’ 도로 표지판의 의미를 ’30mph’ 속도 제한 표지판으로 변환하는 데 성공했습니다.
표지판에 제작된 간섭은 기계 학습 시스템에서 해석되는 방식을 왜곡합니다. 출처: https://arxiv.org/pdf/2108.06247.pdf
이 연구는 인디애나 주 퍼듀 대학교에서 나온 것으로, 광학 적대적 공격이라고 불립니다.
OPtical ADversarial attack(OPAD)은 구조화된 조명을 사용하여 대상 객체의外観을 변경하며,僅仅 일반 프로젝터, 카메라 및 컴퓨터가 필요합니다. 연구자들은 이 기술을 사용하여 सफ적으로 흰 박스 공격과 검은 박스 공격을 수행했습니다.
OPAD 설정 및 사람들에게 거의 인식되지 않는 왜곡.
OPAD 설정에는 ViewSonic 3600 Lumens SVGA 프로젝터, Canon T6i 카메라 및 랩탑 컴퓨터가 포함됩니다.
블랙 박스 및 타겟 공격
흰 박스 공격은 공격자가 직접 모델 교육 절차 또는 입력 데이터의 관리에 접근할 수 있는 비현실적인 시나리오입니다. 반면에, 블랙 박스 공격은 일반적으로 기계 학습 모델의 구성 또는 행동을 추론하여 ‘_shadow’ 모델을 생성하고, 원래 모델에서 작동하도록 설계된 적대적 공격을 개발하는 것입니다.
분류기를 속이는 데 필요한 시각적 간섭의 양.
이 경우, 특별한 접근이 필요하지 않지만, 이러한 공격은 현재 학술 및 상업 연구에서 컴퓨터 비전 라이브러리 및 데이터베이스의 普遍성으로 크게 도움을 받습니다.
새로운 논문에 제시된 모든 OPAD 공격은 특정 객체의 해석을 변경하려고 하는 ‘타겟’ 공격입니다. 시스템은 일반화된 추상 공격을 달성할 수 있다는 것을 입증했지만, 연구자들은 실제 공격자는 더 구체적인 파괴 목표를 가질 것이라고 주장합니다.
OPAD 공격은 컴퓨터 비전 시스템에서 사용되는 이미지에 노이즈를 주입하는 원리의 실제 버전입니다. 이 접근 방식의 가치는 간섭을 대상 객체에 ‘투영’하여 오류를.trigger할 수 있다는 것입니다. 반면에, ‘트로이의 말’ 이미지를 교육 과정에 포함시키는 것은 훨씬 더 어려운 일입니다.
‘속도 30’ 이미지의 해시된 의미를 ‘STOP’ 표지판에 강제하는 경우, 기준 이미지는 140/255 강度로 균일하게 조명하여 얻었습니다. 그런 다음 프로젝터 보정 조명을 적용하여 경사 하강 공격을 수행했습니다.
OPAD 오류 공격의 예.
연구자들은 이 프로젝트의 주요 도전은 프로젝터 메커니즘을 캘리브레이션하고 설정하여 ‘위조’를 달성하는 것이었으며, 각도, 광학 및 기타 요소가 이 공격에 도전이 된다고 지적합니다.
또한, 이 접근 방식은 밤에만 작동할 가능성이 있습니다. 명백한 조명이 ‘해킹’을 드러낼 것인지 여부도 요인입니다. 이미 조명된 객체인 경우, 프로젝터는 그 조명을 보상해야 하며, 반사 간섭의 양도 헤드라이트에 저항해야 합니다. 도시 환경에서 가장 잘 작동하는 시스템으로 보입니다. 여기서 환경 조명은 더 안정적일 가능성이 있습니다.
이 연구는 실제로 Columbia University의 2004년 연구를 기계 학습 지향 버전으로 구축하며, 이는 객체의 외観을 변경하기 위해 다른 이미지를 객체에 투영하는 광학 기반 실험입니다. 이는 OPAD의 악의적인 잠재력을 가지고 있지 않습니다.
테스트에서, OPAD는 64번의 공격 중 31번을 속여서 48%의 성공률을 달성했습니다. 연구자들은 성공률은 공격 대상이 되는 객체의 유형에 크게 의존한다고 지적합니다. 점점이나 곡면(예: 테디 베어와 머그컵)은 공격을 수행하기 위해 충분한 직접 반사도를 제공할 수 없습니다. 반면에, 의도적으로 반사되는 평면(예: 도로 표지판)은 OPAD 왜곡에 이상적인 환경입니다.
오픈 소스 공격 표면
모든 공격은 특정 데이터베이스 세트에 대해 수행되었습니다. 독일 교통 표지판 인식 데이터베이스(GTSRB, 새로운 논문에서는 GTSRB-CNN이라고 함); ImageNet VGG16 데이터 세트; 및 ImageNet Resnet-50 세트.
이러한 공격이 단순히 이론적인 것인지, 즉 오픈 소스 데이터 세트를 대상으로 하며, 자율 주행 자동차의 사유 시스템을 대상으로 하지 않는지 여부입니다. 주요 연구 기관이 오픈 소스 생태계, 알고리즘 및 데이터 세트에 의존하지 않고, 대신 폐쇄형 데이터 세트와 불투명한 인식 알고리즘을 생성하기 위해 비밀리에 노력한다면, 그렇습니다.
하지만 일반적으로, 그렇게 작동하지 않습니다. 랜드마크 데이터 세트는 모든 진행 상황 및 명성/명예의 척도로 측정되는 기준이 됩니다. 오픈 소스 이미지 인식 시스템인 YOLO 시리즈는 글로벌 협력을 통해 유사한 원리에 작동하는 모든 내부 개발 폐쇄 시스템을 앞서갑니다.
FOSS 노출
컴퓨터 비전 프레임워크에서 데이터가 궁극적으로 완전히 폐쇄 데이터로 대체되더라도, ‘비어 있는’ 모델의 가중치는 초기 개발 단계에서 종종 FOSS 데이터로 캘리브레이션되며, 이는 결코 완전히 폐기되지 않습니다. 이는 결과 시스템이 FOSS 방법에 의해 잠재적으로 대상이 될 수 있음을 의미합니다.
또한, 이러한 컴퓨터 비전 시스템에 대한 오픈 소스 접근 방식을 사용하면, 사적 회사에서 무료로 다른 글로벌 연구 프로젝트의 분기된 혁신을 활용할 수 있습니다. 이는 건전한 금전적 인센티브를 제공하며, 시스템을 접근 가능하게 유지하도록 합니다. 이후에 상업화 단계에서만 시스템을 폐쇄하려고 시도할 수 있습니다. 그 때까지, 전체 배열의 추론 가능한 FOSS 메트릭이 깊이 내장됩니다.
