MIT 연구 팀, 적대적 예제에 저항하는 AI 네트워크 설계

MIT의 연구 팀은 “적대적” 예제에 대한 대응을 위해 설계된 깊은 학습 알고리즘을 개발했습니다. 이 알고리즘은 AI 시스템이 정확성을 유지하고 혼란스러운 데이터 포인트에 직면했을 때 오류를 피하는 데 도움이 됩니다.

AI 시스템은 이벤트의 입력 특징을 분석하여 이벤트에 대한 반응을 결정합니다. 자율 주행 자동차를 조종하는 AI는 자동차의 카메라에서 데이터를 가져와 해당 이미지에 포함된 데이터를 기반으로 적절한 조치를 결정해야 합니다. 그러나 분석되는 이미지 데이터가 실제 세계를 정확하게 나타내지 않을 수 있습니다. 카메라 시스템의 결함으로 인해 일부 픽셀이 변경되어 AI가 올바른 결론을 내리지 못할 수 있습니다.

“적대적 입력”은 AI 시스템의 광학적 환상과 유사합니다. 이러한 입력은 AI를 어떤 형태로든 혼란스럽게 만듭니다. 적대적 입력은 AI가 오류를 일으키도록 의도적으로 설계될 수 있으며, 예를 들어, 컴퓨터 비전 시스템에 대한 적대적 예제를 생성하기 위해 고양이 이미지에 약간의 변경을 가해 AI가 이를 컴퓨터 모니터로 잘못 분류하도록 할 수 있습니다. MIT 연구 팀은 입력에 대한 “의심”을 유지하도록 모델을 설계하여 적대적 예제에 대한 방어를 강화했습니다.

MIT 연구 팀은 자신의 접근 방식을 “Certified Adversarial Robustness for Deep Reinforcement Learning” 또는 CARRL이라고 명명했습니다. CARRL은 강화 학습 네트워크와 전통적인 깊은 신경 네트워크가 결합된 구성입니다. 강화 학습은 모델을 훈련하기 위해 “보상” 개념을 사용하며, 모델이 목표에 가까워질수록 보상을 비례적으로 증가시킵니다. 강화 학습 모델은 Deep Q-Network 또는 DQN을 훈련하는 데 사용됩니다. DQN은 전통적인 신경 네트워크와 유사하지만 입력 값에 보상을 연관시킵니다.

CARRL은 입력 데이터의 다양한 가능한 값을 모델링하여 작동합니다.

예를 들어, AI가 더 큰 이미지 내의 점의 위치를 추적하려고 하는 경우, AI는 점의 위치가 적대적 영향의 결과일 수 있으며 점이 있을 수 있는 다른 영역을 고려합니다. 네트워크는 최악의 경우 시나리오를 기반으로 결정하며, 이 시나리오에서最高의 보상을 생성하는 조치를 선택합니다.

적대적 예제에 대한 일반적인 방어 방법은 입력 이미지의 약간 변경된 버전을 AI 네트워크에 실행하여 동일한 결정을 항상 내리는지 확인하는 것입니다. 이미지의 변경이 결과에 큰 영향을 미치지 않는 경우, 네트워크가 적대적 예제에 강력하다고 판단할 수 있습니다. 그러나 빠른 결정이 필요한 시나리오에서는 이러한 방법이 시간이 많이 걸리고 계산적으로 비용이 많이 듭니다. 따라서 MIT 팀은 최악의 경우 가정에 기반하여 결정할 수 있는 신경 네트워크를 생성하려고 했습니다.

MIT 연구 팀은 AI가 Pong 게임을 하는 실험을 통해 자신의 알고리즘을 테스트했습니다. 그들은 적대적 예제를 포함하여 볼이 실제 위치보다 약간 아래에 표시되는 경우를 AI에 제공했습니다. 적대적 예제의 영향이 증가함에 따라 표준적인 수정 기술은 실패하기 시작했지만 CARRL은 비교적 더 많은 게임에서 승리했습니다. CARRL은 또한 충돌 회피 작업에 테스트되었습니다. 이 작업은 두 개의 에이전트가 서로 충돌하지 않고 위치를 교환하려고 하는 가상 환경에서 수행되었습니다. 연구 팀은 첫 번째 에이전트의 두 번째 에이전트에 대한 인식을 변경했으며, CARRL은 높은 불확실성 조건에서도 첫 번째 에이전트를 성공적으로 두 번째 에이전트 주변으로 조종할 수 있었습니다.

MIT 항공우주공학부의 마이클 에버렛 박사 후 연구원은 이 연구가 로봇이 예측할 수 없는 상황을 처리하는 능력에 대한 의미를 설명했습니다. 에버렛은 “사람들은 로봇의 센서를 막거나 의도하지 않은 의도로 상호 작용할 수 있습니다. 로봇은 사람들이 何を 할 수 있는지 생각하고, 그것을 피하려고 시도해야 합니다. 우리가 방어해야 하는 적대적 모델은 무엇입니까? 그것을 어떻게 할 수 있는지 생각하고 있습니다.”라고 말했습니다.