기계 학습 오작동에 대한 일반적인 가정은 잘못된 것일 수 있다

딥 뉴럴 네트워크는 인공 지능(AI)의 가장 기본적인 측면 중 하나로, 수학적 모델링을 통해 이미지와 데이터를 처리하는 데 사용됩니다.它们는 분야에서 가장伟大的 발전을 담당하지만, 다양한 방식으로 오작동할 수 있습니다. 이러한 오작동은 간단한 오인식과 같은 작은 또는 존재하지 않는 영향을 가질 수 있거나, 자율 주행차 오작동과 같은 더 극적이고 치명적인 영향을 가질 수 있습니다.

휴스턴 대학교에서 나온 새로운 연구에 따르면, 이러한 오작동에 대한 우리의 일반적인 가정은 잘못된 것일 수 있으며, 이는 향후 네트워크의 신뢰성을 평가하는 데 도움이 될 수 있습니다.

이 논문은 Nature Machine Intelligence에 11월에 발표되었습니다.

“적대적 예제”

기계 학습과 다른 유형의 AI는 은행 및 사이버 보안 시스템과 같은 많은 분야와 작업에서 매우 중요합니다. 휴스턴 대학교의 철학 조교수인 캐머런 버크너(Cameron Buckner)에 따르면, “적대적 예제”로 인한 오작동을 이해해야 합니다. 이러한 적대적 예제는 깊은 뉴럴 네트워크 시스템이 훈련 입력에서 사용된 정보 외의 정보를 만났을 때 이미지와 다른 데이터를 잘못 판단할 때 발생합니다.

적대적 예제는 다른 기계 학습 네트워크에 의해 생성되거나 발견되는 경우가 많기 때문에 드뭅니다.

“일부 적대적 이벤트는 오히려 인공물일 수 있으며, 이러한 인공물이 무엇인지 더 잘 알기 위해 네트워크의 신뢰성을 알기 위해 노력해야 합니다.” 버크너는 이렇게 말했습니다.

버크너는 오작동이 실제 패턴과 네트워크가 처리하려고 하는 것 사이의 상호작용에 의해 발생할 수 있으며, 이는 완전한 실수가 아니라는 것을 의미합니다.

패턴으로서의 인공물

“적대적 예제의 의미를 이해하려면 세 번째 가능성을 탐구해야 합니다. 즉, 이러한 패턴 중 일부가 인공물일 수 있습니다.” 버크너는 이렇게 말했습니다. “따라서 이러한 패턴을 단순히 폐기하는 데에는 비용이 있으며, 이러한 패턴을 천진난만하게 사용하는 데에는 위험이 있습니다.”

항상 그런 것은 아니지만, 이러한 적대적 이벤트로 인한 기계 학습 오작동의 가장 높은 위험은 의도적인 악의적 행위입니다.

“의도적인 악의적 행위자들이 일반적으로 신뢰할 수 있는 네트워크에 의존하는 시스템을 속일 수 있습니다.” 버크너는 이렇게 말했습니다. “그것은 보안 응용 프로그램을 가지고 있습니다.”

이것은 얼굴 인식 기술을 기반으로 하는 보안 시스템을 해킹하거나, 자율 주행차를 혼乱시키기 위해 잘못 레이블이 붙은 교통 표지판을 만들 수 있습니다.

이전 연구에 따르면 일부 적대적 예제는 자연적으로 발생하며, 기계 학습 시스템이 예상치 못한 상호작용을 통해 데이터를 잘못 해석할 때 발생합니다. 이러한 자연적으로 발생하는 예제는 드물며, 현재 이러한 예제를 발견하는唯一한 방법은 AI를 사용하는 것입니다.

그러나 버크너는 연구자들이 이상을 다루는 방식을 다시 생각해야 한다고 말합니다.

버크너는 렌즈 플레어가 있는 사진의 아날로지를 통해 이러한 이상 또는 인공물을 설명합니다. 렌즈 플레어는 카메라 렌즈의 결함으로 인한 것이 아니라, 카메라와 빛의 상호작용으로 인해 발생합니다.

렌즈 플레어를 해석할 수 있다면, 태양의 위치와 같은 중요한 정보를 추출할 수 있습니다. 버크너는 기계 학습의 인공물로 인한 부정적인 이벤트에서同样으로 귀중한 정보를 추출할 수 있다고 생각합니다.

버크너는 또한 이러한 모든 것이 깊은 학습이 유효하지 않다는 것을 의미하지 않는다고 말합니다.

“일부 적대적 이벤트는 인공물일 수 있습니다.” 그는 이렇게 말했습니다. “우리는 이러한 인공물이 무엇인지 알기 위해 노력해야 합니다. 그러면 우리는 네트워크의 신뢰성을 알 수 있습니다.”