과한 해석이 과적합보다 더 큰 위협일 수 있다

만약 당신의 친한 친구 앨리스가 노란색 스웨터를 좋아한다면, 당신은 평균 사람보다 더 많은 노란색 스웨터를 볼 것입니다. 어느 정도 시간이 지나면, 다른 여성에게 노란색 스웨터를 입혀서 본다면, 앨리스라는 핵심 개념이 떠올라질 것입니다.

만약 당신이 앨리스와 약간 닮은 여성을 노란색 스웨터를 입고 있는 것을 본다면, 당신은 잠시 동안 그녀를 당신의 친구로 착각할 수도 있습니다.

하지만 그것은 앨리스가 아닙니다. 결국, 당신은 노란색 스웨터가 앨리스를 식별하는 유용한 키가 아니라는 것을 깨닫게 될 것입니다. 왜냐하면 그녀는 여름에는 절대 노란색 스웨터를 입지 않으며, 겨울에도 항상 입지 않기 때문입니다. 어느 정도 시간이 지나면, 당신은 앨리스 식별자로 노란색 스웨터를 사용하는 것을 낮추게 될 것입니다. 왜냐하면 이捷径을 유지하는 데 사용되는 인지 에너지는 자주 보상되지 않기 때문입니다.

그러나 컴퓨터 비전 기반 인식 시스템이라면, 노란색 스웨터를 볼 때마다 앨리스를 볼 수 있습니다.

그것은 당신의 잘못이 아닙니다. 당신은 최소한의 정보로부터 앨리스를 식별하는 데 책임이 있으며, 이러한 축소된 앨리스 암호를 유지하기 위해 필요한 인지 자원이 부족하지 않습니다.

불쾌한 식별

MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)와 Amazon Web Services의 최근 연구에 따르면, 이 증후군은 과한 해석이라고 불리며, 컴퓨터 비전 연구 분야에서 흔히 발생합니다. 또한 과적합을 해결함으로써 완화될 수 없으며, 이미지 인식과 변환에서 가장 영향력 있는 두 데이터 세트인 CIFAR-10과 ImageNet에서 흔히 발생합니다. 또한 쉽게 해결할 수 있는 방법은 없습니다.

연구자들은 입력 훈련 이미지의 5%만 남겨두면, 인기 있는 프레임워크들이 여전히 이미지들을 올바르게 분류할 수 있음을 발견했습니다. 이러한 이미지들은 대부분 인간 관찰자에게 시각적인 “무의미”로 보입니다.

Original training images from CIFAR-10, reduced to just 5% of the original pixel content, yet correctly classified by a range of highly popular computer vision frameworks at an accuracy of between 90-99%. Source: https://arxiv.org/pdf/2003.08907.pdf

일부 경우에, 분류 프레임워크는 원본 훈련 데이터의 전체 프레임보다 이러한 축소된 이미지들을 더 쉽게 올바르게 분류할 수 있습니다. 연구자들은 “[CNNs]는 이러한 픽셀 하위 집합에서 전체 이미지보다 더 자신감을 가지고 있습니다”라고 관찰했습니다.

이것은 CIFAR-10 및 ImageNet과 같은 벤치마크 데이터 세트와 VGG16, ResNet20, ResNet18과 같은 벤치마크 프레임워크를 사용하는 컴퓨터 비전 시스템에서 흔히 발생하는 일종의 “조작”을 나타냅니다.

과한 해석은 컴퓨터 비전 기반 자율 주행 차량 시스템에重大한 영향을 미칩니다. 최근 Tesla가 자율 주행 알고리즘을 위해 LiDAR와 다른 레이 기반 감지 시스템보다 이미지 해석을 선호한다는 결정으로 주목을 받았습니다.

“shortcut learning”은 잘 알려진 도전이며 컴퓨터 비전 분야에서 활발한 연구 영역입니다. 그러나 논문의 저자들은 2019년에 이 문제를 정의한 독일/캐나다 연구에서 과한 해석의 “가짜” 픽셀 하위 집합이 “통계적으로 유효한 데이터”라는 것을 인식하지 못한다고 주장합니다. 이는 데이터셋의 더 주의 깊은 큐레이션을 통해 해결되는 것이 아니라 아키텍처와 더 높은 수준의 접근 방식에서 해결되어야 합니다.

데이터 축소

연구자들이 사용한 데이터가 없는 이미지들은 충분한 입력 하위 집합(Sufficient Input Subsets, SIS)이라고 불립니다. 실제로 SIS 이미지는 원본 이미지의 최소한의 “외부 차체”를 포함하여 컴퓨터 비전 시스템이 이미지의 원래 주제(예: 개, 배 등)를 식별할 수 있도록 합니다.

In the above row, we see complete ImageNet validation images; below, the SIS subsets, correctly classified by an Inception V3 model with 90% confidence, based, apparently, on all that remains of the image – background context. Naturally, the final column has notable implications for signage recognition in self-driving vehicle algorithms.

위 이미지에 대한 결과에 대해 연구자들은 다음과 같이 관찰합니다:

‘우리는 SIS 픽셀이 실제 객체가 아닌 배경에 집중되어 있음을 발견했습니다. 예를 들어, “피자” 이미지에서 SIS는 피자 자체가 아닌 접시의 모양과 배경 테이블에 집중되어 있습니다. 이는 모델이 다른 원형 물체가 있는 이미지에서 일반화가 잘되지 않을 수 있음을 시사합니다. “자이언트 판다” 이미지에서 SIS에는竹이 포함되어 있습니다. 이는 ImageNet 사진에서 이러한 클래스에 대해 자주 나타나는 특징입니다.

‘교통 신호 및 도로 표지 이미지에서 SIS는 하늘의 픽셀로 구성되어 있습니다. 이는 이러한 모델을 사용하는 자율 주행 차량 시스템이 과한 해석의 병리를 신중하게 평가해야 함을 시사합니다.’

SIS 이미지는 임의로 잘리지 않습니다. 대신, Inception V3 및 ResNet50을 사용하여 PyTorch에서 배치 Gradient Backselect 프로세스를 통해 생성되었습니다. 이미지들은 모델의 이미지 분류 능력과 원본 데이터가 반복적으로 제거되는 영역 간의 관계를 고려하여 생성됩니다.

SIS의 유효성을 확인하기 위해, 연구자들은 임의의 픽셀 제거 프로세스를 테스트했으며, 결과가 “훨씬 덜 정보가 풍부하다”는 것을 발견했습니다. 이는 SIS 이미지가 실제로 인기 있는 모델과 데이터셋이 예측을 만들기 위해 필요한 최소한의 데이터를 나타낸다는 것을 시사합니다.

어떤 축소된 이미지를 보아도, 이러한 모델은 인간의 시각적 식별 수준에서 실패해야 합니다. 이는 중간 정확도보다 20% 낮은 정확도를 의미합니다.

With SIS images reduced to just 5% of their original pixels, humans barely achieve a ‘greater than random’ classification success rate, vs. the 90-99% success rate of the popular datasets and frameworks studied in the paper.

과적합을 넘어서

과적합은 기계 학습 모델이 특정 데이터셋에 대해 너무 많이 훈련되어서 해당 데이터셋에 대한 예측을 잘하지만, 새로운 데이터셋에 대해서는 거의 효과가 없거나 전혀 효과가 없는 경우를 말합니다.

연구자들은 과적합을 해결하는 현재의 학술적 및 산업적 관심이 과한 해석을 동시에 해결하지 않을 것이라고 주장합니다. 왜냐하면 컴퓨터에게 식별 가능한 이미지로 나타나는 축소된 픽셀 하위 집합은 실제로 “유효한 데이터”이기 때문입니다.

가능한 해결책

저자들은 모델 앙상블, 즉 여러 아키텍처가 평가 및 훈련 프로세스에 기여하는 방식이 과한 해석을 완화하는 데 도움이 될 수 있다고 제안합니다. 또한 입력 드롭아웃을 적용했을 때, CIFAR-10 테스트 정확도가 약간 감소했지만(이것은 원하는 바입니다), 보이지 않는 데이터에 대한 모델의 정확도가 약 6% 증가했습니다. 그러나 낮은 수치로 인해 과적합을 해결하는 후속 치료법이 과한 해석을 완전히 해결하지는 않을 것이라고 시사합니다.

저자들은 살레시 맵을 사용하여 이미지의 어떤 영역이 특징 추출에 관련되어 있는지 나타낼 수 있다고 인정합니다. 그러나 이것은 자동 이미지 파싱의 목표를 무효화하며, 대규모로 수행하기 어려운 인간 주석이 필요합니다. 또한 살레시 맵이 모델 작동에 대한 통찰력에서 粗한 추정자로 발견되었다고 주장합니다.

이 논문은 다음과 같이 결론을 맺습니다:

‘유의미하지 않은 픽셀 하위 집합만으로도 올바른 분류가 가능할 수 있습니다. 이 경우, 모델의 작동을 신뢰성 있게 설명하는 해석 가능성 방법은 이러한 무의미한 이유를 출력해야 하며, 모델이 의도한 대로 작동한다고 생각하게 하는 결과를 생산할 수 있습니다.’

最初에 2022년 1월 13일에 게시되었습니다.