이미지넷의 역사적 정확성 평가

Google Research와 UC 버클리의 새 연구는 컴퓨터 비전(CV) 연구 분야에 대한 오랜 비판에 힘을 보탠다. 이 분야는 오랜 역사를 가진 ImageNet 데이터셋과 수많은 파생 데이터셋에 의존한다. 많은 수작업이 필요한 정밀 평가 끝에 저자들은 최상위 모델이 ImageNet의 다중 레이블 하위 집합 평가에서 보이는 오류의 거의 50%가 실제로는 오류가 아니라고 결론 내렸다. 현재 최고 성능 모델들은 이 평가에서 97% 이상의 top-1 정확도를 달성한다.

논문은 다음과 같이 설명한다.

“분석 결과, 오류로 여겨진 사례 중 거의 절반이 실제로는 오류가 아니었다. 또한 새로운 유효한 추가 레이블을 발견했다. 이는 신중한 검토 없이는 모델의 성능을 크게 과소평가하게 된다는 점을 보여준다.

반면 현재 최고의 모델들도 사람이 검토하면 명백히 틀린 오류를 여전히 상당수(40%) 범한다.”

이 연구는 ImageNet 역사의 상당 부분에 걸친 이미지·텍스트 쌍을 정밀하게 평가하여, 특히 전문성이 없는 크라우드소싱 작업자들의 잘못된 레이블이 연구 분야의 평가를 얼마나 왜곡할 수 있는지 드러냈다.

윗줄은 오류의 심각도를 보여준다. 처음 두 예에서는 새 모델이 단순히 잘못된 레이블을 예측한다. 세 번째에서는 이미지에 새로운 분류를 부여하는, 이전에 빠져 있던 유효한 추가 레이블을 식별한다. 윗줄 마지막 이미지는 재니등에를 보통 파리로 예측한 모호한 경우다. 그러나 일반적인 벌이 파리목에 속하므로 이런 예외는 전문가 주석 작업자도 발견하기 거의 불가능하다. 아랫줄에는 네 가지 오류 유형과 예가 있다.  Source: https://arxiv.org/pdf/2205.04596.pdf

연구진은 소수의 전담 평가자를 고용해 ImageNet 데이터셋 평가의 과거 오류 기록을 면밀히 검토했다. 그 결과 오류 판정 자체가 잘못된 사례가 매우 많았다. 이 발견은 여러 프로젝트가 수년간 ImageNet 벤치마크에서 받은 낮은 점수 일부를 재평가할 가능성을 제시한다.

ImageNet이 컴퓨터 비전 연구 문화에 깊이 자리 잡으면서 정확도 향상의 추가 효과는 점점 작아지는 것으로 여겨진다. 그러나 연구진은 기존 레이블 정확도를 뛰어넘고 새로운 추가 레이블을 제안하는 모델이 기존 기준에 따르지 않는다는 이유로 사실상 불이익을 받을 수 있다고 지적한다.

“예를 들어”, 저자들은 묻는다. “이 연구에서 검토한 모델 중 하나처럼, 미리 구운 베이글을 베이글이라고 처음 예측한 모델에 불이익을 줘야 할까?”

논문 속 새 모델은 사진의 물체가 반죽이라는 기존 예측에 반대하며, 실제로는 이미 베이글이라고 제안한다.

이러한 물체를 식별하도록 배정된 크라우드소싱 작업자의 입장에서는 의미론적이면서 철학적인 난제다. 이는 다중 레이블을 부여해야만 해결할 수 있으며, ImageNet의 후속 하위 집합과 버전에서는 실제로 그런 방식이 흔히 사용된다. 위 사례의 물체는 반죽이면서 적어도 형성 중인 베이글이기도 하다.

연구의 맞춤형 모델 테스트에서 발생한 중대한 오류는 위에, 사소한 오류는 아래에 있다. 원래 ImageNet 레이블은 맨 왼쪽 이미지에 표시돼 있다.

두 가지 명백한 해결책은 레이블링에 더 많은 자원을 투입하고 데이터셋 및 레이블 평가 하위 집합을 정기적으로 갱신하는 것이다. 전자는 대부분의 컴퓨터 비전 연구 프로젝트의 예산 제약 안에서는 어렵다. 저자들이 강조하듯 후자 역시 다른 장애물 외에도 동일한 기준으로 비교해 온 벤치마크의 역사적 연속성을 깨뜨리고, 새로운 연구 논문을 동등성에 관한 조건과 유의사항으로 가득 채울 위험이 있다.

상황을 개선하기 위한 단계로 연구진은 ImageNet-Major(ImageNet-M)라는 새 ImageNet 하위 데이터셋을 만들었다. 저자들은 이를 “현재 최고의 모델이 범하는 명백한 오류 중 ‘중대한 오류’ 68개로 이루어진 부분집합으로, 모델이 거의 완벽한 결과를 내야 하지만 오늘날에는 아직 거기에 크게 못 미치는 부분집합”이라고 설명한다.

논문의 제목은 When does dough become a bagel? Analyzing the remaining mistakes on ImageNet(반죽은 언제 베이글이 되는가? ImageNet의 남은 오류 분석)이다. Google Research 소속 저자 네 명과 UC 버클리의 Sara Fridovich-Keil이 공동 집필했다.

기술 부채

이 결과가 중요한 이유는 연구의 핵심 대상인, ImageNet이 만들어진 뒤 16년 동안 확인되거나 잘못 판정된 남은 오류들이 배포 가능한 모델과 실제 데이터를 처리하도록 맡기기에는 오류가 너무 많은 모델 사이의 차이를 만들 수 있기 때문이다. 언제나 그렇듯 마지막 단계가 중요하다.

컴퓨터 비전 및 이미지 합성 연구 분야는 여러 이유로 ImageNet을 벤치마크 지표로 자연스럽게 채택했다. 특히 규모가 크고 레이블 품질이 좋은 데이터셋이 지금보다 드물던 시기에 초기 사용자들이 수많은 연구를 시작하면서, ImageNet 테스트는 새 프레임워크를 비교하는 데 널리 적용할 수 있는 사실상 유일한 역사적 표준이 되었다.

방법

ImageNet에 남은 오류를 찾기 위해 연구진은 정확도 89.5%를 달성할 수 있는 표준 ViT 모델을 사용했다. 매개변수 30억 개의 Vit-3B는 JFT-3B로 사전 학습한 뒤 ImageNet-1K로 미세 조정했다.

연구진은 ImageNet2012_multilabel 데이터셋에서 ViT-3B의 초기 다중 레이블 정확도(MLA)를 96.3%로 기록했다. 이때 모델은 오류로 보이는 사례 676개를 만들었다. 저자들은 이 사례들과 Greedy Soups 모델이 만든 오류를 조사했다.

남은 676개 오류를 평가할 때 저자들은 이런 오류를 일반적인 주석 작업자가 발견하기 어려울 수 있다고 보고 크라우드소싱을 피했다. 대신 전문가 검토자 다섯 명으로 패널을 구성하고, 각 검토자가 예측 클래스와 예측 점수, 정답 레이블, 이미지 자체를 한눈에 볼 수 있는 전용 도구를 제작했다.

프로젝트를 위해 제작한 사용자 인터페이스.

패널의 의견 차이를 해결하기 위해 추가 조사가 필요한 경우도 있었으며, Google 이미지 검색을 보조 도구로 활용했다.

“흥미롭지만 유일하지는 않은 한 사례에서는 노란색 외에는 뚜렷한 택시 표시가 없는 차량을 택시로 예측했다. 우리는 배경에 있는 랜드마크 다리를 식별하여 도시를 알아내고, 해당 도시의 택시 이미지를 검색했다. 그 결과 같은 택시 모델과 번호판 디자인을 확인하여, 평범한 차량이 아니라 택시라는 모델의 예측이 실제로 옳았음을 검증했다.”

여러 연구 단계에서 발견된 오류를 먼저 검토한 뒤 저자들은 네 가지 새로운 오류 유형을 정했다. 세밀한 분류 오류는 예측 클래스가 정답 레이블과 비슷한 경우다. 어휘 외 클래스(OOV)를 동반한 세밀한 분류 오류는 물체의 클래스를 올바르게 식별했지만 해당 클래스가 ImageNet에 없는 경우다. 허위 상관관계는 예측 레이블을 이미지의 맥락과 분리하여 해석하는 경우다. 비전형적 사례는 실제 물체가 자기 클래스의 오해하기 쉬운 예이면서 예측 레이블과 닮은 경우다.

어떤 경우에는 정답 데이터 자체가 실제로 참이 아니었다.

“ImageNet에서 처음 발견한 676개 오류를 검토한 결과, 298개는 옳거나 불명확한 예측이었으며, 혹은 원래 정답이 잘못됐거나 문제가 있는 것으로 판정됐다.”

다양한 데이터셋과 하위 집합, 검증 집합에서 철저하고 복잡한 실험을 거친 뒤, 저자들은 기존 기법으로 오류라고 분류된 사례 중 절반에서 두 모델이 실제로는 옳다는 사람 검토자들의 판단을 얻었다.

논문은 다음과 같이 결론 내린다.

“이 논문에서 우리는 ViT-3B와 Greedy Soups 모델이 ImageNet 다중 레이블 검증 집합에서 범하는 모든 남은 오류를 분석했다.

전반적으로 다음을 확인했다. 1) 크고 정확도가 높은 모델이 다른 모델이 하지 않은 새 예측을 할 때, 거의 절반은 올바른 새 추가 레이블이다. 2) 더 정확한 모델들이 해결하는 오류의 유형과 심각도에서는 뚜렷한 패턴이 나타나지 않는다. 3) 현재 최첨단 모델은 사람이 평가한 다중 레이블 하위 집합에서 최고의 인간 전문가와 대체로 비슷하거나 더 우수한 성능을 보인다. 4) 잡음이 있는 학습 데이터와 불충분하게 정의된 클래스는 이미지 분류 개선을 효과적으로 측정하는 데 한계가 될 수 있다.”

2022년 5월 15일 최초 발행.