ImageNet의 과거 정확도 평가

Google Research와 UC Berkeley의 새로운 연구가 오랜 비판 컴퓨터 비전(CV) 연구 부문이 유서 깊은 IMAGEnet 데이터 세트 및 그 많은 파생물. 많은 노동 집약적인 수동 평가 후, 저자는 ImageNet의 다중 레이블 하위 집합 평가에서 최고의 모델이 저지른 것으로 추정되는 실수의 거의 50%(현재 최고 성능 모델이 97% 이상의 1 정확도) 실제로 오류가 아닙니다.

논문에서 :

'우리의 분석은 추정된 실수의 거의 절반이 전혀 실수가 아니라는 것을 밝혔으며, 신중한 검토 없이는 이러한 모델의 성능을 상당히 과소평가하고 있음을 보여주면서 새로운 유효한 다중 레이블을 발견했습니다.

'한편, 우리는 오늘날 가장 뛰어난 모델조차도 인간 검토자의 눈에는 명백히 잘못된 것으로 보이는 상당수의 실수(40%)를 여전히 저지르고 있다는 사실을 발견했습니다.'

데이터 세트의 잘못된 라벨 지정 정도 – 특히 미숙련 크라우드소싱 작업자에 의해 ImageNet 역사의 광범위한 영역에서 이미지/텍스트 페어링을 평가하는 데 있어 이 연구가 꼼꼼한 접근 방식을 취한 것을 보면, 이것이 해당 분야를 왜곡하고 있을 가능성이 있다는 사실이 드러났습니다.

윗줄에는 오류 심각도의 예가 나와 있습니다. 처음 두 예에서 새 모델은 예측된 레이블을 잘못 인식했습니다. 세 번째 예에서 새 모델은 이전에 누락되었던 다중 레이블(이미지의 새로운 분류를 나타내는 레이블)을 식별했습니다. 윗줄의 마지막 이미지에서는 모델의 예측이 모호합니다. 사진이 파리가 아니라 벌파리이기 때문입니다. 그러나 일반적인 벌은 쌍시목에 속하기 때문에 이러한 예외는 전문 주석가라도 거의 발견하기 어렵습니다. 아래 줄에는 네 가지 오류 범주와 예가 나와 있습니다.  출처 : https://arxiv.org/pdf/2205.04596.pdf

연구원들은 소수의 전담 평가자를 고용하여 ImageNet 데이터 세트 평가에서 과거 오류 기록을 힘들게 검토하여 많은 오류 판단 자체가 오류에 있음을 발견했습니다. 수년간 ImageNet 벤치마크.

ImageNet이 CV 문화를 확고히 함에 따라 연구원들은 정확도 개선이 수익 감소를 가져올 것으로 생각되고 기존 레이블 정확도를 넘어서고 새로운(즉, 추가) 레이블을 제안하는 새로운 모델이 본질적으로 불이익을 받을 수 있다고 주장합니다. - 적합성.

'예를 들어,' 저자는 관찰합니다. '이 연구에서 검토하는 모델 중 하나처럼, 미리 구운 베이글이 베이글일 수 있다고 처음으로 예측한 모델에 페널티를 주어야 할까요?'

종이에서 새로운 모델은 사진의 물체가 반죽이라는 이전 예측을 무시하고 물체가 실제로는 이미 베이글임을 시사합니다.

이러한 개체를 식별하는 작업을 수행하는 크라우드 소싱 작업자의 관점에서 볼 때 이것은 다중 레이블 지정으로만 해결할 수 있는 의미론적이고 철학적인 문제입니다(이후 ImageNet의 하위 집합 및 후속 반복에서 자주 발생함). 위의 경우 대상은 실제로 반죽과 적어도 초기 베이글입니다.

연구에서 사용자 지정 모델을 테스트할 때 나타난 주요(위) 및 사소한(아래) 실수. 원본 ImageNet 레이블은 왼쪽의 첫 번째 이미지입니다.

두 가지 명백한 해결책은 레이블 지정에 더 많은 리소스를 할당하는 것(대부분 컴퓨터 비전 연구 프로젝트의 예산 제약 내에서 어려운 일임)과 저자들이 강조하듯이 데이터 세트를 정기적으로 업데이트하고 평가 하위 집합에 레이블을 지정하는 것입니다(이는 다른 장애물 중에서도 벤치마크의 '동일한' 역사적 연속성을 깨뜨릴 위험이 있으며, 새로운 연구 논문에 동등성과 관련된 자격 및 면책 조항을 잔뜩 넣을 위험이 있음).

이 상황을 해결하기 위한 단계로 연구원들은 ImageNet이라는 새로운 하위 데이터 세트를 개발했습니다. ImageNet 전공 (ImageNet-M), 그들은 다음과 같이 설명합니다. '오늘날의 톱 모델들이 저지른 명백한 실수 중 68가지의 '중대한 실수'를 담은 단편입니다. 모델들이 거의 완벽에 가까워야 할 부분인데, 오늘날은 그렇지 못합니다.'

The 종이 제목이 도우는 언제 베이글이 되나요? ImageNet의 나머지 실수 분석, Google Research의 저자 XNUMX명이 UC Berkeley의 Sara Fridovich-Keil과 함께 작성했습니다.

기술 부채

이 연구 결과는 중요합니다. ImageNet이 시작된 지 16년 동안 이 연구의 핵심 연구인 ImageNet에서 발견된(또는 잘못 발견된) 나머지 오류들은 배포 가능한 모델과 실제 데이터에 적용하기에는 너무 오류가 많은 모델 간의 차이를 나타낼 수 있기 때문입니다. 언제나 그렇듯이, 라스트 마일이 중요하다.

컴퓨터 비전 및 이미지 합성 연구 부문은 여러 가지 이유로 벤치마크 지표로 ImageNet을 효과적으로 '자동 선택'했습니다. 그 이유는 지금보다 대용량의 잘 레이블이 지정된 데이터 세트가 드물었던 시기에 초기 채택자들이 대거 등장하여 연구 이니셔티브가 너무 많이 생겨 ImageNet에 대한 테스트가 새로운 프레임워크를 벤치마킹하기 위한 유일하게 광범위하게 적용 가능한 역사적 '표준'이 되었기 때문입니다.

방법

ImageNet에서 '남아있는 실수'를 찾기 위해 연구원들은 표준을 사용했습니다. 비트 89.5억 개의 매개변수가 있는 모델(정확도 3% 달성 가능), 비트-3B, 사전 훈련 JFT-3B 그리고 미세 조정 이미지넷-1K.

사용법 - ImageNet2012_다중 라벨 데이터 세트에서 연구원들은 ViT-3B의 초기 다중 라벨 정확도(MLA)를 96.3%로 기록했으며, 그 동안 모델은 676개의 명백한 실수를 저질렀습니다. 저자가 조사하고자 했던 것은 바로 이러한 실수(또한 Greedy Soups 모델에서 생성된 실수)였습니다.

나머지 676개의 실수를 평가하기 위해 저자는 이러한 유형의 실수가 어려운 평균적인 주석 작성자를 위해 XNUMX명의 전문 검토자로 구성된 패널을 구성하고 각 검토자가 예측된 클래스를 한 눈에 볼 수 있는 전용 도구를 만들었습니다. 예상 점수; 실측 레이블; 그리고 이미지 그 자체.

프로젝트용으로 빌드된 UI입니다.

경우에 따라 패널 간의 분쟁을 해결하기 위해 추가 연구가 필요했으며 Google 이미지 검색이 보조 도구로 사용되었습니다.

'흥미롭지만 고립되지 않은 사례 중 하나는 택시(노란색 외에는 명확한 택시 표시가 없음)에 대한 예측이 이미지에 나타난 것입니다. 우리는 도시의 위치를 ​​파악하기 위해 배경에 랜드마크 다리를 식별하여 예측이 택시이고 일반 차량이 아니라는 것을 확인했고, 이후 해당 도시의 택시에 대한 이미지 검색을 통해 동일한 택시 모델과 번호판 디자인의 이미지가 나와 모델의 실제 예측이 맞는지 검증했습니다.'

연구의 여러 단계에서 발견된 실수에 대한 초기 검토 후 저자는 네 가지 새로운 실수 유형을 공식화했습니다. 세분화된 오류, 여기서 예측된 클래스는 ground-truth 레이블과 유사합니다. OOV(out-of-vocabulary)로 세분화된, 여기서 모델은 클래스가 정확하지만 ImageNet에 없는 개체를 식별합니다. 가짜 상관관계, 여기서 예측된 레이블은 이미지의 맥락에서 읽혀집니다. 그리고 비 원형, 여기서 Ground Truth 객체는 예측된 레이블과 유사한 클래스의 그럴듯한 예입니다.

어떤 경우에는 기본 진실 자체가 '진실'이 아니었습니다.

'ImageNet에서 발견된 원래의 676개 오류를 검토한 결과, 298개는 정확하거나 불분명했고, 원래의 기본 진실이 부정확하거나 문제가 있는 것으로 확인되었습니다.'

다양한 데이터세트, 하위세트 및 검증 세트에 대한 철저하고 복잡한 실험을 거친 후, 저자는 연구 대상인 두 모델이 기존 기술을 사용할 때 저지른 '실수'의 절반에 대해서는 (인간 검토자에 의해) 실제로 올바른 것으로 간주된다는 것을 발견했습니다.

이 논문은 다음과 같이 결론을 내립니다.

'이 논문에서는 ViT-3B 및 Greedy Soups 모델이 ImageNet 다중 라벨 검증 세트에서 저지르는 모든 남아 있는 실수를 분석했습니다.

'전반적으로 다음과 같은 사실을 발견했습니다. 1) 대규모의 고정확도 모델이 다른 모델에서는 나오지 않은 새로운 예측을 할 경우, 거의 절반의 경우 새로운 다중 레이블이 정확하게 예측됩니다. 2) 정확도가 높은 모델은 해결하는 실수의 범주와 심각도에서 명확한 패턴을 보이지 않습니다. 3) 오늘날 SOTA 모델은 인간이 평가한 다중 레이블 하위 집합에서 최고 전문가의 성과와 대체로 비슷하거나 더 나은 성과를 보이고 있습니다. 4) 노이즈가 많은 교육 데이터와 지정되지 않은 클래스는 이미지 분류 개선을 효과적으로 측정하는 데 제한 요소가 될 수 있습니다.'

15년 2022월 XNUMX일에 처음 게시되었습니다.