Đánh giá độ chính xác lịch sử của ImageNet

Một nghiên cứu mới từ Google Research và UC Berkeley bổ sung thêm vào phê bình lâu dài về lĩnh vực nghiên cứu thị giác máy tính (CV) dựa vào bộ dữ liệu ImageNet đáng kính, và các bộ dữ liệu phái sinh của nó. Sau khi đánh giá thủ công các bản ghi lỗi lịch sử trong bộ dữ liệu ImageNet, các tác giả kết luận rằng gần 50% số lỗi mà các mô hình tốt nhất mắc phải trên tập hợp con đa nhãn của ImageNet (trong đó các mô hình hàng đầu hiện tại đạt được hơn 97% độ chính xác hàng đầu) không thực sự là lỗi.

Từ bài báo:

‘Phân tích của chúng tôi cho thấy rằng gần một nửa số lỗi được cho là không phải là lỗi, và chúng tôi phát hiện ra các nhãn đa nhãn mới, chứng minh rằng, nếu không có đánh giá cẩn thận, chúng tôi đang đánh giá thấp hiệu suất của các mô hình này.

‘Mặt khác, chúng tôi cũng tìm thấy rằng các mô hình tốt nhất hiện nay vẫn mắc phải một số lượng đáng kể lỗi (40%) rõ ràng là sai đối với người đánh giá con người.’

Phạm vi mà việc gán nhãn sai của các bộ dữ liệu – đặc biệt là bởi công nhân đông đảo không có kỹ năng – có thể làm sai lệch lĩnh vực này, đã được tiết lộ bởi cách tiếp cận đánh giá cẩn thận của nghiên cứu đối với các cặp hình ảnh/văn bản trên một phạm vi lớn của lịch sử ImageNet.

Trong hàng trên cùng, các ví dụ về mức độ nghiêm trọng của lỗi: trong hai ví dụ đầu tiên, mô hình mới chỉ đơn giản là dự đoán nhãn sai; trong ví dụ thứ ba, mô hình mới xác định một nhãn đa nhãn trước đây bị thiếu (một nhãn giải quyết một cách phân loại mới của hình ảnh); trong hình ảnh cuối cùng của hàng trên cùng, dự đoán của mô hình là mơ hồ, vì hình ảnh là một con ruồi và không phải là một con chuồn chuồn. Tuy nhiên, con chuồn chuồn trung bình thuộc về bộ Diptera, và vì vậy trường hợp ngoại lệ này sẽ gần như không thể phát hiện, ngay cả đối với một người chú thích chuyên gia. Trong hàng dưới cùng là bốn loại lỗi, với các ví dụ. Nguồn: https://arxiv.org/pdf/2205.04596.pdf

Các nhà nghiên cứu đã sử dụng một số lượng nhỏ các đánh giá viên chuyên dụng để đánh giá thủ công các bản ghi lỗi lịch sử trong bộ dữ liệu ImageNet, và phát hiện ra rằng nhiều bản ghi lỗi là chính xác.

As ImageNet trở nên phổ biến trong văn hóa CV, các nhà nghiên cứu cho rằng những cải tiến về độ chính xác được cho là mang lại lợi nhuận giảm dần, và các mô hình mới vượt qua độ chính xác của nhãn đã thiết lập và gợi ý các nhãn mới (tức là các nhãn bổ sung) có thể bị phạt vì không tuân thủ.

‘Ví dụ,’ các tác giả quan sát. ‘liệu chúng ta có nên phạt các mô hình vì dự đoán rằng một chiếc bánh mì đã được nướng trước có thể là một chiếc bánh mì, như một trong những mô hình chúng tôi xem xét trong công việc này không?’

Từ bài báo, một mô hình mới hơn thách thức dự đoán trước đó rằng đối tượng trong ảnh là bột và gợi ý rằng đối tượng thực sự là một chiếc bánh mì).

Từ quan điểm của một công nhân đông đảo được giao nhiệm vụ xác định đối tượng như vậy, đây là một vấn đề ngữ nghĩa và thậm chí là triết học có thể chỉ được giải quyết bằng cách gán nhiều nhãn (như thường xảy ra trong các tập hợp con sau này và các lần lặp lại tiếp theo của ImageNet); trong trường hợp trên, đối tượng thực sự là cả bột và ít nhất là một chiếc bánh mì non.

Lỗi lớn (trên) và lỗi nhỏ (dưới) xuất hiện khi thử nghiệm các mô hình tùy chỉnh trong nghiên cứu. Các nhãn ImageNet ban đầu là hình ảnh đầu tiên ở bên trái.

Hai giải pháp rõ ràng là phân bổ thêm tài nguyên cho việc gán nhãn (điều này là một thách thức, trong khuôn khổ ngân sách của hầu hết các dự án nghiên cứu thị giác máy tính); và, như các tác giả nhấn mạnh, cập nhật thường xuyên các bộ dữ liệu và các tập hợp con đánh giá nhãn (điều này, trong số các chướng ngại vật khác, có nguy cơ phá vỡ tính liên tục lịch sử của các điểm chuẩn, và làm cho các bài báo nghiên cứu mới đầy rẫy các điều kiện và免 trách về sự tương đương).

Để khắc phục tình hình, các nhà nghiên cứu đã phát triển một bộ dữ liệu con mới của ImageNet gọi là ImageNet-Major (ImageNet-M), mà họ mô tả là ‘một lát cắt 68-ví dụ “lỗi lớn” của các lỗi rõ ràng được thực hiện bởi các mô hình hàng đầu ngày nay – một lát cắt mà các mô hình nên đạt được sự hoàn hảo gần như, nhưng hiện tại vẫn còn xa để làm như vậy.’

Bài báo này có tiêu đề Khi nào bột trở thành bánh mì? Phân tích các lỗi còn lại trên ImageNet, và được viết bởi bốn tác giả từ Google Research, cùng với Sara Fridovich-Keil của UC Berkeley.

Nợ kỹ thuật

Các phát hiện này quan trọng vì các lỗi còn lại được xác định (hoặc xác định sai) trong ImageNet, trong 16 năm kể từ khi nó được tạo ra, nghiên cứu trung tâm của nghiên cứu, có thể đại diện cho sự khác biệt giữa một mô hình có thể triển khai và một mô hình có lỗi đủ để không thể được triển khai trên dữ liệu trực tiếp. Như luôn luôn, dặm cuối cùng là quan trọng.

Lĩnh vực nghiên cứu thị giác máy tính và tổng hợp hình ảnh đã ‘tự chọn’ ImageNet làm một chỉ số chuẩn, vì một số lý do – không chỉ vì một loạt các người dùng sớm, tại một thời điểm khi các bộ dữ liệu lớn và được gán nhãn tốt là hiếm hơn so với bây giờ, đã tạo ra nhiều sáng kiến nghiên cứu mà việc kiểm tra chống lại ImageNet nhanh chóng trở thành chỉ số chuẩn duy nhất có thể áp dụng được cho các khuôn khổ mới.

Phương pháp

Để tìm kiếm ‘các lỗi còn lại’ trong ImageNet, các nhà nghiên cứu đã sử dụng một mô hình ViT tiêu chuẩn (có khả năng đạt được độ chính xác 89,5%) với 3 tỷ tham số, Vit-3B, được tiền huấn luyện trên JFT-3B và tinh chỉnh trên ImageNet-1K.

Sử dụng bộ dữ liệu ImageNet2012_multilabel, các nhà nghiên cứu đã ghi lại độ chính xác đa nhãn ban đầu (MLA) của ViT-3B là 96,3%, trong đó mô hình này mắc 676 lỗi rõ ràng. Đó là những lỗi (và cũng là lỗi do mô hình Greedy Soups tạo ra) mà các tác giả đã cố gắng điều tra.

Để đánh giá 676 lỗi còn lại, các tác giả đã tránh sử dụng công nhân đông đảo, nhận thấy rằng những lỗi như vậy có thể khó đối với các chú thích trung bình để phát hiện, nhưng đã tập hợp một hội đồng gồm năm người đánh giá chuyên nghiệp, và tạo ra một công cụ chuyên dụng để cho phép mỗi người đánh giá xem xét một cách nhanh chóng lớp dự đoán; điểm dự đoán; nhãn thực sự; và hình ảnh chính nó.

Giao diện được xây dựng cho dự án.

Trong một số trường hợp, nghiên cứu thêm là cần thiết để giải quyết các tranh chấp giữa hội đồng, và công cụ tìm kiếm hình ảnh Google được sử dụng như một công cụ phụ trợ.

‘[Trong] một trường hợp thú vị nhưng không cô lập, một dự đoán về một chiếc taxi (với không có chỉ số taxi rõ ràng ngoài màu vàng) có mặt trong hình ảnh; chúng tôi xác định dự đoán là chính xác và không chỉ là một chiếc xe tiêu chuẩn bằng cách xác định một cây cầu nổi bật ở hậu cảnh để xác định vị trí thành phố, và một tìm kiếm hình ảnh tiếp theo cho các taxi trong thành phố đó cho thấy hình ảnh của cùng một mẫu taxi và thiết kế biển số, xác nhận dự đoán chính xác của mô hình.’

Sau khi xem xét ban đầu các lỗi tìm thấy trong nhiều giai đoạn của nghiên cứu, các tác giả đã tạo ra bốn loại lỗi mới: lỗi tinh vi, trong đó lớp dự đoán tương tự như một nhãn thực sự; lỗi tinh vi với từ vựng ngoài, trong đó mô hình xác định một đối tượng có lớp đúng nhưng không có trong ImageNet; quan hệ ngẫu nhiên, trong đó nhãn dự đoán được đọc ra khỏi ngữ cảnh của hình ảnh; và không nguyên mẫu, trong đó đối tượng thực sự là một ví dụ đáng ngờ của lớp mà giống với nhãn dự đoán.

Trong một số trường hợp, nhãn thực sự không phải là ‘thực sự’:

‘Sau khi xem xét lại 676 lỗi ban đầu [tìm thấy trong ImageNet], chúng tôi phát hiện ra rằng 298 lỗi là chính xác hoặc không rõ ràng, hoặc xác định nhãn thực sự ban đầu là không chính xác hoặc có vấn đề.’

Sau một vòng thí nghiệm phức tạp và đầy đủ trên nhiều bộ dữ liệu, tập hợp con và tập hợp xác thực, các tác giả đã phát hiện ra rằng hai mô hình đang được nghiên cứu thực sự được coi là chính xác (bởi người đánh giá con người) cho một nửa số ‘lỗi’ mà chúng mắc phải theo các phương pháp thông thường.

Bài báo kết luận:

‘Trong bài báo này, chúng tôi đã phân tích mọi lỗi còn lại mà mô hình ViT-3B và Greedy Soups mắc phải trên tập hợp xác thực đa nhãn của ImageNet.

‘Tổng thể, chúng tôi đã tìm thấy rằng: 1) khi một mô hình lớn, có độ chính xác cao tạo ra một dự đoán mới không được tạo ra bởi các mô hình khác, nó thường là một nhãn đa nhãn mới chính xác gần một nửa thời gian; 2) các mô hình có độ chính xác cao hơn không cho thấy một mẫu rõ ràng trong các loại và mức độ nghiêm trọng của lỗi chúng giải quyết; 3) các mô hình SOTA hiện nay chủ yếu khớp hoặc vượt qua hiệu suất của con người chuyên gia trên tập hợp con đa nhãn được đánh giá bởi con người; 4) dữ liệu đào tạo nhiễu và các lớp không được chỉ định rõ ràng có thể là một yếu tố hạn chế việc đo lường hiệu suất cải tiến trong phân loại hình ảnh.’

Được xuất bản lần đầu vào ngày 15 tháng 5 năm 2022.