Mengevaluasi Ketepatan Historis ImageNet

Sebuah studi baru dari Google Research dan UC Berkeley menambahkan kritik lama terkait ketergantungan sektor penelitian computer vision (CV) pada dataset ImageNet yang terhormat, dan turunannya. Setelah melakukan evaluasi manual yang sangat melelahkan, penulis menyimpulkan bahwa hampir 50% dari kesalahan yang seharusnya dilakukan oleh model terbaik pada subset evaluasi multi-label ImageNet (di mana model terbaik saat ini mencapai akurasi lebih dari 97%) sebenarnya tidak salah.

Dari makalah:

‘Analisis kami menunjukkan bahwa hampir setengah dari kesalahan yang seharusnya terjadi sebenarnya tidak terjadi, dan kami menemukan label multi-label baru yang valid, menunjukkan bahwa tanpa tinjauan yang cermat, kita secara signifikan meremehkan kinerja model ini.

‘Di sisi lain, kita juga menemukan bahwa model terbaik saat ini masih membuat sejumlah kesalahan yang signifikan (40%) yang jelas salah bagi peninjau manusia.’

Seberapa besar kesalahan label dataset – terutama oleh pekerja crowdsourcing yang tidak terampil – dapat memengaruhi sektor ini, terungkap oleh pendekatan penelitian yang sangat teliti dalam mengevaluasi pasangan gambar/teks di seluruh sejarah ImageNet.

Pada baris atas, contoh Kesalahan Keparahan: pada dua contoh pertama di sini, model baru hanya salah memprediksi label; pada contoh ketiga, model baru mengidentifikasi label multi-label yang sebelumnya hilang (label yang mengatasi kategorisasi baru dari gambar); pada gambar terakhir di baris atas, prediksi model ambigu, karena gambar itu adalah lalat-lebah dan bukan lalat. Namun, lebah rata-rata termasuk dalam ordo serangga Diptera, sehingga pengecualian ini hampir mustahil untuk ditemukan, bahkan oleh annotator ahli. Pada baris di bawah adalah empat kategori kesalahan, dengan contoh. Sumber: https://arxiv.org/pdf/2205.04596.pdf

Peneliti menggunakan sejumlah kecil evaluator yang didedikasikan untuk meninjau secara teliti catatan kesalahan historis dalam evaluasi dataset ImageNet, menemukan bahwa banyak dari keputusan kesalahan itu sendiri salah – sebuah temuan yang berpotensi merevisi beberapa skor yang buruk yang diperoleh banyak proyek pada benchmark ImageNet selama bertahun-tahun.

Seiring ImageNet semakin mapan dalam budaya CV, peneliti berpendapat bahwa perbaikan akurasi dianggap menghasilkan hasil yang semakin menurun, dan bahwa model baru yang melangkah melewati akurasi label yang mapan, dan yang menyarankan label baru (yaitu tambahan) mungkin sedang dihukum, secara efektif, karena tidak konformitas.

‘Misalnya,’ penulis mengamati. ‘apakah kita harus menghukum model karena menjadi yang pertama untuk memprediksi bahwa roti panggang yang sudah dipanggang mungkin merupakan roti panggang, seperti yang dilakukan oleh salah satu model yang kita tinjau dalam pekerjaan ini?’

Dari makalah, model baru melanggar prediksi sebelumnya bahwa objek dalam foto adalah adonan, dan menyarankan bahwa objek itu sebenarnya sudah menjadi roti panggang).

Dari sudut pandang pekerja crowdsourcing yang ditugaskan untuk mengidentifikasi objek tersebut, ini adalah sebuah dilema semantik dan bahkan filosofis yang hanya dapat diselesaikan dengan multi-labeling (seperti yang sering terjadi pada subset dan iterasi berikutnya dari ImageNet); dalam kasus di atas, objek itu memang keduanya adonan dan setidaknya roti panggang yang baru lahir.

Kesalahan besar (atas) dan kesalahan kecil (bawah) yang muncul saat menguji model kustom dalam penelitian. Label ImageNet asli adalah gambar pertama di sebelah kiri.

Dua solusi yang jelas adalah untuk mengalokasikan lebih banyak sumber daya untuk labeling (yang merupakan tantangan, dalam batasan anggaran kebanyakan proyek penelitian visi komputer); dan, seperti yang ditekankan oleh penulis, untuk secara teratur memperbarui dataset dan subset evaluasi label (yang, di antara hambatan lain, berisiko memutuskan kontinuitas historis ‘sama untuk sama’ dari benchmark, dan untuk membuang kertas penelitian baru dengan kualifikasi dan penafian mengenai kesetaraan).

Sebagai langkah untuk memperbaiki situasi, peneliti telah mengembangkan sub-dataset ImageNet baru yang disebut ImageNet-Major (ImageNet-M), yang mereka deskripsikan sebagai ‘potongan 68-contoh “kesalahan besar” dari kesalahan yang jelas yang dilakukan oleh model terbaik saat ini – potongan di mana model seharusnya mencapai kesempurnaan, tetapi saat ini jauh dari melakukan itu.’

Makalah ini berjudul Kapan adonan menjadi roti panggang? Menganalisis kesalahan yang tersisa pada ImageNet, dan ditulis oleh empat penulis dari Google Research, bersama dengan Sara Fridovich-Keil dari UC Berkeley.

Utang Teknis

Temuan ini penting karena kesalahan yang tersisa yang diidentifikasi (atau salah diidentifikasi) dalam ImageNet, dalam 16 tahun sejak pembentukannya, dapat mewakili perbedaan antara model yang dapat diterapkan dan model yang rentan terhadap kesalahan sehingga tidak dapat dilepaskan pada data langsung. Seperti biasa, mil terakhir sangat kritis.

Sektor penelitian visi komputer dan sintesis gambar secara efektif ‘mengatur’ ImageNet sebagai metrik benchmark, karena sejumlah alasan – tidak hanya karena sejumlah besar pengadopsi awal, pada saat dataset yang banyak dan terlabel dengan baik lebih jarang daripada sekarang, menghasilkan banyak inisiatif penelitian yang pengujian melawan ImageNet dengan cepat menjadi satu-satunya ‘standar’ yang berlaku secara historis untuk membandingkan kerangka kerja baru.

Metode

Mencari ‘kesalahan yang tersisa’ dalam ImageNet, peneliti menggunakan model ViT standar (yang dapat mencapai akurasi 89,5%) dengan 3 miliar parameter, Vit-3B, yang telah dilatih sebelumnya pada JFT-3B dan disesuaikan pada ImageNet-1K.

Menggunakan dataset ImageNet2012_multilabel, peneliti merekam akurasi multi-label awal (MLA) ViT-3B sebagai 96,3%, selama model membuat 676 kesalahan yang tampak. Kesalahan ini (dan juga kesalahan yang dihasilkan oleh model Greedy Soups) yang penulis coba untuk menyelidiki.

Untuk mengevaluasi 676 kesalahan yang tersisa, penulis menghindari pekerja crowdsourcing, mengamati bahwa kesalahan jenis ini dapat sulit bagi annotator rata-rata untuk menemukannya, tetapi mengumpulkan panel lima peninjau ahli, dan membuat alat khusus untuk memungkinkan setiap peninjau untuk melihat sekilas kelas yang diprediksi; skor yang diprediksi; label ground truth; dan gambar itu sendiri.

Antarmuka yang dibangun untuk proyek ini.

Dalam beberapa kasus, penelitian lebih lanjut diperlukan untuk menyelesaikan sengketa di antara panel, dan Google Image search digunakan sebagai alat tambahan.

‘[Dalam] satu kasus menarik tetapi tidak terisolasi, prediksi taksi (tanpa indikator taksi yang jelas di luar warna kuning) hadir dalam gambar; kita menentukan prediksi itu benar-benar taksi dan bukan hanya kendaraan standar dengan mengidentifikasi jembatan landmark di latar belakang untuk melokalisasi kota, dan pencarian gambar berikutnya untuk taksi di kota itu menghasilkan gambar dari model taksi yang sama dan desain plat nomor, yang memvalidasi prediksi model yang sebenarnya benar.’

Setelah tinjauan awal kesalahan yang ditemukan selama beberapa fase penelitian, penulis merumuskan empat jenis kesalahan baru: kesalahan halus, di mana kelas yang diprediksi mirip dengan label ground truth; kesalahan halus dengan out-of-vocabulary (OOV), di mana model mengidentifikasi objek yang kelasnya benar tetapi tidak hadir dalam ImageNet; kesalahan korelasi semu, di mana label yang diprediksi dibaca di luar konteks gambar; dan non-prototipe, di mana objek ground truth adalah contoh yang meragukan dari kelas yang menyerupai label yang diprediksi.

Dalam beberapa kasus, ground truth itu sendiri tidak ‘benar’:

‘Setelah meninjau 676 kesalahan asli [ditemukan dalam ImageNet], kita menemukan bahwa 298 benar atau tidak jelas, atau menentukan ground truth asli salah atau bermasalah.’

Setelah putaran penelitian yang panjang dan kompleks di seluruh rentang dataset, subset, dan set validasi, penulis menemukan bahwa dua model yang dipelajari sebenarnya dianggap benar (oleh peninjau manusia) untuk setengah dari ‘kesalahan’ yang mereka buat dengan teknik konvensional.

Makalah ini menyimpulkan:

‘Dalam makalah ini, kita menganalisis setiap kesalahan yang tersisa yang dilakukan oleh model ViT-3B dan Greedy Soups pada set validasi multi-label ImageNet.

‘Secara keseluruhan, kita menemukan bahwa: 1) ketika model besar dengan akurasi tinggi membuat prediksi baru yang tidak dibuat oleh model lain, itu berakhir menjadi label multi-label baru yang benar hampir setengah waktu; 2) model dengan akurasi lebih tinggi tidak menunjukkan pola yang jelas dalam kategori dan tingkat kesalahan yang kita temukan; 3) model SOTA saat ini sebagian besar mencocokkan atau mengalahkan kinerja ahli manusia terbaik pada subset multi-label yang dievaluasi manusia; 4) data pelatihan yang bising dan kelas yang tidak terdefinisi dengan baik mungkin merupakan faktor yang membatasi pengukuran perbaikan yang efektif dalam klasifikasi gambar.’

Dipublikasikan pertama kali pada tanggal 15 Mei 2022.