Ilusi ‘Unduh Lebih Banyak Label!’ dalam Penelitian AI

Sebuah pandangan umum dalam penelitian pembelajaran mesin saat ini adalah bahwa pembelajaran mesin itu sendiri dapat digunakan untuk meningkatkan kualitas anotasi dataset AI – terutama kapten gambar yang dimaksudkan untuk digunakan dalam model bahasa visi (VLMs). Pemikiran ini didorong oleh biaya tinggi anotasi manusia, dan beban tambahan mengawasi kinerja annotator.

Secara argumentatif ini adalah setara dengan meme “unduh lebih banyak RAM” pada awal 2000-an, yang mengolok-olok gagasan bahwa keterbatasan perangkat keras dapat diselesaikan dengan perbaikan berbasis perangkat lunak.

Ini juga merupakan masalah yang kurang dipertimbangkan; sementara model AI baru menarik perhatian luas di kedua bidang publik dan komersial, anotasi sering tampak sebagai detail yang sepele dalam pipa pembelajaran mesin, tertutupi oleh kegembiraan sekitar kerangka kerja yang lebih luas.

Pada kenyataannya, kapasitas sistem pembelajaran mesin untuk mengenali dan mereproduksi pola (kasus penggunaan sentral hampir semua sistem AI) tergantung pada kualitas dan konsistensi anotasi dunia nyata – label dan frasa yang dibuat atau diadili oleh orang-orang nyata, sering membuat penilaian subyektif tentang titik data individual dalam situasi yang tidak ideal.

Tak terelakkan, sistem yang berusaha untuk mengamati dan mereproduksi pola dalam perilaku annotator (dan dengan demikian menggantikan annotator manusia dan memfasilitasi pelabelan akurat dalam skala) tidak dapat berharap untuk berkinerja baik pada data tidak terkandung dalam contoh yang diambil dari pengamat manusia. Tidak ada yang “serupa” yang sama, dan ekuivalensi antar domain tetap menjadi pursuit yang bermasalah dalam penglihatan komputer.

“Dollar data hulu” harus berhenti di suatu tempat, dan dalam hal ini, itu adalah tempat di mana itu berhenti – dengan cerebellum manusia membuat beberapa jenis distingsi subyektif untuk mengkodekan data untuk sistem buatan.

Perdagangan RAG

Hingga baru-baru ini, ketidakakuratan yang timbul dari anotasi dataset yang kurang dirawat dilihat sebagai kerusakan yang dapat diterima dalam konteks hasil yang tidak sempurna tetapi masih dapat dipasarkan dari sistem AI generatif.

Memang, hanya tahun ini sebuah studi dari Singapura menyimpulkan bahwa halusinasi – yaitu, kesempatan ketika sistem AI menciptakan hal-hal yang merusak niat kita – adalah tak terhindarkan, dan terkait dengan arsitektur konseptual sistem tersebut.

Untuk mengatasi ini, agen RAG – yang dapat “memverifikasi” fakta melalui pencarian internet – menjadi populer dalam penelitian dan solusi komersial yang diterapkan. Namun, mereka menambahkan biaya sumber daya dan latency dalam kueri; selain itu, informasi baru yang diterapkan pada model yang dilatih tidak dapat bersaing dengan koneksi yang lebih rumit dan lebih dalam yang karakteristik lapisan asli dalam model yang dilatih.

Oleh karena itu, akan lebih baik jika data anotasi yang menginformasikan model ini secara signifikan kurang bermasalah pada awalnya, bahkan jika tidak dapat sempurna (tidak kurang karena kegiatan ini mengganggu ranah subyektivitas manusia).

RePOPE

Sebuah makalah baru dari Jerman menyoroti masalah yang timbul dari mengandalkan dataset yang lebih lama dan lebih umum, dengan fokus khusus pada akurasi dan keandalan kapten gambar. Temuan peneliti menunjukkan bahwa kesalahan label dalam benchmark dapat menyembunyikan atau menggambarkan halusinasi dalam model bahasa visi.

Dari makalah baru, beberapa contoh di mana kapten asli gagal mengidentifikasi objek dalam dataset gambar MSCOCO. Revisi manual peneliti terhadap benchmark POPE mengatasi kekurangan ini, menunjukkan biaya menghemat uang pada kurasi anotasi. Source: https://arxiv.org/pdf/2504.15707

Bayangkan sebuah model diperlihatkan gambar adegan jalan dan ditanya apakah ada sepeda di dalamnya. Model menjawab ya. Jika dataset benchmark mengatakan tidak ada sepeda, model dianggap salah. Tapi jika sepeda jelas terlihat dalam gambar dan hanya terlewatkan selama anotasi, maka jawaban model benar, dan benchmark telah gagal. Kesalahan seperti ini dapat menumpuk di seluruh dataset, memberikan gambaran yang salah tentang model mana yang akurat dan mana yang rentan terhadap halusinasi.

Dengan demikian, ketika anotasi yang salah atau ambigu dianggap sebagai kebenaran, model mungkin tampak mengalami halusinasi ketika mereka benar, atau tampak akurat ketika mereka tidak, mengganggu pengukuran halusinasi dan peringkat kinerja model, serta membuatnya lebih sulit untuk mendiagnosis atau menangani masalah dengan kepastian.

Makalah baru ini mengunjungi kembali benchmark yang umum digunakan disebut Polling-based Object Probing Evaluation (POPE), yang menguji apakah model bahasa visi dapat dengan benar mengatakan apa yang ada atau tidak ada dalam gambar.

POPE didasarkan pada label dari dataset Microsoft COCO: Common Objects in Context (MSCOCO), sebuah koleksi gambar yang telah lama dianggap menawarkan tingkat akurasi anotasi yang baik.

POPE mengevaluasi halusinasi objek dalam model bahasa visi besar dengan mengubah masalah menjadi tugas klasifikasi biner. Alih-alih menganalisis kapten yang dihasilkan, sistem mengajukan pertanyaan sederhana ya/tidak kepada model tentang apakah objek tertentu ada dalam gambar, menggunakan template seperti ‘Apakah ada <objek> dalam gambar?’.

Contoh halusinasi objek dalam model bahasa visi. Label tebal menunjukkan objek yang ditandai sebagai hadir dalam anotasi asli, sementara label merah menunjukkan objek yang dihalusinasikan oleh model. Contoh kiri mencerminkan evaluasi instruksi tradisional, sementara tiga contoh di sebelah kanan diambil dari varian benchmark POPE yang berbeda. Source: https://aclanthology.org/2023.emnlp-main.20.pdf

Objek yang benar (jawaban: Ya) dipasangkan dengan objek yang tidak ada (jawaban: Tidak), dipilih melalui strategi acak, sering (populer), atau berdasarkan kooresi (adversarial). Pengaturan ini memungkinkan evaluasi halusinasi yang lebih stabil dan tidak bergantung pada analisis kapten yang kompleks.

Penulis makalah baru – berjudul RePOPE: Dampak Kesalahan Anotasi pada Benchmark POPE – menantang akurasi yang diasumsikan dari POPE dengan memeriksa kembali label pada gambar benchmark (yaitu, MSCOCO) – dan menemukan bahwa sejumlah besar label tersebut salah atau tidak jelas.

Contoh dari dataset MSCOCO 2014. Sumber: https://arxiv.org/pdf/1405.0312

Kesalahan ini mengubah peringkat model, dengan beberapa model yang awalnya berkinerja baik jatuh di belakang ketika dihakimi melawan label yang telah diperbaiki.

Dalam tes, penulis mengevaluasi berbagai model bahasa visi terbuka pada benchmark POPE asli dan versi RePOPE yang telah diperbaiki.

Menurut makalah, anotasi yang telah diperbaiki menyebabkan perubahan yang signifikan dalam peringkat model, terutama dalam skor F1, dengan beberapa model yang berkinerja tinggi pada POPE jatuh dalam posisi di bawah RePOPE.

Penulis berpendapat bahwa pergeseran ini menggambarkan seberapa besar kesalahan anotasi dapat mengaburkan perilaku halusinasi model yang sebenarnya, dan mereka mempresentasikan RePOPE sebagai alat yang lebih handal untuk menilai kerentanan halusinasi.

Dalam contoh lain dari makalah baru, kita melihat bagaimana kapten asli gagal mendeteksi objek halus, seperti orang yang duduk di sebelah kabin tram di foto paling kanan, atau kursi yang tersembunyi oleh pemain tenis di foto kedua dari kiri.

Metode dan Tes

Peneliti meng-anotasi ulang semua anotasi dalam dataset MSCOCO asli, dengan dua labeler manusia yang ditugaskan untuk setiap contoh data. Di mana ambiguitas tentang kualitas label asli muncul (seperti dalam contoh di bawah), hasil tersebut disisihkan dari putaran pengujian.

Kasus ambigu, di mana inkonsistensi label dalam POPE mencerminkan batas kategori yang tidak jelas. Sebagai contoh, beruang mainan yang diberi label sebagai beruang, sepeda motor sebagai sepeda, atau kendaraan bandara sebagai mobil. Kasus ini disisihkan dari RePOPE karena sifat subyektif dari klasifikasi tersebut, serta inkonsistensi dalam label asli MSCOCO.

Makalah tersebut menyatakan:

‘Anotator asli melewatkan orang di latar belakang atau di balik kaca, pemain tenis menghalangi ‘kursi’ di latar belakang dan kool slaw hanya mengandung garis kecil yang terlihat dari wortel.

‘Untuk beberapa objek, anotasi COCO tidak konsisten, kemungkinan karena definisi objek yang berbeda yang digunakan oleh anotator asli. Klasifikasi ‘beruang mainan’ sebagai ‘beruang’, sepeda motor sebagai ‘sepeda’, atau kendaraan bandara sebagai ‘mobil’ tergantung pada definisi spesifik, yang menyebabkan inkonsistensi dalam anotasi benar POPE. Oleh karena itu, kami menandai pasangan gambar-pertanyaan sebagai ‘ambigu’.’

Hasil re-anotasi: pertanyaan positif dibagi di antara semua varian POPE. Di antara yang diberi label ‘Ya’ dalam POPE, 9,3 persen ditemukan salah dan 13,8 persen diklasifikasikan sebagai ambigu. Untuk pertanyaan ‘Tidak’, 1,7 persen diberi label salah dan 4,3 persen ambigu.

Penulis mengevaluasi berbagai model terbuka pada POPE dan RePOPE, di seluruh arsitektur dan ukuran model yang beragam. Model yang dipilih termasuk beberapa arsitektur terkemuka di OpenVLM leaderboard: InternVL2.5 (8B/26B/38B/78B dan 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; dan PaliGemma2 (3B/10B).

Hasil awal: tingkat kesalahan yang tinggi dalam label positif asli menyebabkan penurunan tajam dalam true positif di seluruh model. False positif bervariasi di seluruh subset, hampir dua kali lipat pada subset acak, tetapi tidak berubah pada subset populer, dan menunjukkan penurunan pada subset adversarial. Relabeling memiliki dampak besar pada peringkat F1. Model seperti Ovis2-4B dan Ovis2-8B, yang berkinerja baik pada subset populer dan adversarial di POPE, juga naik ke atas pada subset acak di bawah RePOPE.. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.

Hasil grafik di atas menggambarkan bagaimana jumlah true positif dan false positif berubah setelah label dalam benchmark diperbaiki.

True positif menurun di seluruh model, menunjukkan bahwa mereka sering diberi kredit untuk jawaban yang benar ketika jawaban tersebut hanya benar di bawah label yang salah, sementara false positif mengikuti pola yang lebih bervariasi.

Di versi ‘acak’ POPE, false positif hampir dua kali lipat untuk banyak model, menunjukkan bahwa sejumlah besar objek yang diberi label sebagai halusinasi sebenarnya ada dalam gambar tetapi terlewatkan dalam anotasi asli. Dalam hal ini, banyak kesalahan model yang sebenarnya adalah kesalahan labeling dataset.

Untuk versi ‘adversarial’ POPE, di mana pertanyaan didasarkan pada objek yang sering terjadi bersamaan, false positif menurun. Ini kemungkinan mencerminkan peluang yang lebih tinggi bahwa objek yang seharusnya tidak ada sebenarnya ada dalam gambar tetapi tidak diberi label.

Walaupun perubahan ini mempengaruhi presisi dan recall, peringkat model tetap relatif stabil untuk kedua metrik.

Skor F1 – ukuran evaluasi utama POPE – lebih sensitif terhadap koreksi label. Pada subset acak, model yang awalnya berada di peringkat atas di bawah label asli, seperti InternVL2.5-8B dan -26B, jatuh ke bawah ketika dinilai dengan RePOPE. Yang lain, seperti Ovis2-4B dan -8B, naik ke atas.

Polanya yang sama muncul dalam skor akurasi, walaupun penulis mencatat bahwa skor ini mungkin sekarang bias, karena dataset yang diperbaiki mengandung jumlah yang tidak sama dari contoh positif dan negatif.

Penulis berpendapat bahwa dampak kuat dari kesalahan anotasi pada hasil benchmark menekankan kebutuhan akan data yang berkualitas tinggi. Untuk mendukung evaluasi yang lebih handal dari halusinasi objek, mereka telah merilis label yang diperbaiki di GitHub.

Namun, mereka mencatat bahwa relabeling ini tidak sepenuhnya mengatasi kejenuhan benchmark, karena banyak model masih mencapai tingkat true positif dan true negatif di atas 90%. Mereka menyarankan bahwa benchmark tambahan, seperti DASH-B, yang menggunakan contoh negatif yang lebih menantang, harus digunakan bersamaan dengan RePOPE.

Kesimpulan

Eksperimen ini mungkin karena skala dataset yang sangat kecil. Membuktikan hipotesis yang sama pada dataset hiperskala akan melibatkan bekerja pada fragmen data yang sangat terbatas; dalam dataset besar yang sangat beragam, mungkin akan sulit untuk mengisolasi kelompok yang representatif secara statistik dan kohern secara semantik – yang dapat mengganggu hasilnya.

Walaupun demikian, apa solusi yang ada di bawah keadaan saat ini? Argumen itu kembali tak terelakkan ke kebutuhan akan anotasi manusia yang lebih baik dan lebih banyak.

Dalam hal ini, ‘lebih baik’ dan ‘lebih banyak’ ada sebagai masalah yang terpisah, karena dapat memperoleh volume anotasi yang lebih besar melalui ekonomi yang berlomba ke bawah seperti Amazon Mechanical Turk (AMT). Jelas, sub-ekonomi ini potensial eksploitatif dan sering menghasilkan hasil yang lebih rendah.

Alternatifnya, dapat membagi tugas anotasi ke wilayah ekonomi di mana pengeluaran yang sama akan menghasilkan jumlah anotasi yang lebih besar. Namun, semakin jauh annotator dari penggunaan yang dimaksudkan dari model yang akan mereka label, semakin kecil kemungkinan bahwa model yang dihasilkan akan sesuai dengan kebutuhan atau harapan dari domain target.

Oleh karena itu, ini tetap menjadi salah satu tantangan yang paling persisten dan belum terpecahkan dalam ekonomi pengembangan pembelajaran mesin.

Dipublikasikan pertama kali pada hari Rabu, 23 April 2025