Kartel Dataset Berpengaruh Mendominasi Penelitian Pembelajaran Mesin, Saran Studi Baru

Sebuah makalah baru dari Universitas California dan Google Research telah menemukan bahwa sejumlah kecil ‘benchmark’ dataset pembelajaran mesin, sebagian besar dari lembaga Barat yang berpengaruh, dan sering dari organisasi pemerintah, mendominasi sektor penelitian AI.

Peneliti menyimpulkan bahwa kecenderungan untuk ‘default’ ke dataset sumber terbuka yang sangat populer, seperti ImageNet, menimbulkan sejumlah alasan praktis, etis, dan bahkan politik untuk dikhawatirkan.

Di antara temuan mereka – berdasarkan data inti dari proyek komunitas Facebook Papers With Code (PWC) – penulis berpendapat bahwa ‘dataset yang digunakan secara luas diperkenalkan oleh hanya segelintir lembaga elit’, dan bahwa ‘konsolidasi’ ini telah meningkat menjadi 80% dalam beberapa tahun terakhir.

‘[Kami] menemukan bahwa ada ketidaksetaraan yang meningkat dalam penggunaan dataset secara global, dan bahwa lebih dari 50% dari semua penggunaan dataset dalam sampel kami dari 43.140 sesuai dengan dataset yang diperkenalkan oleh dua belas lembaga elit, terutama Barat.’

Peta penggunaan dataset non-tugas spesifik selama sepuluh tahun terakhir. Kriteria untuk inklusi adalah di mana lembaga atau perusahaan menyumbang lebih dari 50% penggunaan yang diketahui. Ditampilkan di sebelah kanan adalah koefisien Gini untuk konsentrasi dataset dari waktu ke waktu untuk lembaga dan dataset. Sumber: https://arxiv.org/pdf/2112.01716.pdf

Lembaga dominan termasuk Stanford University, Microsoft, Princeton, Facebook, Google, Max Planck Institute, dan AT&T. Empat dari sepuluh sumber dataset teratas adalah lembaga korporat.

Makalah ini juga menggambarkan penggunaan dataset elit yang meningkat sebagai ‘sarana ketidaksetaraan dalam ilmu pengetahuan’. Ini karena tim peneliti yang mencari persetujuan komunitas lebih termotivasi untuk mencapai hasil state-of-the-art (SOTA) terhadap dataset yang konsisten daripada menghasilkan dataset asli yang tidak memiliki standing, dan yang akan memerlukan rekan untuk beradaptasi dengan metrik baru daripada indeks standar.

Dalam hal apapun, seperti yang diakui oleh makalah, menciptakan dataset sendiri adalah upaya yang sangat mahal bagi lembaga dan tim yang kurang ber资源.

‘Keabsahan ilmiah prima facie yang diberikan oleh pengujian SOTA secara umum dikacaukan dengan kredibilitas sosial yang diperoleh peneliti dengan menunjukkan bahwa mereka dapat bersaing pada dataset yang secara luas diakui, bahkan jika benchmark yang lebih kontekstual mungkin lebih tepat secara teknis.

‘Kami berpendapat bahwa dinamika ini menciptakan “Efek Matius” (yaitu “orang kaya menjadi kaya dan orang miskin menjadi miskin”) di mana benchmark yang sukses, dan lembaga elit yang memperkenalkannya, memperoleh posisi yang tidak seimbang dalam bidang ini.

Makalah ini berjudul Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research, dan berasal dari Bernard Koch dan Jacob G. Foster di UCLA, dan Emily Denton dan Alex Hanna di Google Research.

Makalah ini menimbulkan sejumlah masalah dengan tren konsolidasi yang meningkat yang didokumentasikannya, dan telah diterima dengan persetujuan umum di Open Review. Seorang peninjau dari NeurIPS 2021 mengomentari bahwa karya ini ‘sangat relevan bagi siapa saja yang terlibat dalam penelitian pembelajaran mesin.’ dan memprediksi inklusinya sebagai bahan bacaan di kursus universitas.

Dari Kebutuhan ke Korupsi

Penulis mencatat bahwa budaya ‘mengalahkan-benchmark’ saat ini muncul sebagai obat untuk kurangnya alat evaluasi objektif yang menyebabkan minat dan investasi di AI runtuh untuk kedua kalinya lebih dari tiga puluh tahun yang lalu, setelah penurunan antusiasme bisnis terhadap penelitian baru dalam ‘Sistem Pakar’:

‘Benchmark biasanya memformalkan tugas tertentu melalui dataset dan metrik kuantitatif evaluasi yang terkait. Praktik ini awalnya diperkenalkan ke [penelitian pembelajaran mesin] setelah “Musim Dingin AI” pada 1980-an oleh pemberi dana pemerintah, yang berusaha untuk lebih akurat menilai nilai yang diterima dari hibah.’

Makalah ini berpendapat bahwa keuntungan awal dari budaya ini (mengurangi hambatan partisipasi, metrik konsisten, dan peluang pengembangan yang lebih gesit) mulai ditimbang oleh kerugian yang terjadi secara alami ketika tubuh data menjadi cukup kuat untuk secara efektif menentukan ‘syarat penggunaan’ dan cakupan pengaruhnya.

Penulis menyarankan, sejalan dengan banyak pemikiran industri dan akademis terkini tentang masalah ini, bahwa komunitas penelitian tidak lagi memposkan masalah baru jika masalah tersebut tidak dapat diatasi melalui dataset benchmark yang ada.

Mereka juga mencatat bahwa ketaatan buta terhadap sejumlah kecil ‘dataset emas’ ini mendorong peneliti untuk mencapai hasil yang overfitted (yaitu yang spesifik dataset dan tidak mungkin berkinerja setinggi itu pada data dunia nyata, pada dataset akademis atau asli baru, atau bahkan pada dataset lain dalam ‘standar emas’).

‘Dengan mempertimbangkan konsentrasi tinggi penelitian pada sejumlah kecil dataset benchmark, kami percaya bahwa diversifikasi bentuk evaluasi sangat penting untuk menghindari overfitting ke dataset yang ada dan salah menggambarkan kemajuan dalam bidang ini.’

Pengaruh Pemerintah dalam Penelitian Visi Komputer

Menurut makalah, penelitian Visi Komputer terkena dampak yang lebih besar oleh sindrom yang diuraikan daripada sektor lain, dengan penulis mencatat bahwa penelitian Pengolahan Bahasa Alami (NLP) kurang terpengaruh. Penulis berpendapat bahwa ini mungkin karena komunitas NLP lebih ‘koheren’ dan lebih besar, dan karena dataset NLP lebih mudah diakses dan lebih mudah dikurasi, serta lebih kecil dan kurang intensif sumber daya dalam hal pengumpulan data.

Dalam Visi Komputer, dan terutama terkait dengan dataset Pengenalan Wajah (FR), penulis berpendapat bahwa kepentingan korporat, negara, dan swasta sering bertabrakan:

‘Lembaga korporat dan pemerintah memiliki tujuan yang mungkin bertentangan dengan privasi (misalnya, pengawasan), dan penimbangan prioritas ini kemungkinan berbeda dari yang dipegang oleh akademisi atau pemangku kepentingan AI yang lebih luas.’

Untuk tugas pengenalan wajah, peneliti menemukan bahwa insiden dataset akademis murni menurun secara dramatis terhadap rata-rata:

‘[Empat] dari delapan dataset (33,69% dari total penggunaan) dibiayai secara eksklusif oleh perusahaan, militer AS, atau pemerintah Tiongkok (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2). MS-Celeb-1M akhirnya ditarik karena kontroversi seputar nilai privasi untuk pemangku kepentingan yang berbeda.’

Dataset teratas yang digunakan dalam komunitas penelitian Generasi Gambar dan Pengenalan Wajah.

Dalam grafik di atas, seperti yang dicatat oleh penulis, kita juga melihat bahwa bidang Generasi Gambar (atau Sintesis Gambar) yang relatif baru sangat bergantung pada dataset yang ada, yang lebih tua dan tidak dimaksudkan untuk penggunaan ini.

Sebenarnya, makalah ini mengamati tren yang meningkat untuk ‘migrasi’ dataset dari tujuan yang dimaksudkan, mempertanyakan kesesuaian mereka untuk kebutuhan sektor penelitian baru atau terpinggir, dan seberapa besar keterbatasan anggaran mungkin ‘menggeneralisasi’ cakupan ambisi peneliti ke dalam kerangka yang lebih sempit yang disediakan oleh bahan yang tersedia dan oleh budaya yang begitu terobsesi dengan peringkat benchmark tahun-ke-tahun sehingga dataset baru memiliki kesulitan untuk mendapatkan traksi.

‘Temuan kami juga menunjukkan bahwa dataset secara teratur berpindah antara komunitas tugas yang berbeda. Pada ujung yang paling ekstrem, sebagian besar dataset benchmark yang beredar untuk beberapa komunitas tugas diciptakan untuk tugas lain.’

Mengenai para pemimpin pembelajaran mesin (termasuk Andrew Ng) yang telah semakin meminta lebih banyak keanekaragaman dan kurasi dataset dalam beberapa tahun terakhir, penulis mendukung sentimen ini, tetapi percaya bahwa upaya semacam itu, bahkan jika berhasil, dapat dipengaruhi oleh ketergantungan budaya saat ini pada hasil SOTA dan dataset yang mapan:

‘Penelitian kami menunjukkan bahwa hanya meminta peneliti pembelajaran mesin untuk mengembangkan lebih banyak dataset, dan menggeser struktur insentif sehingga pengembangan dataset dihargai dan dihargai, mungkin tidak cukup untuk diversifikasi penggunaan dataset dan perspektif yang akhirnya membentuk dan menetapkan agenda penelitian MLR.

‘Selain mendorong pengembangan dataset, kami mendukung intervensi kebijakan yang berorientasi pada kesetaraan yang memprioritaskan pendanaan yang signifikan bagi orang-orang di lembaga yang kurang berresources untuk menciptakan dataset berkualitas tinggi. Ini akan diversifikasi — dari perspektif sosial dan budaya — dataset benchmark yang digunakan untuk mengevaluasi metode ML modern.’

6 Desember 2021, 16:49 WIB+2 – Koreksi possessive di headline. – MA