Pelatihan Model Visi Komputer pada Kebisingan Acak Daripada Gambar Nyata

Peneliti dari MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) telah melakukan eksperimen dengan menggunakan gambar kebisingan acak dalam dataset visi komputer untuk melatih model visi komputer, dan menemukan bahwa metode ini ternyata efektif:

Model generatif dari eksperimen, diurutkan berdasarkan kinerja. Sumber: https://openreview.net/pdf?id=RQUl8gZnN7O

Memberikan ‘sampah visual’ yang jelas ke arsitektur visi komputer yang populer seharusnya tidak menghasilkan kinerja seperti ini. Di sebelah kanan gambar di atas, kolom hitam mewakili skor akurasi (pada Imagenet-100) untuk empat dataset ‘nyata’. Sementara dataset ‘kebisingan acak’ sebelumnya (digambarkan dalam berbagai warna, lihat indeks atas-kiri) tidak dapat mencapai itu, mereka hampir semua berada dalam batas atas dan bawah yang dapat diterima (garis merah putus-putus) untuk akurasi.

Dalam hal ini ‘akurasi’ tidak berarti bahwa hasilnya pasti terlihat seperti wajah, gereja, pizza, atau domain lainnya yang mungkin Anda ingin membuat sintesis gambar, seperti Jaringan Adversarial Generatif, atau kerangka encoder/decoder.

Melainkan, itu berarti bahwa model CSAIL telah menghasilkan ‘kebenaran’ yang lebih luas dari data gambar yang tampaknya tidak terstruktur sehingga tidak seharusnya dapat memberikan informasi tersebut.

Keanekaragaman Vs. Naturalisme

Hasil ini juga tidak dapat dikaitkan dengan over-fitting: diskusi yang hidup antara penulis dan reviewer di Open Review menunjukkan bahwa mencampur konten yang berbeda dari dataset yang secara visual beragam (seperti ‘daun mati’, ‘fraktal’ dan ‘kebisingan prosedural’ – lihat gambar di bawah) ke dalam dataset pelatihan sebenarnya meningkatkan akurasi dalam eksperimen ini.

Hal ini menunjukkan (dan ini adalah konsep yang revolusioner) jenis ‘under-fitting’ baru, di mana ‘keanekaragaman’ mengalahkan ‘naturalisme’.

Halaman proyek untuk inisiatif ini memungkinkan Anda untuk melihat secara interaktif berbagai jenis dataset gambar acak yang digunakan dalam eksperimen. Sumber: https://mbaradad.github.io/learning_with_noise/

Hasil yang diperoleh oleh peneliti mempertanyakan hubungan fundamental antara jaringan neural berbasis gambar dan ‘dunia nyata’ gambar yang diberikan kepada mereka dalam volume yang semakin besar setiap tahun, dan menyiratkan bahwa kebutuhan untuk mendapatkan, mengkurasi, dan mengatur dataset gambar hyperscale mungkin akhirnya menjadi tidak relevan. Penulis menyatakan:

‘Sistem visi saat ini dilatih pada dataset besar, dan dataset ini memiliki biaya: pengkurasiannya mahal, mereka mewarisi bias manusia, dan ada kekhawatiran tentang privasi dan hak penggunaan. Untuk mengatasi biaya ini, minat telah meningkat dalam belajar dari sumber data yang lebih murah, seperti gambar yang tidak berlabel. ‘

‘Dalam makalah ini, kita melangkah lebih jauh dan bertanya apakah kita dapat menghilangkan dataset gambar nyata sepenuhnya, dengan belajar dari proses kebisingan prosedural.’

Peneliti menyatakan bahwa arsitektur pembelajaran mesin saat ini mungkin menghasilkan sesuatu yang jauh lebih mendasar (atau, setidaknya, tidak terduga) dari gambar daripada yang sebelumnya dipikirkan, dan bahwa ‘kebisingan’ gambar dapat memberikan pengetahuan yang signifikan dengan biaya yang jauh lebih rendah, bahkan dengan kemungkinan menggunakan data sintetis ad hoc, melalui arsitektur pembangkit dataset yang menghasilkan gambar acak pada saat pelatihan:

‘Kita mengidentifikasi dua properti kunci yang membuat data sintetis baik untuk melatih sistem visi: 1) naturalisme, 2) keanekaragaman. Menariknya, data yang paling naturalistik tidak selalu yang terbaik, karena naturalisme dapat datang dengan biaya keanekaragaman.

‘Fakta bahwa data naturalistik membantu mungkin tidak mengejutkan, dan itu menunjukkan bahwa memang, data nyata skala besar memiliki nilai. Namun, kita menemukan bahwa apa yang penting bukanlah bahwa data itu nyata tapi bahwa itu naturalistik, yaitu harus menangkap properti struktural tertentu dari data nyata.

‘Banyak dari properti ini dapat ditangkap dalam model kebisingan sederhana.’

Visualisasi fitur yang dihasilkan dari encoder AlexNet yang dimodifikasi pada beberapa dataset ‘gambar acak’ yang digunakan oleh penulis, mencakup lapisan konvolusi ke-3 dan ke-5 (akhir). Metodologi yang digunakan di sini mengikuti yang ditetapkan dalam penelitian Google AI dari 2017.

Makalah tersebut, yang disajikan pada Konferensi ke-35 tentang Pemrosesan Informasi Neural (NeurIPS 2021) di Sydney, berjudul Belajar untuk Melihat dengan Melihat Kebisingan, dan berasal dari enam peneliti di CSAIL, dengan kontribusi yang sama.

Penelitian ini direkomendasikan oleh kesepakatan untuk pemilihan spotlight di NeurIPS 2021, dengan komentator peer yang menggambarkannya sebagai ‘pemecahan ilmiah’ yang membuka ‘area studi yang besar’, bahkan jika itu mengajukan lebih banyak pertanyaan daripada jawaban.

Dalam makalah tersebut, penulis menyimpulkan:

‘Kita telah menunjukkan bahwa, ketika dirancang menggunakan hasil penelitian sebelumnya tentang statistik gambar alami, dataset ini dapat berhasil melatih representasi visual. Kita berharap bahwa makalah ini akan memotivasi studi tentang model generatif baru yang mampu menghasilkan kebisingan terstruktur yang mencapai kinerja yang lebih tinggi saat digunakan dalam berbagai tugas visual.

‘Apakah mungkin untuk mencapai kinerja yang diperoleh dengan pelatihan ImageNet? Mungkin dalam ketiadaan dataset pelatihan besar yang spesifik untuk tugas tertentu, pelatihan pra-terbaik mungkin tidak menggunakan dataset nyata standar seperti ImageNet.’