Alat Baru Dapat Menunjukkan Peneliti Apa yang Ditinggalkan GAN dari Suatu Gambar

Baru-baru ini, tim peneliti dari MIT-IBM Watson AI Lab menciptakan metode untuk menampilkan apa yang ditinggalkan oleh Jaringan Adversarial Generatif (GAN) dari suatu gambar ketika diminta untuk menghasilkan gambar. Studi ini diberi nama Melihat Apa yang Tidak Dapat Dihasilkan GAN, dan baru-baru ini dipresentasikan pada Konferensi Internasional tentang Penglihatan Komputer.

Jaringan Adversarial Generatif telah menjadi lebih kuat, canggih, dan banyak digunakan dalam beberapa tahun terakhir. Mereka telah menjadi sangat baik dalam menghasilkan gambar yang penuh dengan detail, asalkan gambar tersebut terbatas pada area yang relatif kecil. Namun, ketika GAN digunakan untuk menghasilkan gambar dari adegan yang lebih besar dan lingkungan, mereka cenderung tidak berperforma dengan baik. Dalam skenario di mana GAN diminta untuk menghasilkan gambar yang penuh dengan banyak objek dan item, seperti jalan yang sibuk, GAN sering meninggalkan banyak aspek penting dari gambar.

Menurut MIT News, penelitian ini dikembangkan sebagian oleh David Bau, seorang mahasiswa pascasarjana di Departemen Teknik Elektro dan Ilmu Komputer di MIT. Bau menjelaskan bahwa para peneliti biasanya fokus pada memperbaiki apa yang sistem pembelajaran mesin perhatikan dan memahami bagaimana input tertentu dapat dipetakan ke output tertentu. Namun, Bau juga menjelaskan bahwa memahami data apa yang diabaikan oleh model pembelajaran mesin seringkali sama pentingnya, dan bahwa tim peneliti berharap alat mereka akan menginspirasi peneliti untuk memperhatikan data yang diabaikan.

Minat Bau pada GAN dipicu oleh fakta bahwa mereka dapat digunakan untuk menyelidiki sifat black-box dari jaringan saraf dan untuk memperoleh intuisi tentang bagaimana jaringan tersebut mungkin berpikir. Bau sebelumnya bekerja pada alat yang dapat mengidentifikasi klaster neuron buatan tertentu, melabelinya sebagai bertanggung jawab atas representasi objek dunia nyata seperti buku, awan, dan pohon. Bau juga memiliki pengalaman dengan alat yang disebut GANPaint, yang memungkinkan seniman untuk menghapus dan menambahkan fitur tertentu dari foto dengan menggunakan GAN. Menurut Bau, aplikasi GANPaint mengungkapkan masalah potensial dengan GAN, masalah yang menjadi jelas ketika Bau menganalisis gambar. Seperti yang dikatakan Bau kepada MIT News:

“Saya selalu didorong oleh pembimbing saya untuk melihat beyond angka-angka dan menyelidiki gambar-gambar yang sebenarnya. Ketika kami melihat, fenomena itu langsung terlihat: Orang-orang sedang dihapus secara selektif.”

Sementara sistem pembelajaran mesin dirancang untuk mengekstrak pola dari gambar, mereka juga dapat berakhir dengan mengabaikan pola yang relevan. Bau dan peneliti lainnya bereksperimen dengan melatih GAN pada berbagai adegan indoor dan outdoor, tetapi dalam semua jenis adegan, GAN meninggalkan detail penting dalam adegan seperti mobil, tanda jalan, orang, sepeda, dan lain-lain. Ini benar bahkan ketika objek yang ditinggalkan penting bagi adegan yang bersangkutan.

Tim peneliti menghipotesiskan bahwa ketika GAN dilatih pada gambar, GAN mungkin menemukan lebih mudah untuk menangkap pola gambar yang lebih mudah diwakili, seperti objek stasioner besar seperti lanskap dan bangunan. Mereka mempelajari pola-pola ini daripada pola yang lebih sulit diinterpretasikan, seperti mobil dan orang. Telah menjadi pengetahuan umum bahwa GAN sering menghilangkan detail penting dan bermakna ketika menghasilkan gambar, tetapi studi dari tim MIT mungkin merupakan pertama kalinya GAN telah didemonstrasikan menghilangkan kelas objek secara keseluruhan dalam suatu gambar.

Tim peneliti mencatat bahwa GAN dapat mencapai tujuan numerik mereka bahkan ketika meninggalkan objek yang manusia peduli ketika melihat gambar. Jika gambar yang dihasilkan oleh GAN akan digunakan untuk melatih sistem yang kompleks seperti kendaraan otonom, data gambar harus diperiksa secara dekat karena ada kekhawatiran bahwa objek kritis seperti tanda, orang, dan mobil lainnya dapat ditinggalkan dari gambar. Bau menjelaskan bahwa penelitian mereka menunjukkan mengapa kinerja model tidak boleh didasarkan hanya pada akurasi:

“Kita perlu memahami apa yang dilakukan dan tidak dilakukan oleh jaringan untuk memastikan mereka membuat pilihan yang kita inginkan.”