Peneliti Google Menemukan Masalah Underspecification yang Menghambat Banyak Model AI

Baru-baru ini, tim peneliti dari Google (GOOGL ) telah mengidentifikasi penyebab umum kegagalan model AI, menunjuk pada underspecification sebagai salah satu alasan utama mengapa model pembelajaran mesin sering berperforma sangat berbeda di dunia nyata dibandingkan dengan saat pengujian dan pengembangan.

Model pembelajaran mesin sering gagal ketika menghadapi tugas di pengaturan dunia nyata, bahkan jika model tersebut berperforma optimal di laboratorium. Ada banyak alasan mengapa terjadi kesenjangan antara pelatihan/pengembangan dan kinerja dunia nyata. Salah satu alasan paling umum mengapa model AI gagal selama tugas dunia nyata adalah konsep yang dikenal sebagai pergeseran data. Pergeseran data merujuk pada perbedaan fundamental antara jenis data yang digunakan untuk mengembangkan model pembelajaran mesin dan data yang dimasukkan ke dalam model selama aplikasi. Sebagai contoh, model visi komputer yang dilatih pada data gambar berkualitas tinggi akan mengalami kesulitan ketika diberi data yang ditangkap oleh kamera berkualitas rendah yang ditemukan di lingkungan sehari-hari model tersebut.

Menurut MIT Technology Review, tim 40 peneliti yang berbeda di Google telah mengidentifikasi alasan lain mengapa kinerja model pembelajaran mesin dapat bervariasi secara dramatis. Masalahnya adalah “underspecification”, sebuah konsep statistik yang menjelaskan masalah di mana fenomena yang diamati memiliki banyak penyebab yang mungkin, tidak semua di antaranya diperhitungkan oleh model. Menurut pemimpin studi Alex D’Amour, masalah ini terjadi di banyak model pembelajaran mesin, mengatakan bahwa fenomena “terjadi di mana-mana”.

Metode pelatihan model pembelajaran mesin yang biasa melibatkan memberi model sejumlah besar data yang dapat dianalisis dan mengekstrak pola yang relevan. Setelah itu, model diberi contoh yang belum pernah dilihat dan diminta untuk memprediksi sifat contoh tersebut berdasarkan fitur yang telah dipelajari. Setelah model mencapai tingkat akurasi tertentu, pelatihan biasanya dianggap selesai.

Menurut tim peneliti Google, lebih banyak yang perlu dilakukan untuk memastikan model dapat benar-benar umum untuk data non-pelatihan. Metode pelatihan model pembelajaran mesin yang klasik akan menghasilkan berbagai model yang semuanya lulus tes, namun model-model ini akan berbeda dalam hal-hal kecil yang tampaknya tidak signifikan tetapi sebenarnya signifikan. Node yang berbeda dalam model akan memiliki nilai acak yang berbeda, atau data pelatihan dapat dipilih atau diwakili dengan cara yang berbeda. Variasi ini kecil dan seringkali arbitrer, dan jika tidak memiliki dampak besar pada kinerja model selama pelatihan, maka mudah diabaikan. Namun, ketika dampak dari semua perubahan kecil ini terkumpul, mereka dapat menyebabkan perbedaan besar dalam kinerja dunia nyata.

Underspecification ini bermasalah karena berarti bahwa, bahkan jika proses pelatihan dapat menghasilkan model yang baik, juga dapat menghasilkan model yang buruk dan perbedaan tersebut tidak akan ditemukan sampai model keluar dari produksi dan memasuki penggunaan.

Untuk menilai dampak underspecification, tim peneliti menguji sejumlah model yang berbeda. Setiap model dilatih menggunakan proses pelatihan yang sama, dan kemudian model tersebut dikenai serangkaian tes untuk menyoroti perbedaan dalam kinerja. Dalam satu contoh, 50 versi yang berbeda dari sistem pengenalan gambar dilatih pada dataset ImageNet. Model-model ini semua sama kecuali untuk nilai jaringan saraf yang diberikan secara acak selama awal pelatihan. Tes stres yang digunakan untuk menentukan perbedaan dalam model dilakukan menggunakan ImageNet-C, variasi dari dataset asli yang terdiri dari gambar yang diubah melalui kontras atau penyesuaian kecerahan. Model-model ini juga diuji pada ObjectNet, serangkaian gambar yang menampilkan objek sehari-hari dalam orientasi dan konteks yang tidak biasa. Meskipun semua 50 model memiliki kinerja yang hampir sama pada dataset pelatihan, kinerja bervariasi secara luas ketika model dijalankan melalui tes stres.

Tim peneliti menemukan hasil yang serupa ketika mereka melatih dan menguji dua sistem NLP yang berbeda, serta ketika mereka menguji berbagai model visi komputer lainnya. Dalam setiap kasus, model-model ini menyimpang secara liar dari satu sama lain meskipun proses pelatihan untuk semua model tersebut sama.

Menurut D’Amour, peneliti dan insinyur pembelajaran mesin perlu melakukan banyak lebih banyak pengujian stres sebelum merilis model ke dunia. Ini bisa sulit dilakukan, karena tes stres perlu disesuaikan dengan tugas tertentu menggunakan data dari dunia nyata, data yang bisa sulit diperoleh untuk tugas dan konteks tertentu. Salah satu solusi potensial untuk masalah underspecification adalah menghasilkan banyak model sekaligus dan kemudian menguji model-model tersebut pada serangkaian tugas dunia nyata, memilih model yang secara konsisten menunjukkan hasil terbaik. Mengembangkan model dengan cara ini membutuhkan banyak waktu dan sumber daya, tetapi hasilnya mungkin sepadan, terutama untuk model AI yang digunakan dalam konteks medis atau area lain di mana keselamatan adalah kekhawatiran utama. Seperti yang dijelaskan D’Amour melalui MIT Technology Review:

“Kita perlu menjadi lebih baik dalam menentukan persis apa yang kita butuhkan untuk model kita. Karena seringkali apa yang terjadi adalah kita menemukan persyaratan ini hanya setelah model gagal di dunia.”