Andrew Ng Mengkritik Budaya Overfitting dalam Pembelajaran Mesin

Andrew Ng, salah satu suara paling berpengaruh dalam pembelajaran mesin selama dekade terakhir, saat ini mengungkapkan kekhawatirannya tentang seberapa besar sektor ini menekankan inovasi dalam arsitektur model daripada data – dan khususnya, seberapa besar itu memungkinkan hasil ‘overfitted’ digambarkan sebagai solusi umum atau kemajuan.

Ini adalah kritik yang luas terhadap budaya pembelajaran mesin saat ini, yang berasal dari salah satu otoritas tertingginya, dan memiliki implikasi untuk kepercayaan dalam sektor yang diterpa oleh kekhawatiran tentang keruntuhan ketiga kepercayaan bisnis dalam pengembangan AI dalam ruang enam puluh tahun.

Ng, seorang profesor di Universitas Stanford, juga salah satu pendiri deeplearning.ai, dan pada Maret menerbitkan sebuah surat di situs organisasi yang menyaring pidato terbarunya menjadi beberapa rekomendasi inti:

Pertama, bahwa komunitas penelitian harus berhenti mengeluh bahwa pembersihan data mewakili 80% tantangan dalam pembelajaran mesin, dan mulai mengerjakan tugas mengembangkan metodologi dan praktik MLOps yang kuat.

Kedua, bahwa itu harus bergerak menjauh dari ‘kemenangan mudah’ yang dapat diperoleh dengan over-fitting data ke model pembelajaran mesin, sehingga model tersebut berfungsi dengan baik pada model tersebut tetapi gagal umum atau menghasilkan model yang dapat diterapkan secara luas.

Menerima Tantangan Arsitektur Data dan Kurasi

‘Pandangan saya’, Ng menulis, ‘adalah bahwa jika 80 persen pekerjaan kita adalah persiapan data, maka memastikan kualitas data adalah pekerjaan penting dari tim pembelajaran mesin.’

Dia melanjutkan:

‘Daripada mengandalkan insinyur untuk menemukan cara terbaik untuk memperbaiki dataset, saya berharap kita dapat mengembangkan alat MLOps yang membantu membuat pembangunan sistem AI, termasuk membuat dataset berkualitas tinggi, lebih dapat diulang dan sistematis.

‘MLOps adalah bidang yang masih baru, dan orang-orang mendefinisikannya dengan cara yang berbeda. Tapi saya pikir prinsip pengorganisasian yang paling penting dari tim dan alat MLOps harus memastikan aliran data yang konsisten dan berkualitas tinggi di semua tahap proyek. Ini akan membantu banyak proyek berjalan lebih lancar.’

Berbicara di Zoom dalam sesi tanya jawab langsung pada akhir April, Ng membahas kekurangan penerapan dalam sistem analisis radiologi pembelajaran mesin:

“Ternyata bahwa ketika kita mengumpulkan data dari Rumah Sakit Stanford, kemudian kita melatih dan menguji data dari rumah sakit yang sama, memang, kita dapat menerbitkan makalah yang menunjukkan [algoritma] setara dengan radiolog manusia dalam mendeteksi kondisi tertentu.

“…[Ketika] Anda mengambil model yang sama, sistem AI yang sama, ke rumah sakit yang lebih tua di jalan, dengan mesin yang lebih tua, dan teknisi menggunakan protokol pencitraan yang sedikit berbeda, data itu bergeser untuk menyebabkan kinerja sistem AI menurun secara signifikan. Sebaliknya, setiap radiolog manusia dapat berjalan ke rumah sakit yang lebih tua dan melakukan dengan baik.”

Spesifikasi yang Kurang Tidak Menjadi Solusi

Overfitting terjadi ketika model pembelajaran mesin dirancang khusus untuk menampung kekhasan dataset tertentu (atau cara data diformat). Ini dapat melibatkan, misalnya, menentukan bobot yang akan menghasilkan hasil baik dari dataset tersebut, tetapi tidak ‘umum’ pada data lain.

Di banyak kasus, parameter tersebut didefinisikan pada aspek ‘non-data’ dari set pelatihan, seperti resolusi khusus informasi yang dikumpulkan, atau kekhasan lain yang tidak dijamin akan terulang pada dataset berikutnya.

Meskipun akan menyenangkan, overfitting bukanlah masalah yang dapat dipecahkan dengan memperluas cakupan atau fleksibilitas arsitektur data atau desain model, ketika yang dibutuhkan sebenarnya adalah fitur yang berlaku secara luas dan sangat relevan yang akan berfungsi dengan baik dalam berbagai lingkungan data – sebuah tantangan yang lebih sulit.

Umumnya, jenis ‘spesifikasi yang kurang’ ini hanya menyebabkan masalah yang telah Ng garisbawahi, di mana model pembelajaran mesin gagal pada data yang tidak terlihat. Perbedaan dalam kasus ini adalah bahwa model gagal bukan karena data atau format data berbeda dari set pelatihan asli yang overfitted, tetapi karena model terlalu fleksibel daripada terlalu rapuh.

Akhir tahun 2020, makalah Spesifikasi yang Kurang Menimbulkan Tantangan bagi Kredibilitas dalam Pembelajaran Mesin Modern mengkritik praktik ini dengan keras, dan membawa nama tidak kurang dari empat puluh peneliti dan ilmuwan pembelajaran mesin dari Google dan MIT, di antara lembaga lain.

Makalah tersebut mengkritik ‘pembelajaran jalan pintas’, dan mengamati cara model yang kurang spesifik dapat bergerak ke arah yang liar berdasarkan titik benih acak di mana pelatihan model dimulai. Kontributor mengamati:

‘Kami telah melihat bahwa spesifikasi yang kurang adalah hal yang umum dalam pipa pembelajaran mesin praktis di banyak domain. Memang, berkat spesifikasi yang kurang, aspek-aspek penting dari keputusan ditentukan oleh pilihan acak seperti benih acak yang digunakan untuk inisialisasi parameter.’

Dampak Ekonomi dari Perubahan Budaya

Meskipun memiliki kredensial akademis, Ng bukanlah seorang akademisi yang berpikiran sempit, tetapi memiliki pengalaman industri yang dalam dan tingkat tinggi sebagai co-pendiri Google Brain dan Coursera, sebagai mantan ilmuwan utama untuk Big Data dan AI di Baidu, dan sebagai pendiri Landing AI, yang mengelola $175 juta USD untuk startup baru di sektor ini.

Ketika dia mengatakan “Seluruh AI, tidak hanya perawatan kesehatan, memiliki kesenjangan antara konsep dan produksi”, itu dimaksudkan sebagai panggilan bangun untuk sektor yang saat ini memiliki tingkat hiper dan sejarah yang bervariasi sehingga membuatnya semakin tidak pasti sebagai investasi bisnis jangka panjang, diterpa oleh masalah definisi dan cakupan.

Bagaimanapun, sistem pembelajaran mesin yang bersifat milik yang berfungsi dengan baik di dalam dan gagal di lingkungan lain mewakili jenis penangkapan pasar yang dapat menguntungkan investasi industri. Menggambarkan ‘masalah overfitting’ dalam konteks bahaya pekerjaan menawarkan cara yang tidak jujur untuk memonetisasi investasi perusahaan dalam penelitian sumber terbuka, dan untuk menghasilkan (secara efektif) sistem milik di mana replikasi oleh pesaing memungkinkan, tetapi bermasalah.

Apakah pendekatan ini akan berhasil dalam jangka panjang tergantung pada seberapa besar kemajuan nyata dalam pembelajaran mesin terus memerlukan investasi yang semakin besar, dan apakah semua inisiatif produktif akan secara tidak terhindarkan bermigrasi ke FAANG hingga tingkat tertentu, karena sumber daya yang sangat besar yang diperlukan untuk hosting dan operasi.