Ketahanan > Akurasi: Mengapa ‘Ketahanan Model’ Harus Menjadi Metrik Sebenarnya untuk Mengoperasikan Model

Oleh Ingo Mierswa, Pendiri, Presiden & Kepala Ilmuwan Data di RapidMiner.

Ilmu data telah membuat kemajuan yang luar biasa dalam beberapa tahun terakhir dan banyak organisasi menggunakan analisis lanjutan atau model pembelajaran mesin untuk mendapatkan wawasan yang lebih dalam tentang proses dan, dalam beberapa kasus, bahkan untuk memprediksi hasil yang mungkin terjadi di masa depan. Untuk “ilmu” lainnya, seringkali tidak jelas apakah proyek akan berhasil atau tidak, dan telah ada laporan bahwa sebanyak 87% proyek ilmu data tidak pernah mencapai produksi. Sementara tingkat keberhasilan 100% tidak dapat diharapkan, ada beberapa pola dalam proyek ilmu data yang menyebabkan tingkat keberhasilan yang lebih tinggi daripada yang seharusnya diterima dalam bidang ini. Pola bermasalah ini tampaknya ada secara independen dari industri atau kasus penggunaan tertentu, yang menunjukkan bahwa ada masalah universal dalam ilmu data yang harus diatasi.

Mengukur Keberhasilan Pembelajaran Mesin

Ilmuwan data yang membuat model pembelajaran mesin (ML) bergantung pada kriteria matematika yang terdefinisi dengan baik untuk mengukur seberapa baik model tersebut berperforma. Kriteria mana yang diterapkan tergantung pada jenis model. Misalkan model harus memprediksi kelas atau kategori untuk situasi baru — misalnya, apakah pelanggan akan churn atau tidak. Dalam situasi seperti ini, ilmuwan data akan menggunakan pengukuran seperti akurasi (seberapa sering model benar) atau presisi (seberapa sering pelanggan benar-benar churn jika kita memprediksi churn).

Ilmuwan data memerlukan kriteria objektif seperti ini karena bagian dari pekerjaan mereka adalah mengoptimalkan kriteria evaluatif tersebut untuk menghasilkan model terbaik. Faktanya, selain mempersiapkan data untuk siap dimodelkan, pembangunan dan penyetelan model tersebut adalah di mana ilmuwan data menghabiskan sebagian besar waktunya.

Kelemahan dari ini adalah bahwa ilmuwan data sebenarnya tidak fokus banyak pada memasukkan model tersebut ke dalam produksi, yang merupakan masalah untuk lebih dari satu alasan. Pertama dan terutama, model yang tidak menghasilkan hasil yang sukses tidak dapat digunakan untuk menghasilkan dampak bisnis untuk organisasi yang menerapkan model tersebut. Kedua, karena organisasi tersebut telah menghabiskan waktu dan uang untuk mengembangkan, melatih, dan mengoperasikan model yang tidak menghasilkan hasil yang sukses ketika dijalankan melawan “data dunia nyata”, mereka lebih cenderung untuk menganggap ML dan alat ilmu data lainnya sebagai tidak berguna bagi organisasi mereka dan menolak untuk melanjutkan inisiatif ilmu data di masa depan.

Kebenaran adalah bahwa ilmuwan data hanya menikmati penyesuaian model dan menghabiskan banyak waktu untuk hal ini. Namun, tanpa dampak bisnis, waktu ini tidak dihabiskan dengan bijak, yang terutama menyakitkan mengingat seberapa langka sumber daya ilmuwan data di dunia saat ini.

Hadiah Netflix dan Kegagalan Produksi

Kami telah melihat fenomena ini tentang overinvestasi dalam pembangunan model dan tidak dalam pengoperasian model terjadi dalam beberapa tahun terakhir. Hadiah Netflix (NFLX ) adalah kompetisi terbuka untuk algoritma filtering kolaboratif terbaik untuk memprediksi peringkat pengguna untuk film. Jika Anda memberikan peringkat tinggi untuk film baru, Anda mungkin menikmati film tersebut – sehingga menggunakan sistem peringkat ini, Netflix akan merekomendasikan judul tertentu kepada Anda dan jika Anda menikmati konten yang direkomendasikan, Anda akan lebih cenderung tetap lebih lama sebagai pelanggan Netflix. Hadiah utama adalah sejumlah 1M USD, diberikan kepada tim yang dapat meningkatkan algoritma Netflix sendiri oleh setidaknya 10%.

Tantangan ini dimulai pada 2006 dan selama tiga tahun berikutnya, kontribusi dari lebih dari 40.000 tim ilmu data di seluruh dunia menghasilkan peningkatan yang mengesankan lebih dari 10% untuk keberhasilan rekomendasi judul. Namun, model tim pemenang tidak pernah dioperasikan. Netflix mengatakan bahwa “peningkatan akurasi tidak tampaknya membenarkan upaya yang diperlukan untuk membawa model tersebut ke dalam produksi.”

Mengapa Optimal Bukan Selalu Optimal

Akurasi model dan kriteria ilmu data lainnya telah lama digunakan sebagai metrik untuk mengukur keberhasilan model sebelum memasukkannya ke dalam produksi. Seperti yang telah kita lihat, banyak model tidak pernah mencapai tahap ini – yang merupakan pemborosan sumber daya, baik dalam hal energi maupun waktu yang dihabiskan.

Namun, ada lebih banyak masalah dengan budaya ini yang overinvestasi dalam penyesuaian model. Yang pertama adalah overfitting yang tidak disengaja ke data pengujian, yang akan menghasilkan model yang terlihat baik bagi ilmuwan data yang mengelola, tetapi sebenarnya berperforma buruk sekali di produksi – terkadang bahkan menyebabkan kerusakan. Ini terjadi karena dua alasan:

1. Ada ketidaksesuaian yang diketahui antara kesalahan pengujian dan yang akan Anda lihat di produksi
2. Dampak bisnis dan kriteria kinerja ilmu data seringkali berkorelasi, tetapi model “optimal” tidak selalu menghasilkan dampak terbesar

Poin pertama di atas juga disebut “overfitting ke set pengujian.” Ini adalah fenomena yang diketahui, terutama di antara peserta kompetisi ilmu data seperti yang dari Kaggle. Untuk kompetisi ini, Anda dapat melihat versi yang lebih kuat dari fenomena ini sudah antara papan peringkat publik dan pribadi. Faktanya, peserta dapat memenangkan papan peringkat publik dalam kompetisi Kaggle tanpa pernah membaca data. Serupa, pemenang papan peringkat pribadi dan kompetisi secara keseluruhan mungkin tidak menghasilkan model yang dapat mempertahankan kinerjanya pada dataset lain selain yang telah dievaluasi.

Akurasi Tidak Sama dengan Dampak Bisnis

Terlalu lama kita telah menerima praktik ini, yang mengarah pada adaptasi model yang lambat ke set data pengujian. Sebagai hasilnya, apa yang terlihat seperti model terbaik ternyata biasa-biasa saja:

• Pengukuran seperti akurasi prediktif seringkali tidak sama dengan dampak bisnis
• Peningkatan akurasi sebesar 1% tidak dapat diterjemahkan menjadi 1% hasil bisnis yang lebih baik
• Ada kasus di mana model dengan kinerja rendah mengungguli yang lain, dalam hal dampak bisnis
• Faktor lain seperti perawatan, kecepatan skoring, atau ketahanan terhadap perubahan seiring waktu (yang disebut “ketahanan”) juga harus dipertimbangkan.

Poin terakhir ini sangat penting. Model terbaik tidak hanya akan memenangkan kompetisi atau terlihat baik di laboratorium ilmu data, tetapi juga akan bertahan di produksi dan berperforma baik pada berbagai set pengujian. Model ini adalah yang kami sebut sebagai model yang tangguh.

Drift dan Pentingnya Ketahanan

Semua model memburuk seiring waktu. Satu-satunya pertanyaan adalah seberapa cepat hal ini terjadi dan seberapa baik model masih berperforma di bawah keadaan yang berubah. Alasan dari kemunduran ini adalah bahwa dunia tidak statis. Oleh karena itu, data yang diterapkan model juga berubah seiring waktu. Jika perubahan ini terjadi secara perlahan, kita menyebutnya “drift konsep.” Jika perubahan ini terjadi secara tiba-tiba, kita menyebutnya “pergeseran konsep.” Misalnya, pelanggan mungkin mengubah perilaku konsumsi mereka secara perlahan seiring waktu, dipengaruhi oleh tren dan/atau pemasaran. Model kemungkinan tidak akan berfungsi pada titik tertentu. Perubahan ini dapat dipercepat secara drastis dalam situasi tertentu. COVID-19, misalnya, telah mendorong penjualan barang-barang seperti tisu toilet dan disinfektan — peningkatan tajam yang tidak terduga dalam produk tertentu yang dapat melemparkan model seperti itu sepenuhnya.

Model yang tangguh mungkin tidak menjadi model terbaik berdasarkan pengukuran seperti akurasi atau presisi, tetapi akan berperforma baik pada berbagai set data. Oleh karena itu, model tersebut juga akan berperforma lebih baik selama periode waktu yang lebih lama dan oleh karena itu lebih mampu menghasilkan dampak bisnis yang berkelanjutan.

Model linier dan jenis model sederhana lainnya seringkali lebih tangguh karena lebih sulit untuk overfit mereka ke set pengujian tertentu atau momen waktu. Model yang lebih kuat dapat dan seharusnya digunakan sebagai “tantangan” untuk model yang lebih sederhana, memungkinkan ilmuwan data untuk melihat apakah model tersebut juga dapat bertahan seiring waktu. Namun, ini harus diterapkan pada titik akhir, bukan awal perjalanan modeling.

Sementara KPI formal untuk mengukur ketahanan belum diperkenalkan ke dalam bidang ilmu data, ada beberapa cara di mana ilmuwan data dapat mengevaluasi seberapa tangguh model mereka:

• Deviasi standar yang lebih kecil dalam cross-validation berarti bahwa kinerja model kurang bergantung pada spesifik set pengujian yang berbeda
• Even jika ilmuwan data tidak melakukan cross-validasi penuh, mereka mungkin menggunakan dua set data yang berbeda untuk pengujian dan validasi. Perbedaan yang lebih kecil antara tingkat kesalahan untuk set data pengujian dan validasi menunjukkan ketahanan yang lebih tinggi
• Jika model dipantau dengan baik di produksi, tingkat kesalahan dapat dilihat seiring waktu. Konsistensi tingkat kesalahan seiring waktu adalah tanda baik untuk ketahanan model.
• Jika solusi pemantauan model pilihan memperhitungkan drift, ilmuwan data juga harus memperhatikan seberapa baik model dipengaruhi oleh input drift.

Mengubah Budaya Ilmu Data

Setelah model diterapkan dalam tahap pengoperasian, masih ada ancaman terhadap akurasi model. Dua poin terakhir di atas tentang ketahanan model sudah memerlukan pemantauan model yang tepat di produksi. Sebagai titik awal untuk perubahan budaya dalam ilmu data, perusahaan sangat disarankan untuk berinvestasi dalam pemantauan model yang tepat dan mulai mempertanggungjawabkan ilmuwan data atas kurangnya kinerja setelah model diterapkan ke produksi. Ini akan segera mengubah budaya dari budaya pembangunan model ke budaya penciptaan nilai dan pemeliharaan nilai untuk bidang ilmu data.

Sebagaimana peristiwa dunia terbaru telah menunjukkan kepada kita, dunia berubah dengan cepat. Sekarang, lebih dari sebelumnya, kita perlu membangun model yang tangguh — bukan hanya model yang akurat — untuk menangkap dampak bisnis yang berarti seiring waktu. Misalnya, Kaggle sedang mengadakan tantangan untuk menggalvanis ilmuwan data di seluruh dunia untuk membantu membangun solusi model untuk digunakan dalam perjuangan global melawan COVID-19. Saya antisipasi bahwa model paling sukses yang dihasilkan sebagai hasil dari tantangan ini akan menjadi model yang paling tangguh, bukan yang paling akurat, karena kita telah melihat seberapa cepat data COVID-19 dapat berubah dalam satu hari.

Ilmu data harus tentang menemukan kebenaran, bukan menghasilkan “model terbaik.” Dengan memegang diri kita sendiri pada standar ketahanan yang lebih tinggi daripada akurasi, ilmuwan data akan dapat menghasilkan dampak bisnis yang lebih besar untuk organisasi kita dan membantu untuk membentuk masa depan dengan positif.