Meskipun AutoML mulai populer beberapa tahun yang lalu, pekerjaan awal tentang AutoML berasal dari awal 90-an ketika ilmuwan menerbitkan makalah pertama tentang optimasi hiperparameter. Pada tahun 2014, ICML mengadakan workshop AutoML pertama yang membuat AutoML mendapatkan perhatian dari pengembang ML. Salah satu fokus utama AutoML selama beberapa tahun adalah masalah pencarian hiperparameter, di mana model menerapkan berbagai metode optimasi untuk menentukan hiperparameter terbaik dalam ruang hiperparameter besar untuk model pembelajaran mesin tertentu. Metode lain yang umum diterapkan oleh model AutoML adalah memperkirakan probabilitas hiperparameter tertentu menjadi hiperparameter optimal untuk model pembelajaran mesin tertentu. Model ini mencapai hal ini dengan menerapkan metode Bayesian yang secara tradisional menggunakan data historis dari model yang diperkirakan sebelumnya, dan dataset lainnya. Selain optimasi hiperparameter, metode lain mencoba memilih model terbaik dari ruang alternatif pemodelan.

Dalam artikel ini, kita akan membahas LightAutoML, sistem AutoML yang dikembangkan terutama untuk perusahaan Eropa yang beroperasi di sektor keuangan bersama dengan ekosistemnya. Kerangka kerja LightAutoML diterapkan di berbagai aplikasi, dan hasilnya menunjukkan kinerja yang unggul, setara dengan tingkat ilmuwan data, bahkan saat membangun model pembelajaran mesin berkualitas tinggi. Kerangka kerja LightAutoML mencoba membuat kontribusi berikut. Pertama, kerangka kerja LightAutoML dikembangkan terutama untuk ekosistem lembaga keuangan dan perbankan Eropa yang besar. Karena kerangka kerja dan arsitektur yang dimilikinya, kerangka kerja LightAutoML mampu mengungguli kerangka kerja AutoML terdepan di berbagai benchmark terbuka serta aplikasi ekosistem. Kinerja kerangka kerja LightAutoML juga dibandingkan dengan model yang disesuaikan secara manual oleh ilmuwan data, dan hasilnya menunjukkan kinerja yang lebih kuat dari kerangka kerja LightAutoML.

Artikel ini bertujuan untuk membahas kerangka kerja LightAutoML secara mendalam, dan kita menjelajahi mekanisme, metodologi, arsitektur kerangka kerja bersama dengan perbandingannya dengan kerangka kerja terdepan. Jadi, mari kita mulai.

LightAutoML: Kerangka Kerja AutoML untuk Jasa Keuangan

Meskipun peneliti pertama kali mulai bekerja pada AutoML di pertengahan dan awal 90-an, AutoML menarik perhatian besar selama beberapa tahun terakhir, dengan beberapa solusi industri yang menerapkan model pembelajaran mesin yang dibangun secara otomatis seperti AutoGluon Amazon (AMZN ), DarwinAI, H20.ai, IBM Watson AI, Microsoft (MSFT ) AzureML, dan banyak lagi. Sebagian besar kerangka kerja ini menerapkan solusi AutoML yang bersifat umum yang mengembangkan model ML berdasarkan data secara otomatis di berbagai kelas aplikasi di sektor keuangan, kesehatan, pendidikan, dan lain-lain. Asumsi kunci di balik pendekatan horizontal generik ini adalah bahwa proses pengembangan model otomatis tetap sama di semua aplikasi. Namun, kerangka kerja LightAutoML menerapkan pendekatan vertikal untuk mengembangkan solusi AutoML yang tidak generik, tetapi lebih memenuhi kebutuhan aplikasi individual, dalam hal ini lembaga keuangan yang besar. Kerangka kerja LightAutoML adalah solusi AutoML vertikal yang fokus pada kebutuhan ekosistem yang kompleks bersama dengan karakteristiknya.

LightAutoML : Metodologi dan Arsitektur

Kerangka kerja LightAutoML terdiri dari modul yang dikenal sebagai Preset yang didedikasikan untuk pengembangan model ujung-ke-ujung untuk tugas pembelajaran mesin yang khas. Saat ini, kerangka kerja LightAutoML mendukung modul Preset. Pertama, Preset TabularAutoML berfokus pada memecahkan masalah pembelajaran mesin klasik yang didefinisikan pada dataset tabular. Kedua, Preset White-Box menerapkan algoritma yang sederhana dan dapat diinterpretasikan seperti Regresi Logistik sebagai gantinya WoE atau Weight of Evidence encoding dan fitur diskrit untuk memecahkan tugas klasifikasi biner pada data tabular. Menerapkan algoritma yang sederhana dan dapat diinterpretasikan adalah praktik umum untuk memodelkan probabilitas aplikasi karena keterbatasan interpretasi yang diberlakukan oleh faktor-faktor yang berbeda.

LightAutoML Tabular Preset

Dalam kerangka kerja LightAutoML, TabularAutoML adalah pipeline default, dan diterapkan dalam model untuk memecahkan tiga jenis tugas pada data tabular: klasifikasi biner, regresi, dan klasifikasi multikelas untuk berbagai metrik kinerja dan fungsi kerugian. Tabel dengan empat kolom berikut: fitur kategorik, fitur numerik, timestamp, dan kolom target tunggal dengan label kelas atau nilai kontinu diberikan sebagai input ke komponen TabularAutoML. Salah satu tujuan utama di balik desain kerangka kerja LightAutoML adalah untuk merancang alat untuk pengujian hipotesis yang cepat, alasan utama mengapa kerangka kerja menghindari menggunakan metode brute-force untuk optimasi pipeline, dan fokus hanya pada teknik efisiensi dan model yang bekerja di berbagai dataset.

Auto-Typing dan Praproses Data

Untuk menangani berbagai jenis fitur dengan cara yang berbeda, model perlu mengetahui setiap jenis fitur. Dalam situasi di mana ada satu tugas dengan dataset kecil, pengguna dapat menentukan setiap jenis fitur secara manual. Namun, menentukan setiap jenis fitur secara manual tidak lagi menjadi pilihan yang layak dalam situasi yang melibatkan ratusan tugas dengan dataset yang mengandung ribuan fitur. Untuk Preset TabularAutoML, kerangka kerja LightAutoML perlu memetakan fitur ke dalam tiga kelas: numerik, kategori, dan datetime.

Skema Validasi

Skema validasi adalah komponen vital dari kerangka kerja AutoML karena data di industri dapat berubah seiring waktu, dan perubahan ini membuat asumsi IID atau Independen Identically Distributed tidak relevan saat mengembangkan model. Model AutoML menggunakan skema validasi untuk memperkirakan kinerja, mencari hiperparameter, dan menghasilkan prediksi out-of-fold. Pipeline TabularAutoML menerapkan tiga skema validasi:

• Validasi Silang KFold: Validasi Silang KFold adalah skema validasi default untuk pipeline TabularAutoML termasuk GroupKFold untuk model perilaku dan stratified KFold untuk tugas klasifikasi.

• Validasi Holdout: Skema validasi Holdout diterapkan jika himpunan holdout ditentukan.
• Skema Validasi Kustom: Skema validasi kustom dapat dibuat oleh pengguna tergantung pada kebutuhan individu. Skema Validasi Kustom termasuk skema validasi silang dan skema pemisahan waktu.

Seleksi Fitur

Meskipun seleksi fitur adalah aspek penting dalam mengembangkan model sesuai dengan standar industri karena memfasilitasi pengurangan biaya inferensi dan implementasi model, sebagian besar solusi AutoML tidak fokus banyak pada masalah ini. Di sisi lain, pipeline TabularAutoML menerapkan tiga strategi seleksi fitur: tidak ada seleksi, seleksi pemotongan kepentingan, dan seleksi maju berbasis kepentingan. Dari ketiganya, seleksi pemotongan kepentingan adalah default. Selain itu, ada dua cara utama untuk memperkirakan kepentingan fitur: kepentingan pohon berbasis split dan kepentingan permutasi model GBM atau pohon keputusan yang ditingkatkan.

Pengaturan Hiperparameter

Pipeline TabularAutoML menerapkan pendekatan yang berbeda untuk mengatur hiperparameter berdasarkan apa yang diatur.

• Pengaturan Hiperparameter Berhenti Awal memilih jumlah iterasi untuk semua model selama fase pelatihan.
• Pengaturan Hiperparameter Sistem Ahli adalah cara sederhana untuk menetapkan hiperparameter untuk model dengan cara yang memuaskan. Ini mencegah model akhir dari penurunan skor yang besar dibandingkan dengan model yang diatur secara ketat.

• Perkiraan Parzen Terstruktur Pohon atau TPE untuk model pohon keputusan yang ditingkatkan atau GBM. TPE adalah strategi pengaturan campuran yang merupakan pilihan default dalam pipeline LightAutoML. Untuk setiap kerangka GBM, kerangka kerja LightAutoML melatih dua model: yang pertama mendapatkan hiperparameter ahli, yang kedua diatur secara halus untuk memasuki anggaran waktu.

• Pencarian Hiperparameter Grid diterapkan dalam pipeline TabularAutoML untuk mengatur parameter regulerisasi model linier bersama dengan berhenti awal dan mulai hangat.

LightAutoML : Eksperimen dan Kinerja

Untuk mengevaluasi kinerja, Preset TabularAutoML dalam kerangka kerja LightAutoML dibandingkan dengan solusi sumber terbuka yang ada di berbagai tugas, dan memperkuat kinerja unggul dari kerangka kerja LightAutoML. Pertama, perbandingan dilakukan pada benchmark OpenML yang dievaluasi pada 35 dataset klasifikasi biner dan multikelas. Tabel berikut merangkum perbandingan kerangka kerja LightAutoML dengan sistem AutoML yang ada.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas LightAutoML, sistem AutoML yang dikembangkan terutama untuk perusahaan Eropa yang beroperasi di sektor keuangan bersama dengan ekosistemnya. Kerangka kerja LightAutoML diterapkan di berbagai aplikasi, dan hasilnya menunjukkan kinerja yang unggul, setara dengan tingkat ilmuwan data, bahkan saat membangun model pembelajaran mesin berkualitas tinggi. Kerangka kerja LightAutoML mencoba membuat kontribusi berikut. Pertama, kerangka kerja LightAutoML dikembangkan terutama untuk ekosistem lembaga keuangan dan perbankan Eropa yang besar. Karena kerangka kerja dan arsitektur yang dimilikinya, kerangka kerja LightAutoML mampu mengungguli kerangka kerja AutoML terdepan di berbagai benchmark terbuka serta aplikasi ekosistem. Kinerja kerangka kerja LightAutoML juga dibandingkan dengan model yang disesuaikan secara manual oleh ilmuwan data, dan hasilnya menunjukkan kinerja yang lebih kuat dari kerangka kerja LightAutoML.