Apa itu Federated Learning?

Apa itu Federated Learning?

Metode tradisional untuk melatih model AI melibatkan pengaturan server di mana model dilatih pada data, sering melalui penggunaan platform komputasi berbasis cloud. Namun, selama beberapa tahun terakhir, bentuk alternatif pembuatan model telah muncul, disebut federated learning. Federated learning membawa model pembelajaran mesin ke sumber data, bukan membawa data ke model. Federated learning menghubungkan beberapa perangkat komputasi menjadi sistem terdesentralisasi yang memungkinkan perangkat individu yang mengumpulkan data untuk membantu melatih model.

Dalam sistem federated learning, berbagai perangkat yang merupakan bagian dari jaringan pembelajaran masing-masing memiliki salinan model pada perangkat. Perangkat yang berbeda/klien melatih salinan model mereka sendiri menggunakan data lokal klien, dan kemudian parameter/berat dari model individu dikirim ke perangkat master, atau server, yang mengagregat parameter dan memperbarui model global. Proses pelatihan ini dapat diulangi sampai tingkat akurasi yang diinginkan tercapai. Singkatnya, ide di balik federated learning adalah bahwa tidak ada data pelatihan yang pernah ditransmisikan antara perangkat atau antara pihak, hanya pembaruan yang terkait dengan model.

Federated learning dapat dibagi menjadi tiga langkah atau fase. Federated learning biasanya dimulai dengan model generik yang bertindak sebagai baseline dan dilatih pada server pusat. Pada langkah pertama, model generik ini dikirim ke klien aplikasi. Salinan lokal kemudian dilatih pada data yang dihasilkan oleh sistem klien, belajar dan meningkatkan kinerja.

Pada langkah kedua, klien mengirim parameter model yang dipelajari ke server pusat. Ini terjadi secara berkala, pada jadwal yang telah ditetapkan.

Pada langkah ketiga, server mengagregat parameter yang dipelajari ketika menerimanya. Setelah parameter diagregat, model pusat diperbarui dan dibagikan kembali dengan klien. Proses seluruhnya kemudian diulangi.

Keuntungan memiliki salinan model pada berbagai perangkat adalah bahwa latensi jaringan berkurang atau dihilangkan. Biaya yang terkait dengan berbagi data dengan server dihilangkan juga. Keuntungan lain dari metode federated learning termasuk fakta bahwa model federated learning dipreservasi privasi, dan respon model dipersonalisasi untuk pengguna perangkat.

Contoh model federated learning termasuk mesin rekomendasi, model deteksi penipuan, dan model medis. Mesin rekomendasi media, seperti yang digunakan oleh Netflix atau Amazon, dapat dilatih pada data yang dikumpulkan dari ribuan pengguna. Perangkat klien akan melatih model terpisah dan model pusat akan belajar membuat prediksi yang lebih baik, bahkan jika titik data individu unik untuk pengguna yang berbeda. Demikian pula, model deteksi penipuan yang digunakan oleh bank dapat dilatih pada pola aktivitas dari banyak perangkat, dan beberapa bank dapat berkolaborasi untuk melatih model umum. Dalam hal model federated learning medis, beberapa rumah sakit dapat bekerja sama untuk melatih model umum yang dapat mengenali tumor potensial melalui pemindaian medis.

Jenis Federated Learning

Skema federated learning biasanya jatuh ke dalam salah satu dari dua kelas yang berbeda: sistem multi-pihak dan sistem single-pihak. Sistem federated learning single-pihak disebut “single-pihak” karena hanya satu entitas yang bertanggung jawab untuk mengawasi penangkapan dan aliran data di seluruh perangkat klien dalam jaringan pembelajaran. Model yang ada pada perangkat klien dilatih pada data dengan struktur yang sama, meskipun titik data biasanya unik untuk pengguna dan perangkat yang berbeda.

Berbeda dengan sistem single-pihak, sistem multi-pihak dikelola oleh dua atau lebih entitas. Entitas-entitas ini bekerja sama untuk melatih model bersama dengan menggunakan berbagai perangkat dan dataset yang mereka miliki. Parameter dan struktur data biasanya serupa di seluruh perangkat yang dimiliki oleh entitas yang berbeda, tetapi mereka tidak harus sama. Sebaliknya, pra-pengolahan dilakukan untuk memstandarkan input model. Entitas netral dapat digunakan untuk mengagregat berat yang ditetapkan oleh perangkat unik untuk entitas yang berbeda.

Kerangka Federated Learning

Kerangka populer yang digunakan untuk federated learning termasuk Tensorflow Federated, Federated AI Technology Enabler (FATE), dan PySyft. PySyft adalah perpustakaan federated learning sumber terbuka berbasis pada perpustakaan pembelajaran dalam PyTorch. PySyft dimaksudkan untuk memastikan pembelajaran dalam yang pribadi, aman di seluruh server dan agen menggunakan komputasi terenkripsi. Sementara itu, Tensorflow Federated adalah kerangka sumber terbuka lainnya yang dibangun pada platform Tensorflow Google. Selain memungkinkan pengguna untuk membuat algoritma mereka sendiri, Tensorflow Federated memungkinkan pengguna untuk mensimulasikan sejumlah algoritma federated learning yang disertakan pada model dan data mereka. Akhirnya, FATE juga merupakan kerangka sumber terbuka yang dirancang oleh Webank AI, dan dimaksudkan untuk menyediakan ekosistem Federated AI dengan kerangka komputasi yang aman.

Tantangan Federated Learning

Karena federated learning masih relatif baru, sejumlah tantangan masih harus dinegosiasikan agar dapat mencapai potensi penuhnya. Kemampuan pelatihan perangkat edge, pelabelan data dan standarisasi, dan konvergensi model adalah potensi hambatan untuk pendekatan federated learning.

Kemampuan komputasi perangkat edge, ketika datang ke pelatihan lokal, perlu dipertimbangkan saat merancang pendekatan federated learning. Sementara sebagian besar smartphone, tablet, dan perangkat IoT lainnya dapat melatih model pembelajaran mesin, ini biasanya menghambat kinerja perangkat. Kompromi harus dibuat antara akurasi model dan kinerja perangkat.

Pelabelan dan standarisasi data adalah tantangan lain yang harus diatasi oleh sistem federated learning. Model pembelajaran terawasi memerlukan data pelatihan yang jelas dan konsisten, yang dapat sulit dilakukan di seluruh klien perangkat yang merupakan bagian dari sistem. Oleh karena itu, penting untuk mengembangkan pipa data model yang secara otomatis menerapkan label dalam cara yang standar berdasarkan peristiwa dan tindakan pengguna.

Waktu konvergensi model adalah tantangan lain untuk federated learning, karena model federated learning biasanya membutuhkan waktu lebih lama untuk konvergen daripada model yang dilatih secara lokal. Jumlah perangkat yang terlibat dalam pelatihan menambahkan elemen ketidakpastian pada pelatihan model, karena masalah koneksi, pembaruan tidak teratur, dan bahkan waktu penggunaan aplikasi yang berbeda dapat menyebabkan waktu konvergensi yang lebih lama dan keandalan yang lebih rendah. Oleh karena itu, solusi federated learning biasanya paling berguna ketika mereka menyediakan keuntungan yang signifikan atas pelatihan model secara terpusat, seperti contoh di mana dataset sangat besar dan terdistribusi.

Foto: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)