Naon ari Federated Learning?

Naon ari Federated Learning?

Metodeu tradisional ngalatih model AI ngalibatkeun nyetel server dimana model dilatih dina data, sering ngaliwatan pamakéan platform komputasi basis awan. Sanajan kitu, dina sababaraha taun katukang geus timbul wangun alternatif tina kreasi model, disebutna federated learning. Pangajaran Féderasi mawa model pembelajaran mesin ka sumber data, tinimbang mawa data kana model. Pangajaran Féderasi ngahubungkeun sababaraha alat komputasi kana sistem desentralisasi anu ngamungkinkeun alat individu anu ngumpulkeun data ngabantosan dina ngalatih modél.

Dina sistem pembelajaran federasi, rupa-rupa alat anu mangrupa bagian tina jaringan pembelajaran masing-masing mibanda salinan model dina alat. Alat / klien anu béda ngalatih salinan sorangan model ngagunakeun data lokal klien urang, lajeng parameter / beurat ti model individu dikirim ka alat master, atawa server, nu aggregates parameter jeung apdet model global. Proses latihan ieu teras tiasa diulang dugi ka tingkat akurasi anu dipikahoyong dicapai. Pondokna, pamanggih balik federated learning nya éta taya sahijieun data latihan anu kungsi dikirimkeun antara alat atawa antara pihak, ngan apdet patali model.

Pangajaran Féderasi tiasa diréduksi jadi tilu léngkah atanapi fase anu béda. Pangajaran Féderasi biasana dimimitian ku modél umum anu bertindak salaku garis dasar sareng dilatih dina server sentral. Dina lengkah kahiji, model generik ieu dikirim kaluar ka klien aplikasi urang. Salinan lokal ieu teras dilatih dina data anu dihasilkeun ku sistem klien, diajar sareng ningkatkeun kinerjana.

Dina lengkah kadua, para klien sadayana ngirim parameter modél diajarna ka server sentral. Ieu lumangsung périodik, dina jadwal set.

Dina hambalan katilu, server aggregates parameter diajar nalika narima aranjeunna. Saatos parameter aggregated, model sentral diropéa sarta dibagikeun sakali deui ka klien. Sakabéh prosés lajeng repeats.

nu kauntungan gaduh salinan Modél dina sababaraha alat nyaéta yén latency jaringan diréduksi atanapi dileungitkeun. Biaya anu aya hubunganana sareng ngabagi data sareng server ogé ngaleungitkeun. Mangpaat séjén tina métode pangajaran federasi kaasup kanyataan yén modél pangajaran federasi dijaga privasi, sareng réspon modél dipersonalisasi pikeun pangguna alat éta.

Conto modél pangajaran federasi diantarana mesin rekomendasi, modél deteksi panipuan, sareng modél médis. Mesin rekomendasi média, tina jinis anu dianggo ku Netflix atanapi Amazon, tiasa dilatih dina data anu dikumpulkeun ti rébuan pangguna. Alat klien bakal ngalatih modél sorangan anu misah sareng modél sentral bakal diajar ngadamel prediksi anu langkung saé, sanaos titik data individu bakal unik pikeun pangguna anu béda. Nya kitu, modél deteksi panipuan anu dianggo ku bank tiasa dilatih dina pola kagiatan tina seueur alat anu béda, sareng sakeupeul bank anu béda tiasa kolaborasi pikeun ngalatih modél umum. Dina hal modél pangajaran federasi médis, sababaraha rumah sakit tiasa tim pikeun ngalatih modél umum anu tiasa mikawanoh tumor poténsial ngaliwatan scan médis.

Jinis Pangajaran Féderasi

Skéma pangajaran Féderasi ilaharna digolongkeun kana salah sahiji dua kelas béda: sistem multi-pihak jeung sistem pihak tunggal. Sistem pembelajaran federasi pihak tunggal disebut "pihak tunggal" sabab ngan hiji éntitas tunggal anu tanggung jawab pikeun ngawas newak sareng aliran data dina sadaya alat klien dina jaringan diajar. Model anu aya dina alat klien dilatih dina data sareng struktur anu sami, sanaos titik data biasana unik pikeun sababaraha pangguna sareng alat.

Kontras jeung sistem pihak tunggal, sistem multi pihak diurus ku dua atawa leuwih éntitas. Éntitas ieu gawé bareng pikeun ngalatih modél anu dibagikeun ku ngagunakeun rupa-rupa alat sareng set data anu aranjeunna aksés. Parameter sareng struktur data biasana sami dina alat-alat anu kalebet sababaraha éntitas, tapi henteu kedah sami. Gantina, pre-processing dilakukeun pikeun ngabakukeun inputs model. Éntitas nétral tiasa dianggo pikeun ngahijikeun beurat anu ditetepkeun ku alat anu unik pikeun éntitas anu béda.

Frameworks pikeun Féderasi Learning

Frameworks populér dipaké pikeun learning federated ngawengku Tensorflow Féderasi, Énabler Téhnologi AI Federated (FATE), sarta PySyft. PySyft mangrupikeun perpustakaan pembelajaran federasi open-source dumasar kana perpustakaan pembelajaran jero PyTorch. PySyft dimaksudkeun pikeun mastikeun swasta, ngamankeun learning jero sakuliah server jeung agén maké komputasi énkripsi. Samentara éta, Tensorflow Féderasi mangrupikeun kerangka open source sanés anu diwangun dina platform Tensorflow Google. Salian ngamungkinkeun pamaké pikeun nyieun algoritma sorangan, Tensorflow Federated ngamungkinkeun pamaké pikeun simulate sajumlah algoritma learning federated kaasup kana model jeung data sorangan. Tungtungna, FATE ogé kerangka open-source anu dirancang ku Webbank AI, sareng dimaksudkeun pikeun nyayogikeun ékosistem AI Federated kalayan kerangka komputasi anu aman.

Tantangan Diajar Féderasi

Kusabab learning federated masih cukup nascent, sababaraha tantangan masih kedah dirundingkeun supados tiasa ngahontal poténsi pinuh. Kamampuhan palatihan alat-alat tepi, panyiri data sareng standarisasi, sareng konvergénsi modél mangrupikeun halangan-halangan pikeun pendekatan pembelajaran federasi.

Kamampuh komputasi alat-alat tepi, nalika datang ka pelatihan lokal, kedah diperhatoskeun nalika ngarancang pendekatan pembelajaran federasi. Sanaos sabagéan ageung smartphone, tablet, sareng alat anu cocog sareng IoT tiasa ngalatih modél pembelajaran mesin, ieu biasana ngahambat kinerja alat. Kompromi kedah dilakukeun antara akurasi modél sareng kinerja alat.

Labeling sareng standarisasi data mangrupikeun tantangan sanés anu kedah diatasi ku sistem pembelajaran federasi. Modél pangajaran anu diawaskeun merlukeun data latihan anu jelas sareng konsisten dilabélan, anu tiasa sesah dilakukeun dina seueur alat klien anu mangrupikeun bagian tina sistem. Kusabab ieu, penting pikeun ngembangkeun jalur pipa data modél anu otomatis nerapkeun labél dina cara standar dumasar kana kajadian sareng tindakan pangguna.

Waktos konvergénsi modél mangrupikeun tantangan sanés pikeun diajar féderasi, sabab modél pangajaran féderasi biasana nyandak waktos langkung lami pikeun konvergen tibatan modél anu dilatih sacara lokal. Jumlah alat aub dina palatihan nambahkeun unsur unpredictability kana palatihan model, sakumaha masalah sambungan, apdet teratur, komo béda waktu pamakéan aplikasi bisa nyumbang kana ngaronjatna waktos konvergénsi sarta turun reliabilitas. Ku sabab kitu, solusi pembelajaran féderasi biasana paling kapaké nalika aranjeunna masihan kauntungan anu penting pikeun ngalatih modél sacara terpusat, sapertos conto dimana set data ageung pisan sareng disebarkeun.

Poto: Jeromemetronome via Wikimedia Commons, CC Ku SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)