Kas ir federētā mācīšanās?

Kas ir federētā mācīšanās?

Tradicionālā AI modeļu apmācības metode ietver serveru iestatīšanu, kur modeļi tiek apmācīti, izmantojot datus, bieži izmantojot mākoņdatošanas platformu. Tomēr dažu pēdējo gadu laikā ir radusies alternatīva modeļa izveides forma, ko sauc par apvienoto mācīšanos. Federētā mācīšanās ienes datu avotā mašīnmācīšanās modeļus, nevis datus modelī. Federatīvā mācīšanās savieno vairākas skaitļošanas ierīces decentralizētā sistēmā, kas ļauj atsevišķām ierīcēm, kas apkopo datus, palīdzēt modeļa apmācībā.

Apvienotajā mācību sistēmā dažādām ierīcēm, kas ir daļa no mācību tīkla, katrai ierīcē ir modeļa kopija. Dažādas ierīces/klienti apmācīt savu modeļa kopiju izmantojot klienta lokālos datus, un pēc tam atsevišķu modeļu parametri/svari tiek nosūtīti uz galveno ierīci vai serveri, kas apkopo parametrus un atjaunina globālo modeli. Pēc tam šo apmācības procesu var atkārtot, līdz tiek sasniegts vēlamais precizitātes līmenis. Īsāk sakot, apvienotās apmācības ideja ir tāda, ka neviens no apmācības datiem nekad netiek pārsūtīts starp ierīcēm vai pusēm, tiek pārsūtīti tikai ar modeli saistītie atjauninājumi.

Apvienoto mācīšanos var iedalīt trīs dažādos posmos vai fāzēs. Apvienotā apmācība parasti sākas ar vispārēju modeli, kas darbojas kā bāzes līnija un tiek apmācīts centrālajā serverī. Pirmajā darbībā šis vispārīgais modelis tiek nosūtīts lietojumprogrammas klientiem. Šīs vietējās kopijas pēc tam tiek apmācītas par klienta sistēmu ģenerētajiem datiem, apgūstot un uzlabojot to veiktspēju.

Otrajā solī visi klienti nosūta savus apgūtos modeļa parametrus uz centrālo serveri. Tas notiek periodiski, pēc noteikta grafika.

Trešajā darbībā serveris apkopo apgūtos parametrus, kad tos saņem. Pēc parametru apkopošanas centrālais modelis tiek atjaunināts un vēlreiz kopīgots ar klientiem. Pēc tam viss process atkārtojas.

Jūsu darbs IR Klientu apkalpošana ieguvums no kopijas Modeļa noteikums dažādās ierīcēs ir tāds, ka tīkla latentumi tiek samazināti vai novērsti. Tiek novērstas arī izmaksas, kas saistītas ar datu koplietošanu ar serveri. Citas federālo mācību metožu priekšrocības ir tas, ka apvienoto mācību modeļu privātums tiek saglabāts un modeļu atbildes tiek personalizētas ierīces lietotājam.

Apvienoto mācību modeļu piemēri ir ieteikumu dzinēji, krāpšanas atklāšanas modeļi un medicīnas modeļi. Plašsaziņas līdzekļu ieteikumu dzinējus, kādus izmanto Netflix vai Amazon, varētu apmācīt, pamatojoties uz datiem, kas savākti no tūkstošiem lietotāju. Klienta ierīces apmācītu savus atsevišķus modeļus, un centrālais modelis iemācītos labāk prognozēt, lai gan atsevišķie datu punkti būtu unikāli dažādiem lietotājiem. Līdzīgi krāpšanas atklāšanas modeļus, ko izmanto bankas, var apmācīt par darbības modeļiem no daudzām dažādām ierīcēm, un dažas dažādas bankas varētu sadarboties, lai apmācītu kopīgu modeli. Runājot par medicīnas apvienoto mācību modeli, vairākas slimnīcas varētu apvienoties, lai apmācītu kopīgu modeli, kas varētu atpazīt iespējamos audzējus, izmantojot medicīnisko skenēšanu.

Federatīvās izglītības veidi

Apvienotās mācību shēmas parasti ietilpst vienā no divām dažādām klasēm: daudzpartiju sistēmas un vienas partijas sistēmas. Vienas puses apvienotās mācību sistēmas tiek sauktas par “vienas puses”, jo tikai viena entītija ir atbildīga par datu uztveršanas un plūsmas pārraudzību visās mācību tīkla klientu ierīcēs. Klientu ierīcēs esošie modeļi ir apmācīti, izmantojot datus ar tādu pašu struktūru, lai gan datu punkti parasti ir unikāli dažādiem lietotājiem un ierīcēm.

Atšķirībā no vienas puses sistēmām, daudzpartiju sistēmas pārvalda divas vai vairākas vienības. Šīs vienības sadarbojas, lai apmācītu kopīgu modeli, izmantojot dažādas ierīces un datu kopas, kurām tām ir piekļuve. Parametri un datu struktūras parasti ir līdzīgas ierīcēm, kas pieder vairākām entītijām, taču tām nav jābūt pilnīgi vienādām. Tā vietā tiek veikta pirmapstrāde, lai standartizētu modeļa ievades. Var izmantot neitrālu entītiju, lai apkopotu svaru, ko nosaka dažādām entītijām unikālās ierīces.

Federatīvās apmācības ietvari

Populārie ietvari, ko izmanto apvienotajām mācībām, ietver Tensorflow Federated, Federatīvais mākslīgā intelekta tehnoloģiju iespējotājs (FATE), un PySyft. PySyft ir atvērtā koda apvienotā mācību bibliotēka, kuras pamatā ir dziļās mācīšanās bibliotēka PyTorch. PySyft ir paredzēts, lai nodrošinātu privātu, drošu dziļu mācīšanos serveros un aģentos, izmantojot šifrētus aprēķinus. Tikmēr Tensorflow Federated ir vēl viens atvērtā pirmkoda ietvars, kas izveidots uz Google Tensorflow platformas. Papildus tam, ka lietotāji var izveidot savus algoritmus, Tensorflow Federated ļauj lietotājiem simulēt vairākus iekļautos apvienotos mācību algoritmus savos modeļos un datos. Visbeidzot, FATE ir arī atvērtā pirmkoda ietvars, ko izstrādājis Webbank AI, un tas ir paredzēts, lai nodrošinātu Federatīvo AI ekosistēmu ar drošu skaitļošanas sistēmu.

Apvienotie mācību izaicinājumi

Tā kā apvienotā mācīšanās joprojām ir diezgan topoša, vairāki izaicinājumi vēl ir jāapspriež, lai tas pilnībā izmantotu savu potenciālu. Malu ierīču apmācības iespējas, datu marķēšana un standartizācija, kā arī modeļu konverģence ir potenciāli šķēršļi apvienotajām mācību pieejām.

Izstrādājot apvienotās mācīšanās pieejas, ir jāņem vērā malu ierīču skaitļošanas spējas, kad runa ir par vietējo apmācību. Lai gan lielākā daļa viedtālruņu, planšetdatoru un citu ar IoT saderīgu ierīču var apmācīt mašīnmācīšanās modeļus, tas parasti kavē ierīces veiktspēju. Būs jāpieņem kompromisi starp modeļa precizitāti un ierīces veiktspēju.

Datu marķēšana un standartizēšana ir vēl viens izaicinājums, kas jāpārvar apvienotajām mācību sistēmām. Uzraudzītiem mācību modeļiem ir nepieciešami apmācību dati, kas ir skaidri un konsekventi marķēti, un to var būt grūti izdarīt daudzās klientu ierīcēs, kas ir daļa no sistēmas. Šī iemesla dēļ ir svarīgi izstrādāt modeļu datu konveijerus, kas automātiski piemēro etiķetes standartizētā veidā, pamatojoties uz notikumiem un lietotāja darbībām.

Modeļu konverģences laiks ir vēl viens izaicinājums apvienotajai apmācībai, jo apvienoto mācību modeļu konverģence parasti prasa ilgāku laiku nekā lokāli apmācīti modeļi. Apmācībā iesaistīto ierīču skaits palielina modeļa apmācību neparedzamības elementu, jo savienojuma problēmas, neregulāri atjauninājumi un pat atšķirīgi lietojumprogrammu lietošanas laiki var palielināt konverģences laiku un samazināt uzticamību. Šī iemesla dēļ apvienotie mācību risinājumi parasti ir visnoderīgākie, ja tie nodrošina nozīmīgas priekšrocības salīdzinājumā ar modeļa centralizētu apmācību, piemēram, gadījumos, kad datu kopas ir ārkārtīgi lielas un izplatītas.

Foto: Jeromemetronome, izmantojot Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)