Čo je to federatívne vzdelávanie?

Čo je to federatívne vzdelávanie?

Tradičná metóda trénovania modelov AI zahŕňa nastavenie serverov, kde sa modely trénujú na údajoch, často pomocou cloudovej výpočtovej platformy. V posledných rokoch sa však objavila alternatívna forma vytvárania modelov, nazývaná federatívne učenie. Federované vzdelávanie prináša modely strojového učenia do zdroja údajov, a nie prenášanie údajov do modelu. Federované učenie spája viacero výpočtových zariadení do decentralizovaného systému, ktorý umožňuje jednotlivým zariadeniam, ktoré zbierajú údaje, pomáhať pri trénovaní modelu.

Vo federatívnom vzdelávacom systéme majú rôzne zariadenia, ktoré sú súčasťou vzdelávacej siete, kópiu modelu na zariadení. Rôzne zariadenia/klienti trénovať vlastnú kópiu modelu pomocou lokálnych údajov klienta a potom sa parametre/váhy z jednotlivých modelov odošlú na hlavné zariadenie alebo server, ktorý agreguje parametre a aktualizuje globálny model. Tento tréningový proces sa potom môže opakovať, kým sa nedosiahne požadovaná úroveň presnosti. Stručne povedané, myšlienkou federatívneho učenia je, že žiadne z tréningových údajov sa nikdy neprenášajú medzi zariadeniami alebo medzi stranami, ale iba aktualizácie súvisiace s modelom.

Federované vzdelávanie možno rozdeliť do troch rôznych krokov alebo fáz. Federované učenie sa zvyčajne začína všeobecným modelom, ktorý funguje ako základná línia a je trénovaný na centrálnom serveri. V prvom kroku sa tento generický model odošle klientom aplikácie. Tieto lokálne kópie sa potom trénujú na údajoch generovaných klientskymi systémami, pričom sa učia a zlepšujú ich výkon.

V druhom kroku všetci klienti pošlú svoje naučené parametre modelu na centrálny server. To sa deje pravidelne, podľa stanoveného plánu.

V treťom kroku server agreguje naučené parametre, keď ich prijme. Po agregácii parametrov sa centrálny model aktualizuje a opäť zdieľa s klientmi. Celý proces sa potom opakuje.

výhodu mať kópiu modelu na rôznych zariadeniach je zníženie alebo odstránenie oneskorenia siete. Odpadajú aj náklady spojené so zdieľaním dát so serverom. Medzi ďalšie výhody metód federálneho učenia patrí skutočnosť, že modely federálneho učenia sa zachovávajú súkromie a odpovede modelu sú prispôsobené pre používateľa zariadenia.

Príklady federatívnych modelov učenia zahŕňajú nástroje odporúčaní, modely detekcie podvodov a medicínske modely. Nástroje na odporúčanie médií typu používaného Netflixom alebo Amazonom by mohli byť trénované na údajoch získaných od tisícok používateľov. Klientske zariadenia by trénovali svoje vlastné samostatné modely a centrálny model by sa naučil robiť lepšie predpovede, aj keď jednotlivé dátové body by boli jedinečné pre rôznych používateľov. Podobne modely odhaľovania podvodov používané bankami možno trénovať na vzorcoch činnosti z mnohých rôznych zariadení a niekoľko rôznych bánk by mohlo spolupracovať na trénovaní spoločného modelu. Pokiaľ ide o model lekárskeho federálneho učenia, viaceré nemocnice by sa mohli spojiť, aby vycvičili spoločný model, ktorý by dokázal rozpoznať potenciálne nádory prostredníctvom lekárskych skenov.

Typy federatívneho vzdelávania

Federatívne vzdelávacie schémy zvyčajne spadajú do jednej z dvoch rôznych tried: systémy viacerých strán a systémy jednej strany. Jednostranné federatívne vzdelávacie systémy sa nazývajú „jednostranné“, pretože iba jedna entita je zodpovedná za dohľad nad zachytávaním a tokom údajov naprieč všetkými klientskymi zariadeniami vo vzdelávacej sieti. Modely, ktoré existujú na klientskych zariadeniach, sú trénované na údajoch s rovnakou štruktúrou, hoci údajové body sú zvyčajne jedinečné pre rôznych používateľov a zariadenia.

Na rozdiel od systémov s jednou stranou sú systémy s viacerými stranami spravované dvoma alebo viacerými subjektmi. Tieto entity spolupracujú na trénovaní zdieľaného modelu využívaním rôznych zariadení a súborov údajov, ku ktorým majú prístup. Parametre a dátové štruktúry sú zvyčajne podobné naprieč zariadeniami patriacimi viacerým entitám, ale nemusia byť úplne rovnaké. Namiesto toho sa vykonáva predbežné spracovanie na štandardizáciu vstupov modelu. Na agregáciu váh stanovených zariadeniami jedinečnými pre rôzne entity sa môže použiť neutrálna entita.

Rámce pre federatívne vzdelávanie

Populárne rámce používané pre federatívne učenie zahŕňajú Tensorflow Federated, Federated AI Technology Enabler (FATE)a PySyft. PySyft je open-source federatívna vzdelávacia knižnica založená na hĺbkovej vzdelávacej knižnici PyTorch. PySyft je určený na zabezpečenie súkromného, ​​bezpečného hlbokého učenia naprieč servermi a agentmi pomocou šifrovaných výpočtov. Medzitým je Tensorflow Federated ďalším open-source rámcom postaveným na platforme Tensorflow spoločnosti Google. Okrem toho, že umožňuje používateľom vytvárať si vlastné algoritmy, Tensorflow Federated umožňuje používateľom simulovať množstvo zahrnutých federatívnych vzdelávacích algoritmov na ich vlastných modeloch a údajoch. Nakoniec, FATE je tiež open-source rámec navrhnutý spoločnosťou Webank AI a jeho cieľom je poskytnúť ekosystému Federated AI bezpečný výpočtový rámec.

Federované vzdelávacie výzvy

Keďže federálne vzdelávanie je stále pomerne rodiace sa, množstvo výziev musí sa ešte prerokovať, aby mohol naplno využiť svoj potenciál. Tréningové schopnosti okrajových zariadení, označovanie údajov a štandardizácia a konvergencia modelov sú potenciálnymi prekážkami pre prístupy združeného učenia.

Výpočtové schopnosti okrajových zariadení, pokiaľ ide o miestne školenie, je potrebné zvážiť pri navrhovaní prístupov federatívneho učenia. Zatiaľ čo väčšina smartfónov, tabletov a iných zariadení kompatibilných s IoT je schopná trénovať modely strojového učenia, zvyčajne to obmedzuje výkon zariadenia. Medzi presnosťou modelu a výkonom zariadenia bude potrebné urobiť kompromisy.

Označovanie a štandardizácia údajov je ďalšou výzvou, ktorú musia federatívne vzdelávacie systémy prekonať. Modely učenia pod dohľadom vyžadujú tréningové údaje, ktoré sú jasne a konzistentne označené, čo môže byť náročné na mnohých klientskych zariadeniach, ktoré sú súčasťou systému. Z tohto dôvodu je dôležité vyvinúť modelové dátové kanály, ktoré automaticky aplikujú štítky štandardizovaným spôsobom na základe udalostí a akcií používateľov.

Čas konvergencie modelov je ďalšou výzvou pre federatívne učenie, pretože konvergencia federatívnych modelov učenia zvyčajne trvá dlhšie ako lokálne trénované modely. Počet zariadení zapojených do tréningu pridáva do modelového tréningu prvok nepredvídateľnosti, pretože problémy s pripojením, nepravidelné aktualizácie a dokonca rôzne časy používania aplikácií môžu prispieť k zvýšeniu času konvergencie a zníženiu spoľahlivosti. Z tohto dôvodu sú federatívne vzdelávacie riešenia zvyčajne najužitočnejšie, keď poskytujú zmysluplné výhody oproti centrálnemu trénovaniu modelu, ako sú prípady, keď sú množiny údajov extrémne veľké a distribuované.

Foto: Jeromemetronome cez Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)