Što je federalno učenje?

Što je federalno učenje?

Tradicionalna metoda obuke AI modela uključuje postavljanje poslužitelja na kojima se modeli obučavaju na podacima, često korištenjem računalne platforme temeljene na oblaku. Međutim, tijekom posljednjih nekoliko godina pojavio se alternativni oblik stvaranja modela, nazvan federalno učenje. Federativno učenje dovodi modele strojnog učenja u izvor podataka, umjesto da podatke dovodi u model. Federated learning povezuje više računalnih uređaja u decentralizirani sustav koji omogućuje pojedinačnim uređajima koji prikupljaju podatke da pomognu u obuci modela.

U udruženom sustavu učenja, svaki od različitih uređaja koji su dio mreže učenja ima kopiju modela na uređaju. Različiti uređaji/klijenti osposobiti vlastitu kopiju modela koristeći klijentove lokalne podatke, a zatim se parametri/težine iz pojedinačnih modela šalju glavnom uređaju ili poslužitelju koji agregira parametre i ažurira globalni model. Ovaj se proces obuke zatim može ponavljati dok se ne postigne željena razina točnosti. Ukratko, ideja iza federalnog učenja je da se nijedan od podataka o obuci nikada ne prenosi između uređaja ili između strana, već samo ažuriranja povezana s modelom.

Federativno učenje može se podijeliti u tri različita koraka ili faze. Federated learning obično počinje s generičkim modelom koji djeluje kao osnova i obučava se na središnjem poslužitelju. U prvom koraku, ovaj generički model šalje se klijentima aplikacije. Te se lokalne kopije zatim obučavaju na podacima koje generiraju klijentski sustavi, učeći i poboljšavajući njihovu izvedbu.

U drugom koraku, svi klijenti šalju svoje naučene parametre modela središnjem poslužitelju. To se događa povremeno, prema utvrđenom rasporedu.

U trećem koraku poslužitelj agregira naučene parametre kada ih primi. Nakon što su parametri agregirani, središnji model se ažurira i ponovno dijeli s klijentima. Cijeli proces se zatim ponavlja.

Korištenje električnih romobila ističe korist od posjedovanja kopije modela na različitim uređajima je da su mrežne latencije smanjene ili eliminirane. Troškovi povezani s dijeljenjem podataka s poslužiteljem također su eliminirani. Ostale prednosti federalnih metoda učenja uključuju činjenicu da su modeli federalnog učenja zaštićeni privatnošću, a odgovori modela personalizirani za korisnika uređaja.

Primjeri federalnih modela učenja uključuju mehanizme za preporuke, modele za otkrivanje prijevara i medicinske modele. Motori za medijske preporuke, poput onih koje koriste Netflix ili Amazon, mogli bi se trenirati na podacima prikupljenim od tisuća korisnika. Klijentski uređaji trenirali bi vlastite odvojene modele, a središnji bi model naučio bolje predviđati, iako bi pojedinačne podatkovne točke bile jedinstvene za različite korisnike. Slično tome, modeli za otkrivanje prijevare koje koriste banke mogu se uvježbati na obrascima aktivnosti s mnogo različitih uređaja, a nekolicina različitih banaka mogla bi surađivati ​​na uvježbavanju zajedničkog modela. U smislu modela medicinskog saveznog učenja, više bolnica moglo bi se udružiti kako bi obučilo zajednički model koji bi mogao prepoznati potencijalne tumore medicinskim skeniranjem.

Vrste saveznog učenja

Federativne sheme učenja obično spadaju u jednu od dvije različite klase: višestranački sustavi i jednostranački sustavi. Jednostrani federalni sustavi učenja nazivaju se "jednostrani" jer je samo jedan entitet odgovoran za nadgledanje snimanja i protoka podataka na svim klijentskim uređajima u mreži učenja. Modeli koji postoje na klijentskim uređajima treniraju se na podacima s istom strukturom, iako su podatkovne točke obično jedinstvene za različite korisnike i uređaje.

Za razliku od jednostranačkih sustava, višestranačkim sustavima upravljaju dva ili više entiteta. Ovi entiteti surađuju kako bi obučili zajednički model koristeći različite uređaje i skupove podataka kojima imaju pristup. Parametri i strukture podataka obično su slični na svim uređajima koji pripadaju više entiteta, ali ne moraju biti potpuno isti. Umjesto toga, radi se pretprocesiranje kako bi se standardizirali ulazi modela. Neutralni entitet može se koristiti za agregiranje težina koje su uspostavili uređaji jedinstveni za različite entitete.

Okviri za federalno učenje

Popularni okviri koji se koriste za federalno učenje uključuju Tensorflow Federated, Federated AI Technology Enabler (FATE)i PySyft. PySyft je udružena knjižnica za učenje otvorenog koda temeljena na biblioteci za duboko učenje PyTorch. PySyft je namijenjen osiguravanju privatnog, sigurnog dubokog učenja preko poslužitelja i agenata koji koriste šifrirano računanje. U međuvremenu, Tensorflow Federated još je jedan okvir otvorenog koda izgrađen na Googleovoj platformi Tensorflow. Osim što korisnicima omogućuje stvaranje vlastitih algoritama, Tensorflow Federated korisnicima omogućuje simulaciju niza uključenih algoritama za federalno učenje na vlastitim modelima i podacima. Konačno, FATE je također okvir otvorenog koda koji je dizajnirao Webank AI, a namijenjen je pružanju sigurnog računalnog okvira Federated AI ekosustavu.

Federated Learning Challenges

Kako je federalno učenje još uvijek u povoju, niz izazova još uvijek treba pregovarati kako bi postigao svoj puni potencijal. Mogućnosti obuke rubnih uređaja, označavanje podataka i standardizacija te konvergencija modela potencijalne su prepreke za pristupe federalnog učenja.

Računalne sposobnosti rubnih uređaja, kada je u pitanju lokalna obuka, potrebno je uzeti u obzir prilikom dizajniranja pristupa udruženog učenja. Dok je većina pametnih telefona, tableta i drugih uređaja kompatibilnih s internetom stvari sposobna obučavati modele strojnog učenja, to obično otežava rad uređaja. Morat će se napraviti kompromis između točnosti modela i performansi uređaja.

Označavanje i standardiziranje podataka još je jedan izazov koji sustavi federalnog učenja moraju prevladati. Modeli nadziranog učenja zahtijevaju podatke o obuci koji su jasno i dosljedno označeni, što može biti teško izvesti na mnogim klijentskim uređajima koji su dio sustava. Iz tog je razloga važno razviti model cjevovoda podataka koji automatski primjenjuje oznake na standardiziran način na temelju događaja i radnji korisnika.

Vrijeme konvergencije modela još je jedan izazov za federalno učenje, budući da modelima federalnog učenja obično treba više vremena da se konvergiraju od lokalno obučenih modela. Broj uređaja uključenih u obuku dodaje element nepredvidivosti obuci modela, budući da problemi s vezom, neredovita ažuriranja, pa čak i različita vremena korištenja aplikacija mogu pridonijeti povećanom vremenu konvergencije i smanjenoj pouzdanosti. Iz tog razloga, rješenja za federalno učenje obično su najkorisnija kada pružaju značajne prednosti u odnosu na centralizirano učenje modela, kao što su slučajevi kada su skupovi podataka iznimno veliki i distribuirani.

Fotografija: Jeromemetronome putem Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)