Vad är Federerat Lärande?

Vad är Federerat Lärande?

Den traditionella metoden för att träna AI-modeller innebär att man ställer upp servrar där modellerna tränas på data, ofta med hjälp av en molnbaserad beräkningsplattform. Men under de senaste åren har en alternativ form av modellskapande uppstått, kallad federerat lärande. Federerat lärande bringar maskinlärningsmodeller till datakällan, snarare än att bringa data till modellen. Federerat lärande kopplar samman flera beräkningsenheter i ett decentraliserat system som tillåter de enskilda enheterna som samlar in data att bidra till att träna modellen.

I ett federerat lärande-system har de olika enheterna som är en del av lärandenätverket varsin kopia av modellen på enheten. De olika enheterna/klienterna tränar sin egen kopia av modellen med hjälp av klientens lokala data, och sedan skickas parametrarna/vikterna från de enskilda modellerna till en huvudenhet, eller server, som sammanställer parametrarna och uppdaterar den globala modellen. Denna träningsprocess kan sedan upprepas tills en önskad nivå av noggrannhet uppnås. Kort sagt, idén bakom federerat lärande är att ingen av träningsdata överförs mellan enheter eller parter, endast uppdateringarna som rör modellen.

Federerat lärande kan delas in i tre olika steg eller faser. Federerat lärande börjar vanligtvis med en generisk modell som fungerar som en baslinje och tränas på en central server. I det första steget skickas denna generiska modell ut till klienterna. Dessa lokala kopior tränas sedan på data som genereras av klientsystemen, och de lär sig och förbättrar sin prestanda.

I det andra steget skickar klienterna alla sina inlärda modellparametrar till den centrala servern. Detta sker periodiskt, enligt en fast schema.

I det tredje steget sammanställer servern de inlärda parametrarna när den tar emot dem. Efter att parametrarna har sammanställts uppdateras den centrala modellen och delas igen med klienterna. Hela processen upprepas sedan.

Fördelen med att ha en kopia av modellen på de olika enheterna är att nätverksfördröjningar minskas eller elimineras. Kostnaderna som är förknippade med att dela data med servern elimineras också. Andra fördelar med federerat lärande är att federerade lärandemodeller är sekretesskyddade, och modellsvar är personanpassade för användaren av enheten.

Exempel på federerade lärandemodeller inkluderar rekommendationssystem, bedrägeridetektionsmodeller och medicinska modeller. Medierekommendationssystem, av den typ som används av Netflix (NFLX ) eller Amazon (AMZN ), kan tränas på data som samlats in från tusentals användare. Klientenheterna tränar sina egna separata modeller, och den centrala modellen lär sig att göra bättre förutsägelser, även om de enskilda datapunkterna är unika för de olika användarna. Likaså kan bedrägeridetektionsmodeller som används av banker tränas på mönster av aktivitet från många olika enheter, och ett fåtal olika banker kan samarbeta för att träna en gemensam modell. När det gäller en medicinsk federerad lärandemodell kan flera sjukhus samarbeta för att träna en gemensam modell som kan känna igen potentiella tumörer genom medicinska undersökningar.

Typer av Federerat Lärande

Federerade lärandescheman faller vanligtvis in i en av två olika klasser: multi-partssystem och single-partssystem. Single-part federerade lärandesystem kallas “single-part” eftersom endast en enhet är ansvarig för att övervaka insamlingen och flödet av data över alla klientenheter i lärandenätverket. Modellerna som finns på klientenheterna tränas på data med samma struktur, även om datapunkterna vanligtvis är unika för de olika användarna och enheterna.

Till skillnad från single-part-system är multi-part-system hanterade av två eller flera enheter. Dessa enheter samarbetar för att träna en gemensam modell genom att använda de olika enheterna och datamängderna de har tillgång till. Parametrarna och datastrukturerna är vanligtvis liknande över enheterna som tillhör de olika enheterna, men de behöver inte vara exakt desamma. I stället görs förbearbetning för att standardisera modellens indata. En neutral enhet kan anlitas för att sammanställa vikterna som fastställts av enheterna som är unika för de olika enheterna.

Ramverk för Federerat Lärande

Populära ramverk som används för federerat lärande inkluderar Tensorflow Federated, Federated AI Technology Enabler (FATE) och PySyft. PySyft är ett öppen källkods-bibliotek för federerat lärande baserat på det djupa lärande-biblioteket PyTorch. PySyft är avsett att säkerställa privat, säker djupinlärning över servrar och agenter med krypterad beräkning. Medan Tensorflow Federated är ett annat öppen källkods-ramverk byggt på Googles Tensorflow-plattform. Utöver att möjliggöra för användare att skapa sina egna algoritmer, tillåter Tensorflow Federated användare att simulera ett antal inkluderade federerade lärande-algoritmer på sina egna modeller och data. Slutligen är FATE också ett öppen källkods-ramverk utformat av Webank AI, och det är avsett att tillhandahålla Federated AI-ekosystemet med ett säkert beräkningsramverk.

Utmaningar för Federerat Lärande

Eftersom federerat lärande fortfarande är ganska nytt, ett antal utmaningar måste fortfarande hanteras för att det ska uppnå sin fulla potential. De lokala enheternas beräkningsförmåga, dataetikettering och standardisering, samt modellkonvergens är potentiella hinder för federerade lärandetillvägagångssätt.

De lokala enheternas beräkningsförmåga, när det gäller lokal träning, måste beaktas när man utformar federerade lärandetillvägagångssätt. Medan de flesta smartphones, surfplattor och andra IoT-kompatibla enheter kan träna maskinlärningsmodeller, hämmar detta vanligtvis enhetens prestanda. Kompromisser måste göras mellan modellens noggrannhet och enhetens prestanda.

Dataetikettering och standardisering är en annan utmaning som federerade lärandesystem måste övervinna. Övervakade lärandemodeller kräver träningsdata som är tydligt och konsekvent etiketterade, vilket kan vara svårt att göra över de många klientenheterna som är en del av systemet. Av denna anledning är det viktigt att utveckla modelldata-pipeliner som automatiskt tillämpar etiketter på ett standardiserat sätt baserat på händelser och användaråtgärder.

Modellkonvergenstiden är en annan utmaning för federerat lärande, eftersom federerade lärandemodeller vanligtvis tar längre tid att konvergera än lokalt tränade modeller. Antalet enheter som är involverade i träningen lägger till en osäkerhetsfaktor i modellträningen, eftersom anslutningsproblem, oregelbundna uppdateringar och även olika applikationsanvändningstider kan bidra till ökad konvergenstid och minskad tillförlitlighet. Av denna anledning är federerade lösningar vanligtvis mest användbara när de tillhandahåller meningsfulla fördelar jämfört med att träna en modell centralt, såsom när datamängder är extremt stora och distribuerade.

Foto: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)