Hva er Federated Learning?

Hva er Federated Learning?

Den tradisjonelle metoden for å trene AI-modeller innebærer å sette opp servere hvor modellene trenes på data, ofte ved bruk av en skybasert dataplattform. I løpet av de siste årene har det imidlertid oppstått en alternativ form for modellskaping, kalt føderert læring. Federert læring bringer maskinlæringsmodeller til datakilden, i stedet for å bringe dataene til modellen. Federert læring kobler sammen flere beregningsenheter til et desentralisert system som lar de individuelle enhetene som samler inn data hjelpe til med å trene modellen.

I et forent læringssystem har de ulike enhetene som er en del av læringsnettverket hver en kopi av modellen på enheten. De forskjellige enhetene/klientene trene sin egen kopi av modellen ved å bruke klientens lokale data, og deretter sendes parameterne/vektene fra de enkelte modellene til en masterenhet, eller server, som aggregerer parameterne og oppdaterer den globale modellen. Denne treningsprosessen kan deretter gjentas til et ønsket nivå av nøyaktighet er oppnådd. Kort sagt, ideen bak federated learning er at ingen av treningsdataene noen gang overføres mellom enheter eller mellom parter, bare oppdateringene relatert til modellen er det.

Federert læring kan deles inn i tre forskjellige trinn eller faser. Federert læring starter vanligvis med en generisk modell som fungerer som en baseline og trenes på en sentral server. I første trinn sendes denne generiske modellen ut til applikasjonens klienter. Disse lokale kopiene trenes deretter på data generert av klientsystemene, lærer og forbedrer ytelsen.

I det andre trinnet sender alle klientene sine innlærte modellparametere til den sentrale serveren. Dette skjer med jevne mellomrom, etter en fastsatt tidsplan.

I det tredje trinnet samler serveren de lærte parameterne når den mottar dem. Etter at parameterne er aggregert, oppdateres den sentrale modellen og deles igjen med kundene. Hele prosessen gjentas deretter.

De fordel av å ha en kopi av modellen på de ulike enhetene er at nettverksforsinkelser reduseres eller elimineres. Kostnadene forbundet med å dele data med serveren elimineres også. Andre fordeler med forbundsbaserte læringsmetoder inkluderer det faktum at forbundsbaserte læringsmodeller er bevart personvern, og modellsvar er tilpasset brukeren av enheten.

Eksempler på fødererte læringsmodeller inkluderer anbefalingsmotorer, svindeldeteksjonsmodeller og medisinske modeller. Medieanbefalingsmotorer, av typen Netflix eller Amazon, kan trenes på data samlet inn fra tusenvis av brukere. Klientenhetene ville trene opp sine egne separate modeller, og den sentrale modellen ville lære å lage bedre spådommer, selv om de individuelle datapunktene ville være unike for de forskjellige brukerne. På samme måte kan svindeldeteksjonsmodeller brukt av banker trenes på aktivitetsmønstre fra mange forskjellige enheter, og en håndfull forskjellige banker kan samarbeide for å trene opp en felles modell. Når det gjelder en medisinsk føderert læringsmodell, kan flere sykehus slå seg sammen for å trene en felles modell som kan gjenkjenne potensielle svulster gjennom medisinske skanninger.

Typer forent læring

Federerte læringsskjemaer faller vanligvis inn i en av to forskjellige klasser: flerpartisystemer og enkeltpartisystemer. Enkeltparts fødererte læringssystemer kalles "enkeltparti" fordi bare én enkelt enhet er ansvarlig for å overvåke fangst og flyt av data på tvers av alle klientenhetene i læringsnettverket. Modellene som finnes på klientenhetene er trent på data med samme struktur, selv om datapunktene typisk er unike for de ulike brukerne og enhetene.

I motsetning til enkeltpartisystemer administreres flerpartisystemer av to eller flere enheter. Disse enhetene samarbeider for å trene en delt modell ved å bruke de ulike enhetene og datasettene de har tilgang til. Parametrene og datastrukturene er vanligvis like på tvers av enhetene som tilhører de flere enhetene, men de trenger ikke å være helt like. I stedet gjøres forhåndsbehandling for å standardisere inngangene til modellen. En nøytral enhet kan brukes for å aggregere vektene etablert av enhetene som er unike for de forskjellige enhetene.

Rammer for føderert læring

Populære rammeverk som brukes for forent læring inkluderer Tensorflow Federated, Federated AI Technology Enabler (FATE)og PySyft. PySyft er et forent læringsbibliotek med åpen kildekode basert på dyplæringsbiblioteket PyTorch. PySyft er ment å sikre privat, sikker dyp læring på tvers av servere og agenter ved bruk av kryptert beregning. I mellomtiden er Tensorflow Federated et annet åpen kildekode-rammeverk bygget på Googles Tensorflow-plattform. I tillegg til å gjøre det mulig for brukere å lage sine egne algoritmer, lar Tensorflow Federated brukere simulere en rekke inkluderte fødererte læringsalgoritmer på sine egne modeller og data. Til slutt er FATE også åpen kildekode-ramme designet av Webank AI, og den er ment å gi Federated AI-økosystemet et sikkert databehandlingsrammeverk.

Federated Learning Challenges

Siden føderert læring fortsatt er ganske begynnende, en rekke utfordringer må fortsatt forhandles for at den skal oppnå sitt fulle potensial. Opplæringsmulighetene til edge-enheter, datamerking og standardisering, og modellkonvergens er potensielle veisperrer for fødererte læringstilnærminger.

Beregningsevnene til edge-enhetene, når det kommer til lokal trening, må vurderes når man designer fødererte læringstilnærminger. Mens de fleste smarttelefoner, nettbrett og andre IoT-kompatible enheter er i stand til å trene maskinlæringsmodeller, hemmer dette vanligvis ytelsen til enheten. Kompromisser må inngås mellom modellnøyaktighet og enhetsytelse.

Merking og standardisering av data er en annen utfordring som fødererte læringssystemer må overvinne. Overvåkede læringsmodeller krever opplæringsdata som er tydelig og konsekvent merket, noe som kan være vanskelig å gjøre på tvers av de mange klientenhetene som er en del av systemet. Av denne grunn er det viktig å utvikle modelldatapipelines som automatisk bruker etiketter på en standardisert måte basert på hendelser og brukerhandlinger.

Modellkonvergenstid er en annen utfordring for føderert læring, ettersom fødererte læringsmodeller vanligvis tar lengre tid å konvergere enn lokalt trente modeller. Antall enheter som er involvert i opplæringen tilfører modellopplæringen et element av uforutsigbarhet, ettersom tilkoblingsproblemer, uregelmessige oppdateringer og til og med forskjellige brukstider for applikasjoner kan bidra til økt konvergenstid og redusert pålitelighet. Av denne grunn er fødererte læringsløsninger vanligvis mest nyttige når de gir meningsfulle fordeler fremfor sentral opplæring av en modell, for eksempel tilfeller der datasett er ekstremt store og distribuerte.

Foto: Jeromemetronome via Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)