Hvad er Federated Learning?

Hvad er Federated Learning?

Den traditionelle metode til at træne AI-modeller indebærer at oprette servere, hvor modellerne trænes på data, ofte gennem brug af en cloud-baseret computing-platform. Men over de seneste få år er der opstået en alternativ form for modeloprettelse, kaldet federated learning. Federated learning bringer maskinlæringsmodeller til datakilden, snarere end at bringe data til modellen. Federated learning forbinder multiple beregningsenheder i et decentraliseret system, der tillader de enkelte enheder, der indsamler data, at bidrage til at træne modellen.

I et federated learning-system har de forskellige enheder, der er en del af læringsnetværket, hver en kopi af modellen på enheden. De forskellige enheder/klienter træner deres egen kopi af modellen ved hjælp af klientens lokale data, og derefter sendes parametrene/vægtene fra de enkelte modeller til en master-enhed eller server, der samler parametrene og opdaterer den globale model. Denne træningsproces kan derefter gentages, indtil en ønsket niveau af nøjagtighed er opnået. Kort sagt er idéen bag federated learning, at ingen af træningsdataene nogensinde overføres mellem enheder eller mellem parter, kun opdateringerne relateret til modellen.

Federated learning kan deles op i tre forskellige trin eller faser. Federated learning starter typisk med en generisk model, der fungerer som en baseline og trænes på en central server. I det første trin sendes denne generiske model ud til applikationens klienter. Disse lokale kopier trænes derefter på data genereret af klientsystemerne, og de lærer og forbedrer deres præstation.

I det andet trin sender klienterne alle deres lærende modelparametre til den centrale server. Dette sker periodisk, på en fast tidsplan.

I det tredje trin samler serveren de lærende parametre, når den modtager dem. Efter at parametrene er samlet, opdateres den centrale model og deles igen med klienterne. Den hele proces gentages derefter.

Fordelen ved at have en kopi af modellen på de forskellige enheder er, at netværksforsinkelser reduceres eller elimineres. Omkostningerne forbundet med at dele data med serveren elimineres også. Andre fordele ved federated learning-metoder inkluderer, at federated learning-modeller er privatbeskyttede, og modelrespons er personlige for brugeren af enheden.

Eksempler på federated learning-modeller inkluderer anbefalingsmotorer, svindelopdannelsesmodeller og medicinske modeller. Medieanbefalingsmotorer af den type, der bruges af Netflix (NFLX ) eller Amazon (AMZN ), kan trænes på data indsamlet fra tusinder af brugere. Klientenhederne ville træne deres egne separate modeller, og den centrale model ville lære at gøre bedre forudsigelser, selv om de enkelte datapunkter ville være unikke for de forskellige brugere. Lignende svindelopdannelsesmodeller, der bruges af banker, kan trænes på mønstre af aktivitet fra mange forskellige enheder, og en håndfuld forskellige banker kunne samarbejde om at træne en fælles model. I forhold til en medicinsk federated learning-model kunne flere hospitaler samarbejde om at træne en fælles model, der kunne genkende potentielle tumorer gennem medicinske scans.

Typer af Federated Learning

Federated learning-skemaer falder typisk i en af to forskellige klasser: multi-party-systemer og single-party-systemer. Single-party federated learning-systemer kaldes “single-party”, fordi kun en enkelt enhed er ansvarlig for at overvåge indsamlingen og flyden af data på tværs af alle klientenhederne i læringsnetværket. Modellerne, der findes på klientenhederne, trænes på data med samme struktur, selv om datapunkterne typisk er unikke for de forskellige brugere og enheder.

I modsætning til single-party-systemer er multi-party-systemer styret af to eller flere enheder. Disse enheder samarbejder om at træne en fælles model ved at anvende de forskellige enheder og datasæt, de har adgang til. Parametrene og datastrukturerne er typisk lignende på tværs af enhederne tilhørende de multiple enheder, men de behøver ikke at være nøjagtigt de samme. I stedet udføres forarbejdning for at standardisere input til modellen. En neutral enhed kan være ansat til at samle vægtene, der er fastlagt af enhederne, der er unikke for de forskellige enheder.

Rammeverk for Federated Learning

Populære rammeverk, der bruges til federated learning, inkluderer Tensorflow Federated, Federated AI Technology Enabler (FATE) og PySyft. PySyft er et open-source federated learning-bibliotek baseret på det dybe læringsbibliotek PyTorch. PySyft er designet til at sikre privat, sikker dyb lærning på tværs af servere og agenter ved hjælp af krypteret beregning. Imens er Tensorflow Federated et andet open-source-rammeverk bygget på Googles Tensorflow-platform. Ud over at enable brugere til at oprette deres egne algoritmer, tillader Tensorflow Federated brugere at simulere en række inkluderet federated learning-algoritmer på deres egne modeller og data. Endelig er FATE også et open-source-rammeverk designet af Webank AI, og det er designet til at give Federated AI-økosystemet et sikret beregningsrammeverk.

Federated Learning Udfordringer

Da federated learning stadig er ret nyt, er der en række udfordringer, der stadig må overvindes, for at det kan opnå sin fulde potential. Træningsevnen for kanten af enheder, dataetikettering og standardisering samt modelkonvergens er potentielle vejforhindringer for federated learning-tilgange.

De beregningsmæssige evner for kanten af enheder, når det kommer til lokal træning, skal være med i betragtning, når der designes federated learning-tilgange. Mens de fleste smartphones, tabletter og andre IoT-kompatible enheder er i stand til at træne maskinlæringsmodeller, hæmmer dette typisk enhedens præstation. Kompromiser skal være mellem modelnøjagtighed og enhedens præstation.

Etikettering og standardisering af data er en anden udfordring, som federated learning-systemer må overvinde. Superviseret læringsmodeller kræver træningsdata, der er tydeligt og konsekvent etiketteret, hvilket kan være svært at gøre på tværs af de mange klientenheder, der er en del af systemet. Derfor er det vigtigt at udvikle modeldata-rørledninger, der automatisk anvender etiketter på en standardiseret måde baseret på begivenheder og brugerhandlinger.

Modelkonvergenstid er en anden udfordring for federated learning, da federated learning-modeller typisk tager længere tid at konvergere end lokalt trænede modeller. Antallet af enheder, der er involveret i træningen, tilføjer en element af usikkerhed til modeltræningen, da forbindelsesproblemer, uregelmæssige opdateringer og selv forskellige applikationsbrugstider kan bidrage til øget konvergenstid og reduceret pålidelighed. Derfor er federated learning-løsninger typisk mest nyttige, når de giver meningsfulde fordele over centralt trænede modeller, såsom tilfælde, hvor datasæt er ekstremt store og distribuerede.

Foto: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)