Wat is federatief leren?

Wat is federatief leren?

De traditionele methode voor het trainen van AI-modellen omvat het opzetten van servers waarop modellen worden getraind op gegevens, vaak via het gebruik van een cloudgebaseerd computerplatform. De afgelopen jaren is er echter een alternatieve vorm van modelcreatie ontstaan, genaamd federatief leren. Federaal leren brengt machine learning-modellen naar de gegevensbron, in plaats van de gegevens naar het model te brengen. Federated learning koppelt meerdere computerapparaten aan elkaar in een gedecentraliseerd systeem waarmee de individuele apparaten die gegevens verzamelen, kunnen helpen bij het trainen van het model.

In een federatief leersysteem hebben de verschillende apparaten die deel uitmaken van het leernetwerk elk een kopie van het model op het apparaat. De verschillende apparaten/clients train hun eigen exemplaar van het model met behulp van de lokale gegevens van de klant, en vervolgens worden de parameters/gewichten van de individuele modellen naar een masterapparaat of server gestuurd, die de parameters samenvoegt en het globale model bijwerkt. Dit trainingsproces kan vervolgens worden herhaald totdat een gewenst niveau van nauwkeurigheid is bereikt. Kortom, het idee achter gefedereerd leren is dat geen van de trainingsgegevens ooit tussen apparaten of tussen partijen wordt verzonden, alleen de updates met betrekking tot het model.

Federatief leren kan worden onderverdeeld in drie verschillende stappen of fasen. Federated learning begint meestal met een generiek model dat als basis fungeert en wordt getraind op een centrale server. In de eerste stap wordt dit generieke model naar de klanten van de applicatie gestuurd. Deze lokale kopieën worden vervolgens getraind op gegevens die zijn gegenereerd door de clientsystemen, waarbij ze leren en hun prestaties verbeteren.

In de tweede stap sturen de clients allemaal hun geleerde modelparameters naar de centrale server. Dit gebeurt periodiek, volgens een vast schema.

In de derde stap verzamelt de server de geleerde parameters wanneer deze deze ontvangt. Nadat de parameters zijn geaggregeerd, wordt het centrale model bijgewerkt en opnieuw gedeeld met de klanten. Het hele proces herhaalt zich dan.

De voordeel van een kopie van het model op de verschillende apparaten is dat netwerklatenties worden verminderd of geëlimineerd. De kosten die gepaard gaan met het delen van gegevens met de server vallen ook weg. Andere voordelen van gefedereerde leermethoden zijn onder meer het feit dat gefedereerde leermodellen de privacy behouden en modelreacties worden gepersonaliseerd voor de gebruiker van het apparaat.

Voorbeelden van gefedereerde leermodellen zijn aanbevelingsengines, modellen voor fraudedetectie en medische modellen. Media-aanbevelingsengines, van het type dat wordt gebruikt door Netflix of Amazon, kunnen worden getraind op gegevens die zijn verzameld van duizenden gebruikers. De client-apparaten zouden hun eigen afzonderlijke modellen trainen en het centrale model zou leren om betere voorspellingen te doen, ook al zouden de individuele datapunten uniek zijn voor de verschillende gebruikers. Op dezelfde manier kunnen door banken gebruikte modellen voor fraudedetectie worden getraind op activiteitenpatronen van veel verschillende apparaten, en een handvol verschillende banken zou kunnen samenwerken om een ​​gemeenschappelijk model te trainen. In termen van een medisch federatief leermodel zouden meerdere ziekenhuizen kunnen samenwerken om een ​​gemeenschappelijk model te trainen dat potentiële tumoren kan herkennen door middel van medische scans.

Soorten gefedereerd leren

Federatieve leerschema's vallen meestal in een van de twee verschillende klassen: meerpartijenstelsels en eenpartijstelsels. Single-party gefedereerde leersystemen worden "single-party" genoemd omdat slechts één enkele entiteit verantwoordelijk is voor het toezicht op het vastleggen en de stroom van gegevens over alle clientapparaten in het leernetwerk. De modellen die op de clientapparaten bestaan, worden getraind op gegevens met dezelfde structuur, hoewel de gegevenspunten doorgaans uniek zijn voor de verschillende gebruikers en apparaten.

In tegenstelling tot systemen met één partij worden systemen met meerdere partijen beheerd door twee of meer entiteiten. Deze entiteiten werken samen om een ​​gedeeld model te trainen door gebruik te maken van de verschillende apparaten en datasets waartoe ze toegang hebben. De parameters en gegevensstructuren zijn doorgaans vergelijkbaar tussen de apparaten die tot de meerdere entiteiten behoren, maar ze hoeven niet precies hetzelfde te zijn. In plaats daarvan vindt voorbewerking plaats om de invoer van het model te standaardiseren. Er kan een neutrale entiteit worden gebruikt om de gewichten samen te voegen die zijn vastgesteld door de apparaten die uniek zijn voor de verschillende entiteiten.

Kaders voor gefedereerd leren

Populaire frameworks die worden gebruikt voor gefedereerd leren zijn onder meer Tensorflow federatief, Federatieve AI-technologie-enabler (FATE) en PySyft. PySyft is een open-source federatieve leerbibliotheek gebaseerd op de deep learning-bibliotheek PyTorch. PySyft is bedoeld om privé, veilig diep leren tussen servers en agenten te garanderen met behulp van gecodeerde berekeningen. Ondertussen is Tensorflow Federated een ander open-source framework dat is gebouwd op het Tensorflow-platform van Google. Naast het feit dat gebruikers hun eigen algoritmen kunnen maken, stelt Tensorflow Federated gebruikers in staat om een ​​aantal inbegrepen gefedereerde leeralgoritmen te simuleren op hun eigen modellen en gegevens. Ten slotte is FATE ook een open-source framework ontworpen door Webank AI, en het is bedoeld om het Federated AI-ecosysteem te voorzien van een veilig computerframework.

Gefedereerde leeruitdagingen

Aangezien gefedereerd leren nog vrij in de kinderschoenen staat, een aantal uitdagingen er moet nog over worden onderhandeld om het volledig tot zijn recht te laten komen. De trainingsmogelijkheden van edge-apparaten, gegevenslabeling en -standaardisatie, en modelconvergentie zijn potentiële obstakels voor gefedereerde leerbenaderingen.

Bij het ontwerpen van federatieve leerbenaderingen moet rekening worden gehouden met de rekenmogelijkheden van de edge-apparaten, als het gaat om lokale training. Hoewel de meeste smartphones, tablets en andere IoT-compatibele apparaten in staat zijn om machine learning-modellen te trainen, belemmert dit doorgaans de prestaties van het apparaat. Er zullen compromissen moeten worden gesloten tussen modelnauwkeurigheid en apparaatprestaties.

Het labelen en standaardiseren van gegevens is een andere uitdaging die gefedereerde leersystemen moeten overwinnen. Gesuperviseerde leermodellen vereisen trainingsgegevens die duidelijk en consistent zijn gelabeld, wat moeilijk te doen kan zijn op de vele clientapparaten die deel uitmaken van het systeem. Om deze reden is het belangrijk om pijplijnen voor modelgegevens te ontwikkelen die automatisch labels toepassen op een gestandaardiseerde manier op basis van gebeurtenissen en gebruikersacties.

Modelconvergentietijd is een andere uitdaging voor gefedereerd leren, aangezien gefedereerde leermodellen doorgaans meer tijd nodig hebben om te convergeren dan lokaal getrainde modellen. Het aantal apparaten dat betrokken is bij de training voegt een element van onvoorspelbaarheid toe aan de modeltraining, aangezien verbindingsproblemen, onregelmatige updates en zelfs verschillende gebruikstijden van applicaties kunnen bijdragen aan een langere convergentietijd en verminderde betrouwbaarheid. Om deze reden zijn gefedereerde leeroplossingen meestal het nuttigst wanneer ze zinvolle voordelen bieden ten opzichte van het centraal trainen van een model, zoals gevallen waarin datasets extreem groot en gedistribueerd zijn.

Foto: Jeromemetronoom via Wikimedia Commons, CC Door SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)