Wat ass Federéiert Léieren?

Wat ass Federéiert Léieren?

Déi traditionell Method fir AI Modeller ze trainéieren beinhalt d'Opstelle vu Serveren wou Modeller op Daten trainéiert ginn, dacks duerch d'Benotzung vun enger Cloud-baséierter Rechenplattform. Wéi och ëmmer, an de leschte Joren ass eng alternativ Form vu Modellkreatioun entstanen, federéiert Léieren genannt. Federéiert Léieren bréngt Maschinnléiermodeller an d'Datequell, anstatt d'Donnéeën an de Modell ze bréngen. Federéiert Léieren verbënnt verschidde computational Geräter an en dezentraliséierte System, deen déi eenzel Apparater erlaabt, déi Daten sammelen, fir beim Training vum Modell ze hëllefen.

An engem federéierte Léiersystem hunn déi verschidden Apparater, déi Deel vum Léiernetz sinn, all eng Kopie vum Modell um Apparat. Déi verschidden Apparater / Clienten trainéieren hir eege Kopie vum Modell benotzt de Client seng lokal Donnéeën, an dann d'Parameteren / Gewiichter vun den eenzelne Modeller zu engem Meeschtesch Apparat geschéckt, oder Server, datt d'Parameteren aggregéiert an Aktualiséierungen de globale Modell. Dëse Trainingsprozess kann dann widderholl ginn bis e gewënschten Genauegkeetsniveau erreecht gëtt. Kuerz gesot, d'Iddi hannert federéiert Léieren ass datt keng vun den Trainingsdaten jeemools tëscht Apparater oder tëscht Parteien iwwerdroe gëtt, nëmmen d'Aktualiséierunge mam Model sinn.

Federéiert Léieren kann an dräi verschidde Schrëtt oder Phasen opgedeelt ginn. Federéiert Léieren fänkt normalerweis mat engem generesche Modell un, deen als Baseline wierkt an op engem zentrale Server trainéiert gëtt. Am éischte Schrëtt gëtt dëse generesche Modell un d'Clientë vun der Applikatioun geschéckt. Dës lokal Exemplare ginn dann trainéiert op Daten generéiert vun de Client Systemer, léieren a verbesseren hir Leeschtung.

Am zweete Schrëtt schécken d'Clienten all hir geléiert Modellparameter op den zentrale Server. Dëst geschitt periodesch, op engem festgeluechte Zäitplang.

Am drëtte Schrëtt aggregéiert de Server déi geléiert Parameter wann se se kritt. Nodeems d'Parameteren aggregéiert sinn, gëtt den zentrale Modell aktualiséiert an nach eng Kéier mat de Clienten gedeelt. De ganze Prozess widderhëlt dann.

d' Virdeel fir eng Kopie ze hunn vum Modell op déi verschidden Apparater ass, datt Reseau latencies reduzéiert oder eliminéiert. D'Käschte verbonne mam Deelen vun Daten mam Server ginn och eliminéiert. Aner Virdeeler vu federéierte Léiermethoden enthalen d'Tatsaach datt federéiert Léiermodeller Privatsphär bewahrt sinn, a Modellreaktiounen si personaliséiert fir de Benotzer vum Apparat.

Beispiller vu federéierte Léiermodeller enthalen Empfehlungsmotoren, Bedruchdetektiounsmodeller a medizinesche Modeller. Medie Empfehlungsmotoren, vun der Aart benotzt vun Netflix oder Amazon, kënnen trainéiert ginn op Daten gesammelt vun Dausende vu Benotzer. D'Client-Apparater wäerten hir eege separat Modeller trainéieren an den zentrale Modell léiere besser Prognosen ze maachen, och wann déi eenzel Datepunkte fir déi verschidde Benotzer eenzegaarteg wieren. Ähnlech kënne Bedrucherkennungsmodeller, déi vu Banken benotzt ginn, op Aktivitéitsmuster vu ville verschiddenen Apparater trainéiert ginn, an eng Handvoll verschidde Banke kéinte kollaboréieren fir e gemeinsame Modell ze trainéieren. Am Sënn vun engem medizinesche federéierte Léiermodell, kënne verschidde Spideeler zesummeschaffen fir e gemeinsame Modell ze trainéieren deen potenziell Tumoren duerch medizinesch Scans erkennen kann.

Aarte vu Federéiert Léieren

Federéiert Léierschemaen falen typesch an eng vun zwou verschiddene Klassen: Multi-Partei Systemer an Single-Partei Systemer. Single-Party federéiert Léiersystemer ginn "Single-Party" genannt, well nëmmen eng eenzeg Entitéit ass verantwortlech fir d'Iwwerwaachung vun der Erfaassung an de Flux vun Daten iwwer all Client-Geräter am Léiernetz. D'Modeller déi op de Client Apparater existéieren ginn op Daten mat der selwechter Struktur trainéiert, obwuel d'Datepunkte typesch eenzegaarteg sinn fir déi verschidde Benotzer an Apparater.

Am Géigesaz zu Single-Party Systemer, Multi-Partei Systemer gi vun zwee oder méi Entitéite geréiert. Dës Entitéite kooperéiere fir e gemeinsame Modell ze trainéieren andeems se déi verschidden Apparater an Datesätz benotzen, op déi se Zougang hunn. D'Parameteren an d'Datestrukture sinn typesch ähnlech iwwer d'Apparater, déi zu de verschiddenen Entitéite gehéieren, awer se mussen net genau d'selwecht sinn. Amplaz gëtt d'Virveraarbechtung gemaach fir d'Inputen vum Modell ze standardiséieren. Eng neutral Entitéit kéint agestallt ginn fir d'Gewiichter ze aggregéieren, déi vun den Apparater eenzegaarteg sinn fir déi verschidden Entitéiten.

Kadere fir Federéiert Léieren

Populär Kaderen benotzt fir federéiert Léieren enthalen Tensorflow Federéiert, Federated AI Technology Enabler (FATE), an PySyft. PySyft ass eng Open-Source federéiert Léierbibliothéik baséiert op der Deep Learning Bibliothéik PyTorch. PySyft ass geduecht fir privat, sécher déif Léieren iwwer Serveren an Agenten ze garantéieren mat verschlësselte Berechnung. Mëttlerweil ass Tensorflow Federated en aneren Open-Source Kader op der Google Tensorflow Plattform gebaut. Zousätzlech fir d'Benotzer z'erméiglechen hir eege Algorithmen ze kreéieren, erlaabt Tensorflow Federated d'Benotzer eng Zuel vun abegraff federéierte Léieralgorithmen op hiren eegene Modeller an Daten ze simuléieren. Schlussendlech ass FATE och Open-Source Kader entworf vum Webank AI, an et ass virgesinn fir dem Federated AI Ökosystem e séchere Rechenkader ze bidden.

Federated Learning Challenges

Wéi federéiert Léieren nach ëmmer zimlech nascent ass, eng Rei vun Erausfuerderungen muss nach verhandelt ginn, fir datt et säi vollt Potenzial erreecht. D'Ausbildungsfäegkeete vu Randgeräter, Dateetikettéierung a Standardiséierung, a Modellkonvergenz si potenziell Stroossespären fir federéiert Léierapproachen.

D'Rechnungsfäegkeeten vun de Randapparater, wann et ëm lokal Training kënnt, musse berücksichtegt ginn wann Dir federéiert Léierapproachen designt. Wärend déi meescht Smartphones, Pëllen an aner IoT-kompatibel Geräter fäeg sinn Maschinnléiermodeller ze trainéieren, behënnert dëst typesch d'Leeschtung vum Apparat. Kompromëss musse gemaach ginn tëscht Modell Genauegkeet an Apparat Leeschtung.

D'Etikettéieren an d'Standardiséierung vun Daten ass eng aner Erausfuerderung déi federéiert Léiersystemer musse iwwerwannen. Iwwerwaacht Léiermodeller erfuerderen Trainingsdaten déi kloer a konsequent markéiert sinn, wat schwéier ka sinn ze maachen iwwer déi vill Clientsapparater déi Deel vum System sinn. Aus dësem Grond ass et wichteg Modelldatenpipelines z'entwéckelen déi automatesch Etiketten op eng standardiséierter Manéier applizéieren baséiert op Eventer a Benotzeraktiounen.

Modellkonvergenzzäit ass eng aner Erausfuerderung fir federéiert Léieren, well federéiert Léiermodeller typesch méi laang daueren fir ze konvergéieren wéi lokal trainéiert Modeller. D'Zuel vun den Apparater, déi am Training involvéiert sinn, füügt en Element vun der Onberechenbarkeet un d'Modelltraining bäi, well Verbindungsprobleemer, onregelméisseg Updates, a souguer verschidde Applikatiounszäite kënnen zu enger verstäerkter Konvergenzzäit a reduzéierter Zouverlässegkeet bäidroen. Aus dësem Grond sinn federéiert Léierléisungen typesch am nëtzlechsten wa se sënnvoll Virdeeler iwwer zentral Training e Modell ubidden, sou wéi Fäll wou Datesätz extrem grouss a verdeelt sinn.

Foto: Jeromemetronome iwwer Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)