Was ist föderiertes Lernen?

Was ist föderiertes Lernen?

Die traditionelle Methode zum Trainieren von KI-Modellen umfasst die Einrichtung von Servern, auf denen Modelle anhand von Daten trainiert werden, häufig mithilfe einer Cloud-basierten Computerplattform. In den letzten Jahren ist jedoch eine alternative Form der Modellerstellung entstanden, das so genannte föderierte Lernen. Föderiertes Lernen Bringt Modelle für maschinelles Lernen zur Datenquelle, anstatt die Daten zum Modell zu bringen. Föderiertes Lernen verbindet mehrere Rechengeräte zu einem dezentralen System, das es den einzelnen Geräten, die Daten sammeln, ermöglicht, beim Training des Modells zu helfen.

In einem föderierten Lernsystem verfügen die verschiedenen Geräte des Lernnetzwerks jeweils über eine Kopie des Modells auf ihrem Gerät. Die verschiedenen Geräte/Clients trainieren ihre eigene Kopie des Modells mit den lokalen Daten des Clients. Anschließend werden die Parameter/Gewichte der einzelnen Modelle an ein Mastergerät oder einen Server gesendet, der die Parameter aggregiert und das globale Modell aktualisiert. Dieser Trainingsprozess kann so lange wiederholt werden, bis die gewünschte Genauigkeit erreicht ist. Kurz gesagt: Die Idee hinter föderiertem Lernen besteht darin, dass keine Trainingsdaten zwischen Geräten oder zwischen Parteien übertragen werden, sondern nur die modellbezogenen Aktualisierungen.

Föderiertes Lernen kann in drei verschiedene Schritte oder Phasen unterteilt werden. Föderiertes Lernen beginnt typischerweise mit einem generischen Modell, das als Basis dient und auf einem zentralen Server trainiert wird. Im ersten Schritt wird dieses generische Modell an die Clients der Anwendung versendet. Diese lokalen Kopien werden dann anhand der von den Client-Systemen generierten Daten trainiert, lernen und verbessern ihre Leistung.

Im zweiten Schritt senden alle Clients ihre gelernten Modellparameter an den zentralen Server. Dies geschieht regelmäßig nach einem festgelegten Zeitplan.

Im dritten Schritt aggregiert der Server die gelernten Parameter beim Empfang. Nachdem die Parameter aggregiert wurden, wird das zentrale Modell aktualisiert und erneut mit den Kunden geteilt. Der gesamte Vorgang wiederholt sich dann.

Der Vorteil, eine Kopie zu haben Der Vorteil des Modells auf den verschiedenen Geräten besteht darin, dass Netzwerklatenzen reduziert oder eliminiert werden. Auch die Kosten für den Datenaustausch mit dem Server entfallen. Zu den weiteren Vorteilen föderierter Lernmethoden gehört die Tatsache, dass bei föderierten Lernmodellen die Privatsphäre gewahrt bleibt und die Modellantworten für den Benutzer des Geräts personalisiert sind.

Beispiele für föderierte Lernmodelle sind Empfehlungs-Engines, Betrugserkennungsmodelle und medizinische Modelle. Medienempfehlungs-Engines, wie sie von Netflix oder Amazon verwendet werden, könnten auf Daten von Tausenden von Benutzern trainiert werden. Die Client-Geräte würden ihre eigenen separaten Modelle trainieren und das zentrale Modell würde lernen, bessere Vorhersagen zu treffen, obwohl die einzelnen Datenpunkte für die verschiedenen Benutzer einzigartig wären. Ebenso können von Banken verwendete Betrugserkennungsmodelle anhand von Aktivitätsmustern vieler verschiedener Geräte trainiert werden, und eine Handvoll verschiedener Banken könnten zusammenarbeiten, um ein gemeinsames Modell zu trainieren. Im Rahmen eines medizinischen Verbundlernmodells könnten mehrere Krankenhäuser zusammenarbeiten, um ein gemeinsames Modell zu trainieren, das potenzielle Tumore durch medizinische Scans erkennen könnte.

Arten des föderierten Lernens

Föderierte Lernschemata fallen typischerweise in eine von zwei verschiedenen Klassen: Mehrparteiensysteme und Einparteiensysteme. Verbundlernsysteme mit einer Partei werden als „Einzelpartei“ bezeichnet, da nur eine einzige Entität für die Überwachung der Erfassung und des Datenflusses auf allen Clientgeräten im Lernnetzwerk verantwortlich ist. Die auf den Clientgeräten vorhandenen Modelle werden auf Daten mit derselben Struktur trainiert, obwohl die Datenpunkte normalerweise für die verschiedenen Benutzer und Geräte eindeutig sind.

Im Gegensatz zu Einparteiensystemen werden Mehrparteiensysteme von zwei oder mehr Einheiten verwaltet. Diese Einheiten arbeiten zusammen, um ein gemeinsames Modell zu trainieren, indem sie die verschiedenen Geräte und Datensätze nutzen, auf die sie Zugriff haben. Die Parameter und Datenstrukturen sind in der Regel auf den Geräten der verschiedenen Entitäten ähnlich, müssen jedoch nicht exakt gleich sein. Stattdessen erfolgt eine Vorverarbeitung, um die Eingaben des Modells zu standardisieren. Eine neutrale Einheit könnte eingesetzt werden, um die Gewichtungen zu aggregieren, die von den Geräten ermittelt werden, die für die verschiedenen Einheiten einzigartig sind.

Frameworks für föderiertes Lernen

Zu den beliebten Frameworks für föderiertes Lernen gehören: Tensorflow Federated, Federated AI Technology Enabler (FATE)und PySyft. PySyft ist eine Open-Source-Bibliothek für föderiertes Lernen, die auf der Deep-Learning-Bibliothek PyTorch basiert. PySyft soll mithilfe verschlüsselter Berechnungen privates, sicheres Deep Learning über Server und Agenten hinweg gewährleisten. Mittlerweile ist Tensorflow Federated ein weiteres Open-Source-Framework, das auf der Tensorflow-Plattform von Google basiert. Tensorflow Federated ermöglicht Benutzern nicht nur die Erstellung eigener Algorithmen, sondern ermöglicht es Benutzern auch, eine Reihe integrierter föderierter Lernalgorithmen anhand ihrer eigenen Modelle und Daten zu simulieren. Schließlich ist FATE auch ein Open-Source-Framework, das von Webank AI entwickelt wurde und dem Federated AI-Ökosystem ein sicheres Computer-Framework bieten soll.

Föderierte Lernherausforderungen

Da das föderierte Lernen noch in den Kinderschuhen steckt, eine Reihe von Herausforderungen Es muss noch verhandelt werden, damit es sein volles Potenzial entfalten kann. Die Trainingsfähigkeiten von Edge-Geräten, die Datenkennzeichnung und -standardisierung sowie die Modellkonvergenz sind potenzielle Hindernisse für föderierte Lernansätze.

Bei der Gestaltung föderierter Lernansätze müssen die Rechenfähigkeiten der Edge-Geräte berücksichtigt werden, wenn es um lokales Training geht. Während die meisten Smartphones, Tablets und andere IoT-kompatible Geräte in der Lage sind, Modelle für maschinelles Lernen zu trainieren, beeinträchtigt dies in der Regel die Leistung des Geräts. Es müssen Kompromisse zwischen Modellgenauigkeit und Geräteleistung eingegangen werden.

Die Kennzeichnung und Standardisierung von Daten ist eine weitere Herausforderung, die föderierte Lernsysteme bewältigen müssen. Für überwachte Lernmodelle sind klar und einheitlich gekennzeichnete Trainingsdaten erforderlich, was auf den vielen Client-Geräten, die Teil des Systems sind, schwierig sein kann. Aus diesem Grund ist es wichtig, Modelldatenpipelines zu entwickeln, die automatisch und auf standardisierte Weise Beschriftungen basierend auf Ereignissen und Benutzeraktionen anwenden.

Die Modellkonvergenzzeit ist eine weitere Herausforderung für föderiertes Lernen, da föderierte Lernmodelle in der Regel länger zur Konvergenz benötigen als lokal trainierte Modelle. Die Anzahl der am Training beteiligten Geräte fügt dem Modelltraining ein Element der Unvorhersehbarkeit hinzu, da Verbindungsprobleme, unregelmäßige Aktualisierungen und sogar unterschiedliche Anwendungsnutzungszeiten zu einer längeren Konvergenzzeit und einer verringerten Zuverlässigkeit beitragen können. Aus diesem Grund sind föderierte Lernlösungen in der Regel dann am nützlichsten, wenn sie bedeutende Vorteile gegenüber dem zentralen Training eines Modells bieten, beispielsweise in Fällen, in denen Datensätze extrem groß und verteilt sind.

Foto: Jeromemetronome über Wikimedia Commons, CC von SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)