Що таке Федераційне навчання?

Що таке Федераційне навчання?

Традиційний метод навчання моделей штучного інтелекту полягає у створенні серверів, де моделі тренуються на даних, часто за допомогою хмарної обчислювальної платформи. Однак за останні кілька років з’явилася альтернатива цьому методу, яка називається федераційним навчанням. Федераційне навчання переносить моделі машинного навчання до джерела даних, а не дані до моделі. Федераційне навчання з’єднує кілька обчислювальних пристроїв у децентралізовану систему, яка дозволяє окремим пристроям, що збирають дані, допомагати у тренуванні моделі.

У системі федераційного навчання різні пристрої, що входять до мережі навчання, мають копію моделі на пристрої. Різні пристрої/клієнти тренують свою копію моделі, використовуючи місцеві дані клієнта, а потім параметри/ваги від окремих моделей передаються до головного пристрою або сервера, який агрегує параметри та оновлює глобальну модель. Цей процес навчання можна повторювати до досягнення бажаного рівня точності. Коротко кажучи, ідея федераційного навчання полягає в тому, що жодні дані навчання ніколи не передаються між пристроями або між сторонами, передаються тільки оновлення, пов’язані з моделлю.

Федераційне навчання можна розділити на три різні кроки або фази. Федераційне навчання зазвичай починається з загальної моделі, яка служить базовою і тренується на центральному сервері. На першому кроці ця загальна модель передається клієнтам програми. Ці місцеві копії потім тренуються на даних, згенерованих клієнтськими системами, вчаться та покращують свою продуктивність.

На другому кроці клієнти передають свої навчені параметри моделі до центрального сервера. Це відбувається періодично, за встановленим графіком.

На третьому кроці сервер агрегує навчені параметри, коли їх отримує. Після агрегації параметрів центральна модель оновлюється та передається клієнтам ще раз. Цій процес потім повторюється.

Перевага наявності копії моделі на різних пристроях полягає в тому, що мережеві затримки знижуються або ліквідуються. Витрати, пов’язані з обміном даними з сервером, також ліквідуються. Інші переваги федераційних методів навчання включають те, що моделі федераційного навчання зберігають конфіденційність, а відповіді моделі персоналізовані для користувача пристрою.

Приклади моделей федераційного навчання включають системи рекомендацій, моделі виявлення шахрайства та медичні моделі. Системи рекомендацій, типу тих, що використовуються Netflix або Amazon, можуть бути треновані на даних, зібраних з тисяч користувачів. Клієнтські пристрої тренують свої окремі моделі, а центральна модель вчиться робити кращі передбачення, навіть якщо окремі дані будуть унікальними для різних користувачів. Аналогічно, моделі виявлення шахрайства, які використовуються банками, можуть бути треновані на моделях діяльності з багатьох різних пристроїв, а кілька банків можуть співпрацювати, щоб тренувати спільну модель. Що стосується медичної моделі федераційного навчання, кілька лікарень можуть об’єднатися, щоб тренувати спільну модель, яка може визнавати потенційні пухлини через медичні сканування.

Типи Федераційного навчання

Схеми федераційного навчання зазвичай належать до однієї з двох різних класів: багатопартійні системи та однопартійні системи. Однопартійні системи федераційного навчання називаються “однопартійними”, оскільки тільки одна сутність відповідає за керування захопленням та потоком даних через усі клієнтські пристрої мережі навчання. Моделі, які існують на клієнтських пристроях, тренуються на даних з тією ж структурою, хоча дані зазвичай унікальні для різних користувачів та пристроїв.

На відміну від однопартійних систем, багатопартійні системи керуються двома або більше сутностями. Ці сутності співпрацюють, щоб тренувати спільну модель, використовуючи різні пристрої та набори даних, до яких вони мають доступ. Параметри та структури даних зазвичай схожі на пристроях, що належать до різних сутностей, але вони не повинні бути точно однаковими. Замість цього проводиться попередня обробка для стандартизації входів моделі. Нейтральна сутність може бути використана для агрегації ваг, встановлених пристроями, унікальними для різних сутностей.

Фреймворки для Федераційного навчання

Популярні фреймворки, які використовуються для федераційного навчання, включають Tensorflow Federated, Federated AI Technology Enabler (FATE) та PySyft. PySyft – це відкритий фреймворк федераційного навчання на основі бібліотеки глибокого навчання PyTorch. PySyft призначений для забезпечення приватного, безпечного глибокого навчання на серверах та агентах за допомогою зашифрованого обчислення. Тоді як Tensorflow Federated – це інший відкритий фреймворк, побудований на платформі Google Tensorflow. Окрім можливості створення власних алгоритмів, Tensorflow Federated дозволяє користувачам симулювати ряд включених алгоритмів федераційного навчання на своїх моделях та даних. Нарешті, FATE – це також відкритий фреймворк, розроблений Webank AI, і він призначений для надання екосистемі Федераційного штучного інтелекту безпечного обчислювального фреймворку.

Виклики Федераційного навчання

Оскільки федераційне навчання ще досить нове, ряд викликів ще мають бути подолані, щоб воно досягло свого повного потенціалу. Можливості тренування пристроїв краю, маркування даних та стандартизація, а також збіжність моделі є потенційними перешкодами для підходів федераційного навчання.

Обчислювальні можливості пристроїв краю, коли мова йде про місцеве тренування, повинні бути враховані при проектуванні підходів федераційного навчання. Хоча більшість смартфонів, планшетів та інших пристроїв, сумісних з IoT, здатні тренувати моделі машинного навчання, це зазвичай погіршує продуктивність пристрою. Компроміси повинні бути зроблені між точністю моделі та продуктивністю пристрою.

Маркування та стандартизація даних – це ще одна проблема, яку системи федераційного навчання повинні подолати. Моделі навчального навчання вимагають навчальних даних, які чітко та послідовно позначені, що може бути складно зробити на багатьох клієнтських пристроях, які входять до системи. Через це важливо розробити трубопроводи моделей даних, які автоматично застосовують позначення у стандартизованому вигляді на основі подій та дій користувача.

Час збіжності моделі – це ще одна проблема для федераційного навчання, оскільки моделі федераційного навчання зазвичай довше збігаються, ніж локально треновані моделі. Кількість пристроїв, які беруть участь у тренуванні, додає елемент непередбачуваності до тренування моделі, оскільки проблеми з’єднання, нерегулярні оновлення та навіть різні часи використання програми можуть сприяти збільшенню часу збіжності та зниженню надійності. Через це рішення федераційного навчання зазвичай найбільш корисні, коли вони забезпечують значні переваги над центральним тренуванням моделі, наприклад, у випадках, коли набори даних дуже великі та розподілені.

Фото: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)