Що таке федеративне навчання?

Що таке федеративне навчання?

Традиційний метод навчання моделей штучного інтелекту передбачає встановлення серверів, на яких моделі навчаються на даних, часто за допомогою хмарної обчислювальної платформи. Однак за останні кілька років виникла альтернативна форма створення моделі, яка називається федеративним навчанням. Федеративне навчання переносить моделі машинного навчання в джерело даних, а не переносить дані в модель. Інтегроване навчання об’єднує кілька обчислювальних пристроїв у децентралізовану систему, яка дозволяє окремим пристроям, які збирають дані, допомагати в навчанні моделі.

У системі об’єднаного навчання різні пристрої, які є частиною навчальної мережі, мають копію моделі на пристрої. Різні пристрої/клієнти навчити власну копію моделі використовуючи локальні дані клієнта, а потім параметри/ваги з окремих моделей надсилаються на головний пристрій або сервер, який агрегує параметри та оновлює глобальну модель. Потім цей процес навчання можна повторювати, доки не буде досягнуто бажаного рівня точності. Коротше кажучи, ідея федеративного навчання полягає в тому, що жодні навчальні дані ніколи не передаються між пристроями чи сторонами, передаються лише оновлення, пов’язані з моделлю.

Інтегроване навчання можна розбити на три різні кроки або фази. Інтегроване навчання зазвичай починається із загальної моделі, яка діє як базова лінія та навчається на центральному сервері. На першому кроці ця загальна модель надсилається клієнтам програми. Потім ці локальні копії навчаються на основі даних, створених клієнтськими системами, навчаючись і покращуючи їх продуктивність.

На другому кроці всі клієнти надсилають свої вивчені параметри моделі на центральний сервер. Це відбувається періодично, за встановленим графіком.

На третьому кроці сервер агрегує вивчені параметри, коли він їх отримує. Після агрегування параметрів центральна модель оновлюється та знову надається клієнтам. Потім весь процес повторюється.

Команда перевага наявності копії моделі на різних пристроях полягає в тому, що затримки мережі зменшуються або усуваються. Витрати, пов’язані з обміном даними з сервером, також усуваються. Інші переваги методів федеративного навчання включають той факт, що конфіденційність моделей федеративного навчання зберігається, а відповіді моделі персоналізовані для користувача пристрою.

Приклади моделей федеративного навчання включають системи рекомендацій, моделі виявлення шахрайства та медичні моделі. Механізми медіа-рекомендацій, подібні до Netflix або Amazon, можна навчити на даних, зібраних від тисяч користувачів. Клієнтські пристрої тренуватимуть власні окремі моделі, а центральна модель навчиться робити кращі прогнози, навіть якщо окремі точки даних будуть унікальними для різних користувачів. Подібним чином моделі виявлення шахрайства, які використовуються банками, можна навчити на шаблонах активності багатьох різних пристроїв, і кілька різних банків можуть співпрацювати, щоб навчити загальну модель. З точки зору моделі об’єднаного медичного навчання, кілька лікарень можуть об’єднатися для підготовки спільної моделі, яка зможе розпізнавати потенційні пухлини за допомогою медичного сканування.

Типи федеративного навчання

Об’єднані схеми навчання зазвичай належать до одного з двох різних класів: багатопартійність та однопартійність. Односторонні об’єднані системи навчання називаються «односторонніми», тому що лише один об’єкт відповідає за нагляд за збором і потоком даних на всіх клієнтських пристроях у навчальній мережі. Моделі, які існують на клієнтських пристроях, навчаються на даних з однаковою структурою, хоча точки даних зазвичай унікальні для різних користувачів і пристроїв.

На відміну від однопартійних систем, багатопартійними системами керують два або більше суб’єктів. Ці організації співпрацюють, щоб навчити спільну модель, використовуючи різні пристрої та набори даних, до яких вони мають доступ. Параметри та структури даних, як правило, подібні на всіх пристроях, що належать до кількох об’єктів, але вони не обов’язково мають бути абсолютно однаковими. Натомість виконується попередня обробка для стандартизації вхідних даних моделі. Нейтральний об’єкт може бути використаний для агрегування ваг, встановлених пристроями, унікальними для різних об’єктів.

Структури для інтегрованого навчання

Популярні фреймворки, що використовуються для інтегрованого навчання, включають Tensorflow Federated, Federated AI Technology Enabler (FATE) та PySyft. PySyft — це об’єднана навчальна бібліотека з відкритим кодом, заснована на бібліотеці глибокого навчання PyTorch. PySyft призначений для забезпечення приватного, безпечного глибокого навчання на серверах і агентах із використанням зашифрованих обчислень. Тим часом Tensorflow Federated — це ще один фреймворк із відкритим кодом, створений на платформі Google Tensorflow. На додаток до можливості користувачам створювати власні алгоритми, Tensorflow Federated дозволяє користувачам моделювати низку включених алгоритмів об’єднаного навчання на власних моделях і даних. Нарешті, FATE також є фреймворком з відкритим вихідним кодом, розробленим компанією Webank AI, і він призначений для забезпечення екосистеми Federated AI безпечною обчислювальною структурою.

Завдання федеративного навчання

Оскільки федеративне навчання все ще лише зароджується, ряд викликів все ще потрібно обговорити, щоб він повністю реалізував свій потенціал. Навчальні можливості периферійних пристроїв, маркування даних і стандартизація, а також конвергенція моделей є потенційними перешкодами для підходів федеративного навчання.

Розробляючи підходи до об’єднаного навчання, необхідно враховувати обчислювальні можливості периферійних пристроїв, коли йдеться про локальне навчання. Хоча більшість смартфонів, планшетів та інших пристроїв, сумісних з Інтернетом речей, здатні навчати моделі машинного навчання, зазвичай це знижує продуктивність пристрою. Доведеться йти на компроміс між точністю моделі та продуктивністю пристрою.

Позначення та стандартизація даних є ще одним викликом, який повинні подолати системи федеративного навчання. Моделі навчання під наглядом вимагають чітких і узгоджених позначень навчальних даних, що може бути важко виконати на багатьох клієнтських пристроях, які є частиною системи. З цієї причини важливо розробити моделі конвеєрів даних, які автоматично застосовують мітки стандартизованим способом на основі подій і дій користувача.

Час конвергенції моделі є ще одним викликом для федеративного навчання, оскільки моделі федеративного навчання зазвичай займають більше часу для конвергенції, ніж моделі з локальним навчанням. Кількість пристроїв, які беруть участь у навчанні, додає елемент непередбачуваності до навчання моделі, оскільки проблеми з підключенням, нерегулярні оновлення та навіть різний час використання додатків можуть сприяти збільшенню часу конвергенції та зниженню надійності. З цієї причини рішення для об’єднаного навчання зазвичай найбільш корисні, коли вони надають значні переваги перед централізованим навчанням моделі, наприклад у випадках, коли набори даних надзвичайно великі та розподілені.

Фото: Jeromemetronome через Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)