Що таке Федераційне Навчання?

Що таке Федераційне Навчання?

Традиційний метод навчання моделей штучного інтелекту полягає у створенні серверів, де моделі тренуються на даних, часто за допомогою використання хмарної обчислювальної платформи. Однак за останні кілька років з’явилася альтернативна форма створення моделей, яка називається федераційним навчанням. Федераційне навчання переносить моделі машинного навчання до джерела даних, а не переносить дані до моделі. Федераційне навчання поєднує кілька обчислювальних пристроїв у децентралізовану систему, яка дозволяє окремим пристроям, які збирають дані, допомагати у навчанні моделі.

У системі федераційного навчання різні пристрої, які є частиною мережі навчання, мають копію моделі на пристрої. Різні пристрої/клієнти тренують свою копію моделі, використовуючи локальні дані клієнта, а потім параметри/ваги від окремих моделей передаються до майстер-пристрою або сервера, який агрегує параметри та оновлює глобальну модель. Цей процес навчання можна повторювати до досягнення бажаного рівня точності. Коротко кажучи, ідея федераційного навчання полягає в тому, що жодні дані навчання ніколи не передаються між пристроями або між сторонами, передаються тільки оновлення, пов’язані з моделлю.

Федераційне навчання можна розділити на три різні етапи або фази. Федераційне навчання зазвичай починається з загальної моделі, яка діє як базовий рівень і тренується на центральному сервері. На першому етапі ця загальна модель передається клієнтам програми. Ці локальні копії потім тренуються на даних, згенерованих системами клієнтів, вчаться і покращують свою продуктивність.

На другому етапі клієнти передають свої навчені параметри моделі до центральному серверу. Це відбувається періодично, за встановленим графіком.

На третьому етапі сервер агрегує навчені параметри, коли він їх отримує. Після агрегації параметрів центральна модель оновлюється та передається клієнтам ще раз. Цій процес повторюється.

Перевага має копію моделі на різних пристроях полягає в тому, що мережеві затримки зменшуються або ліквідуються. Витрати, пов’язані з передачею даних на сервер, також ліквідуються. Інші переваги федераційних методів навчання включають той факт, що моделі федераційного навчання зберігають приватність, а відповіді моделі персоналізовані для користувача пристрою.

Приклади моделей федераційного навчання включають системи рекомендацій, моделі виявлення шахрайства та медичні моделі. Медіа-системи рекомендацій, типу тих, які використовуються Netflix або Amazon, можуть бути треновані на даних, зібраних з тисяч користувачів. Клієнтські пристрої будуть тренувати свої окремі моделі, а центральна модель буде навчатися робити кращі передбачення, навіть якщо окремі дані будуть унікальними для різних користувачів. Аналогічно, моделі виявлення шахрайства, які використовуються банками, можуть бути треновані на моделях діяльності з багатьох різних пристроїв, і кілька банків можуть співпрацювати, щоб тренувати спільну модель. Що стосується медичної моделі федераційного навчання, кілька лікарень можуть об’єднатися, щоб тренувати спільну модель, яка може визначати потенційні пухлини через медичні сканування.

Типи Федераційного Навчання

Схеми федераційного навчання зазвичай поділяються на дві різні категорії: багатосторонні системи та односторонні системи. Односторонні федераційні системи навчання називаються “односторонніми”, оскільки тільки одна сутність відповідає за нагляд за захопленням та потоком даних через всі клієнтські пристрої у мережі навчання. Моделі, які існують на клієнтських пристроях, тренуються на даних з однаковою структурою, хоча дані можуть бути унікальними для різних користувачів та пристроїв.

На відміну від односторонніх систем, багатосторонні системи керуються двома або більше сутностями. Ці сутності співпрацюють, щоб тренувати спільну модель, використовуючи різні пристрої та набори даних, до яких вони мають доступ. Параметри та структури даних зазвичай схожі на пристроях, що належать різним сутностям, але вони не повинні бути точно однаковими. Замість цього проводиться попередня обробка для стандартизації входів моделі. Нейтральна сутність може бути використана для агрегації ваг, встановлених пристроями, унікальними для різних сутностей.

Фреймворки для Федераційного Навчання

Популярні фреймворки, використовувані для федераційного навчання, включають Tensorflow Federated, Federated AI Technology Enabler (FATE) та PySyft. PySyft – це відкритий фреймворк федераційного навчання на основі бібліотеки глибокого навчання PyTorch. PySyft призначений для забезпечення приватного, безпечного глибокого навчання на серверах та агентах за допомогою зашифрованого обчислення. Тоді як Tensorflow Federated – це інший відкритий фреймворк, побудований на платформі Google Tensorflow. Крім того, FATE – це відкритий фреймворк, розроблений Webank AI, і він призначений для надання екосистемі Федераційного штучного інтелекту безпечної обчислювальної основи.

Виклики Федераційного Навчання

Оскільки федераційне навчання ще досить нове, багато викликів ще мають бути подолані, щоб воно досягло свого повного потенціалу. Можливості тренування пристроїв краю, маркування даних та стандартизація, а також збіжність моделі є потенційними перешкодами для підходів федераційного навчання.

Обчислювальні можливості пристроїв краю, коли мова йде про локальне тренування, повинні бути враховані при проектуванні підходів федераційного навчання. Хоча більшість смартфонів, планшетів та інших пристроїв, сумісних з IoT, здатні тренувати моделі машинного навчання, це зазвичай погіршує продуктивність пристрою. Компроміси повинні бути зроблені між точністю моделі та продуктивністю пристрою.

Маркування та стандартизація даних – це інший виклик, який системи федераційного навчання повинні подолати. Моделі нагляду за навчанням вимагають тренувальних даних, які чітко та послідовно марковані, що може бути складно зробити на багатьох клієнтських пристроях, які є частиною системи. Через це важливо розробляти конвеєри даних моделей, які автоматично застосовують мітки у стандартизованому вигляді на основі подій та дій користувача.

Час збіжності моделі – це інший виклик для федераційного навчання, оскільки моделі федераційного навчання зазвичай довше збігаються, ніж локально треновані моделі. Кількість пристроїв, які беруть участь у тренуванні, додає елемент непередбачуваності до тренування моделі, оскільки проблеми з’єднання, нерегулярні оновлення та навіть різні часи використання програми можуть сприяти збільшенню часу збіжності та зниженню надійності. Через це рішення федераційного навчання зазвичай найбільш корисні, коли вони забезпечують суттєві переваги над центральним тренуванням моделі, наприклад, у випадках, коли набори даних дуже великі та розподілені.

Photo: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)