Что такое Федеративное Обучение?

Что такое Федеративное Обучение?

Традиционный метод обучения моделей ИИ предполагает создание серверов, на которых модели обучаются на данных, часто с использованием облачной вычислительной платформы. Однако в последние годы появился альтернативный метод создания моделей, называемый федеративным обучением. Федеративное обучение переносит модели машинного обучения к источнику данных, а не данные к модели. Федеративное обучение объединяет несколько вычислительных устройств в децентрализованную систему, которая позволяет отдельным устройствам, собирающим данные, участвовать в обучении модели.

В системе федеративного обучения различные устройства, являющиеся частью сети обучения, имеют копию модели на устройстве. Различные устройства/клиенты обучают свою копию модели, используя локальные данные клиента, а затем параметры/веса от отдельных моделей отправляются на мастер-устройство или сервер, который агрегирует параметры и обновляет глобальную модель. Этот процесс обучения может быть повторен до достижения желаемого уровня точности. Коротко говоря, идея федеративного обучения заключается в том, что ни одна из обучающих данных никогда не передается между устройствами или сторонами, только обновления, связанные с моделью.

Федеративное обучение можно разбить на три различных этапа или фазы. Федеративное обучение обычно начинается с общей модели, которая служит базовой и обучается на центральном сервере. На первом этапе эта общая модель отправляется на клиентов приложения. Эти локальные копии затем обучаются на данных, сгенерированных клиентскими системами, изучая и улучшая свою производительность.

На втором этапе клиенты отправляют свои обученные параметры модели на центральный сервер. Это происходит периодически, по установленному расписанию.

На третьем этапе сервер агрегирует обученные параметры, когда он их получает. После агрегации параметров центральная модель обновляется и снова делится с клиентами. Затем весь процесс повторяется.

Преимущество наличия копии модели на различных устройствах заключается в том, что сетевые задержки уменьшаются или исключаются. Стоимость, связанная с обменом данными с сервером, также исключается. Другие преимущества федеративных методов обучения включают тот факт, что модели федеративного обучения сохраняют конфиденциальность, а ответы модели персонализированы для пользователя устройства.

Примеры моделей федеративного обучения включают системы рекомендаций, модели обнаружения мошенничества и медицинские модели. Системы рекомендаций, используемые в Netflix или Amazon, могут быть обучены на данных, собранных из тысяч пользователей. Устройства-клиенты будут обучать свои собственные отдельные модели, а центральная модель будет учиться делать лучшие прогнозы, даже если отдельные данные будут уникальны для разных пользователей. Аналогично, модели обнаружения мошенничества, используемые банками, могут быть обучены на закономерностях деятельности с многих разных устройств, и несколько банков могут сотрудничать, чтобы обучить общую модель. В случае медицинской модели федеративного обучения несколько больниц могут объединиться, чтобы обучить общую модель, которая может распознавать потенциальные опухоли через медицинские сканы.

Типы Федеративного Обучения

Схемы федеративного обучения обычно делятся на две различные категории: многопартийные системы и однопартийные системы. Однопартийные системы федеративного обучения называются “однопартийными”, потому что только одна сущность отвечает за надзор за захватом и потоком данных через все устройства-клиенты в сети обучения. Модели, существующие на устройствах-клиентах, обучаются на данных с одинаковой структурой, хотя данные точки обычно уникальны для различных пользователей и устройств.

В отличие от однопартийных систем, многопартийные системы управляются двумя или более сущностями. Эти сущности сотрудничают, чтобы обучить общую модель, используя различные устройства и наборы данных, к которым они имеют доступ. Параметры и структуры данных обычно похожи на устройства, принадлежащие различным сущностям, но они не должны быть идентичными. Вместо этого выполняется предварительная обработка для стандартизации входных данных модели. Нейтральная сущность может быть использована для агрегации весов, установленных устройствами, уникальными для различных сущностей.

Фреймворки для Федеративного Обучения

Популярные фреймворки, используемые для федеративного обучения, включают Tensorflow Federated, Federated AI Technology Enabler (FATE) и PySyft. PySyft – это библиотека федеративного обучения с открытым исходным кодом, основанная на библиотеке глубокого обучения PyTorch. PySyft предназначен для обеспечения частного, безопасного глубокого обучения на серверах и агентах с помощью зашифрованного вычисления. Тем временем Tensorflow Federated – это еще один фреймворк с открытым исходным кодом, построенный на платформе Google Tensorflow. Помимо того, что позволяет пользователям создавать свои собственные алгоритмы, Tensorflow Federated позволяет пользователям模拟 ряд включенных алгоритмов федеративного обучения на своих собственных моделях и данных. Наконец, FATE – это еще один фреймворк с открытым исходным кодом, разработанный Webank AI, и он предназначен для предоставления экосистеме Федеративного ИИ безопасного вычислительного фреймворка.

Проблемы Федеративного Обучения

Поскольку федеративное обучение еще относительно новое, ряд проблем все еще необходимо преодолеть, чтобы оно достигло своего полного потенциала. Возможности обучения устройств на краю сети,标ирование и стандартизация данных, а также сходимость модели являются потенциальными препятствиями для подходов федеративного обучения.

Вычислительные возможности устройств на краю сети при локальном обучении необходимо учитывать при проектировании подходов федеративного обучения. Хотя большинство смартфонов, планшетов и других устройств IoT способны обучать модели машинного обучения, это обычно ухудшает производительность устройства. Компромиссы должны быть найдены между точностью модели и производительностью устройства.

Маркировка и стандартизация данных – еще одна проблема, которую системы федеративного обучения должны преодолеть. Модели обучения с учителем требуют обучающих данных, которые четко и последовательно помечены, что может быть трудно сделать на многих устройствах-клиентах, являющихся частью системы. По этой причине важно разработать конвейеры данных моделей, которые автоматически применяют метки в стандартизированном виде на основе событий и действий пользователей.

Время сходимости модели – еще одна проблема для федеративного обучения, поскольку модели федеративного обучения обычно требуют больше времени для сходимости, чем локально обученные модели. Количество устройств, участвующих в обучении, добавляет элемент непредсказуемости к обучению модели, поскольку проблемы с подключением, нерегулярные обновления и даже разные времена использования приложения могут способствовать увеличению времени сходимости и снижению надежности. По этой причине решения федеративного обучения обычно наиболее полезны, когда они предоставляют значительные преимущества над центральным обучением модели, такие как случаи, когда наборы данных чрезвычайно велики и распределены.

Фото: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)