Что такое Федеративное Обучение?

Что такое Федеративное Обучение?

Традиционный метод обучения моделей ИИ предполагает создание серверов, на которых модели обучаются на данных, часто с использованием облачной вычислительной платформы. Однако за последние несколько лет появилась альтернативная форма создания моделей, называемая федеративным обучением. Федеративное обучение переносит модели машинного обучения к источнику данных, а не данные к модели. Федеративное обучение объединяет несколько вычислительных устройств в децентрализованную систему, которая позволяет отдельным устройствам, собирающим данные, помогать в обучении модели.

В системе федеративного обучения различные устройства, являющиеся частью сети обучения, имеют копию модели на устройстве. Различные устройства/клиенты обучают свою копию модели, используя локальные данные клиента, а затем параметры/веса из отдельных моделей отправляются на мастер-устройство или сервер, который агрегирует параметры и обновляет глобальную модель. Этот процесс обучения можно повторять до достижения желаемого уровня точности. Коротко говоря, идея федеративного обучения заключается в том, что ни одна из обучающих данных никогда не передается между устройствами или между сторонами, только обновления, связанные с моделью.

Федеративное обучение можно разбить на три разных шага или фазы. Федеративное обучение обычно начинается с базовой модели, которая обучается на центральном сервере. На первом шаге эта базовая модель отправляется на клиентов приложения. Эти локальные копии затем обучаются на данных, сгенерированных системами клиентов, изучая и улучшая свою производительность.

На втором шаге клиенты отправляют параметры своей обученной модели на центральный сервер. Это происходит периодически, по установленному расписанию.

На третьем шаге сервер агрегирует полученные параметры. После агрегации параметров центральная модель обновляется и снова делится с клиентами. Затем весь процесс повторяется.

Преимущество наличия копии модели на различных устройствах заключается в том, что снижаются или исключаются задержки сети. Исключаются затраты, связанные с обменом данными с сервером. Другие преимущества федеративных методов обучения включают тот факт, что модели федеративного обучения сохраняют конфиденциальность, а ответы модели персонализированы для пользователя устройства.

Примерами моделей федеративного обучения являются системы рекомендаций, модели обнаружения мошенничества и медицинские модели. Системы рекомендаций, используемые в Netflix или Amazon, могут быть обучены на данных, собранных из тысяч пользователей. Устройства-клиенты будут обучать свои отдельные модели, а центральная модель будет учиться делать лучшие прогнозы, даже если отдельные данные будут уникальны для разных пользователей. Аналогично, модели обнаружения мошенничества, используемые банками, могут быть обучены на закономерностях деятельности с многих разных устройств, и несколько банков могут сотрудничать, чтобы обучить общую модель. В случае медицинской модели федеративного обучения несколько больниц могут объединиться, чтобы обучить общую модель, которая может распознавать потенциальные опухоли через медицинские сканирования.

Типы Федеративного Обучения

Схемы федеративного обучения обычно делятся на две разные категории: многопартийные системы и однопартийные системы. Однопартийные системы федеративного обучения называются “однопартийными”, потому что только одна сущность отвечает за контроль над захватом и потоком данных через все устройства сети обучения. Модели, существующие на устройствах-клиентах, обучаются на данных с одинаковой структурой, хотя данные точки обычно уникальны для различных пользователей и устройств.

В отличие от однопартийных систем, многопартийные системы управляются двумя или более сущностями. Эти сущности сотрудничают, чтобы обучить общую модель, используя различные устройства и наборы данных, к которым они имеют доступ. Параметры и структуры данных обычно похожи на устройства, принадлежащие нескольким сущностям, но они не должны быть идентичными. Вместо этого выполняется предварительная обработка для стандартизации входных данных модели. Может быть использована нейтральная сущность для агрегации весов, установленных устройствами, уникальными для разных сущностей.

Фреймворки для Федеративного Обучения

Популярные фреймворки, используемые для федеративного обучения, включают Tensorflow Federated, Federated AI Technology Enabler (FATE) и PySyft. PySyft – это библиотека федеративного обучения с открытым исходным кодом, основанная на библиотеке глубокого обучения PyTorch. PySyft предназначена для обеспечения частного, безопасного глубокого обучения на серверах и агентах с использованием зашифрованного вычисления. Тем временем, Tensorflow Federated – это еще один фреймворк с открытым исходным кодом, построенный на платформе Google Tensorflow. Кроме того, FATE – это фреймворк с открытым исходным кодом, разработанный Webank AI, и он предназначен для предоставления экосистеме федеративного ИИ безопасной вычислительной платформы.

Проблемы Федеративного Обучения

Поскольку федеративное обучение еще относительно новое, ряд проблем все еще необходимо преодолеть, чтобы оно достигло своего полного потенциала. Возможности обучения устройств на краю сети, маркировка и стандартизация данных, а также сходимость модели являются потенциальными препятствиями для подходов федеративного обучения.

Вычислительные способности устройств на краю сети при местном обучении должны учитываться при проектировании подходов федеративного обучения. Хотя большинство смартфонов, планшетов и других устройств, совместимых с IoT, способны обучать модели машинного обучения, это обычно ухудшает производительность устройства. Компромиссы должны быть найдены между точностью модели и производительностью устройства.

Маркировка и стандартизация данных – это еще одна проблема, которую системы федеративного обучения должны преодолеть. Модели обучения с учителем требуют обучающих данных, которые четко и последовательно помечены, что может быть трудно сделать на многих устройствах-клиентах, являющихся частью системы. По этой причине важно разработать конвейеры данных моделей, которые автоматически применяют метки в стандартизированном виде на основе событий и действий пользователей.

Время сходимости модели – это еще одна проблема для федеративного обучения, поскольку модели федеративного обучения обычно требуют больше времени для сходимости, чем модели, обученные локально. Количество устройств, участвующих в обучении, добавляет элемент непредсказуемости к обучению модели, поскольку проблемы с подключением, нерегулярные обновления и даже разные времена использования приложения могут способствовать увеличению времени сходимости и снижению надежности. По этой причине решения федеративного обучения обычно наиболее полезны, когда они предоставляют значительные преимущества над центральным обучением модели, такие как случаи, когда наборы данных чрезвычайно велики и распределены.

Фото: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)