Что такое федеративное обучение?

Что такое федеративное обучение?

Традиционный метод обучения моделей ИИ предполагает настройку серверов, на которых модели обучаются на данных, часто с использованием облачной вычислительной платформы. Однако за последние несколько лет возникла альтернативная форма создания моделей, названная федеративным обучением. Федеративное обучение переносит модели машинного обучения в источник данных, а не вносит данные в модель. Федеративное обучение объединяет несколько вычислительных устройств в децентрализованную систему, которая позволяет отдельным устройствам, собирающим данные, помогать в обучении модели.

В системе федеративного обучения различные устройства, являющиеся частью обучающей сети, имеют копию модели на устройстве. Различные устройства/клиенты обучать собственную копию модели используя локальные данные клиента, а затем параметры/веса отдельных моделей отправляются на главное устройство или сервер, который агрегирует параметры и обновляет глобальную модель. Затем этот процесс обучения можно повторять до тех пор, пока не будет достигнут желаемый уровень точности. Короче говоря, идея федеративного обучения заключается в том, что никакие обучающие данные никогда не передаются между устройствами или между сторонами, передаются только обновления, связанные с моделью.

Федеративное обучение можно разбить на три различных этапа или этапа. Федеративное обучение обычно начинается с общей модели, которая действует как базовая и обучается на центральном сервере. На первом этапе эта общая модель рассылается клиентам приложения. Эти локальные копии затем обучаются на данных, сгенерированных клиентскими системами, обучаясь и улучшая их производительность.

На втором этапе все клиенты отправляют изученные параметры модели на центральный сервер. Это происходит периодически, по установленному расписанию.

На третьем этапе сервер агрегирует изученные параметры при их получении. После агрегирования параметров центральная модель обновляется и снова предоставляется клиентам. Затем весь процесс повторяется.

Ассоциация преимущество иметь копию модели на различных устройствах заключается в том, что сетевые задержки уменьшаются или исключаются. Затраты, связанные с обменом данными с сервером, также исключаются. Другие преимущества федеративных методов обучения включают тот факт, что модели федеративного обучения сохраняют конфиденциальность, а ответы модели персонализируются для пользователя устройства.

Примеры федеративных моделей обучения включают механизмы рекомендаций, модели обнаружения мошенничества и медицинские модели. Механизмы рекомендаций по медиа, такие как Netflix или Amazon, можно обучать на данных, собранных от тысяч пользователей. Клиентские устройства будут обучать свои собственные отдельные модели, а центральная модель будет учиться делать более точные прогнозы, даже если отдельные точки данных будут уникальными для разных пользователей. Точно так же модели обнаружения мошенничества, используемые банками, могут быть обучены на шаблонах действий с множества различных устройств, и несколько разных банков могут сотрудничать для обучения общей модели. С точки зрения медицинской федеративной модели обучения, несколько больниц могли бы объединиться для обучения общей модели, которая могла бы распознавать потенциальные опухоли с помощью медицинских сканирований.

Типы федеративного обучения

Схемы федеративного обучения обычно попадают в один из двух разных классов: многопартийные системы и однопартийные системы. Односторонние федеративные системы обучения называются «односторонними», потому что только один объект отвечает за наблюдение за сбором и потоком данных на всех клиентских устройствах в обучающей сети. Модели, существующие на клиентских устройствах, обучаются на данных с одинаковой структурой, хотя точки данных обычно уникальны для разных пользователей и устройств.

В отличие от односторонних систем, многопартийные системы управляются двумя или более субъектами. Эти объекты сотрудничают для обучения общей модели, используя различные устройства и наборы данных, к которым у них есть доступ. Параметры и структуры данных обычно одинаковы для устройств, принадлежащих нескольким объектам, но они не обязательно должны быть одинаковыми. Вместо этого выполняется предварительная обработка для стандартизации входных данных модели. Нейтральный объект может использоваться для агрегирования весов, установленных устройствами, уникальными для разных объектов.

Фреймворки для федеративного обучения

Популярные фреймворки, используемые для федеративного обучения, включают Федеративный Tensorflow, Объединенный активатор технологий искусственного интеллекта (FATE)и ПиСифт. PySyft — это библиотека федеративного обучения с открытым исходным кодом, основанная на библиотеке глубокого обучения PyTorch. PySyft предназначен для обеспечения частного и безопасного глубокого обучения на серверах и агентах с использованием зашифрованных вычислений. Между тем, Tensorflow Federated — это еще одна платформа с открытым исходным кодом, построенная на платформе Google Tensorflow. Помимо предоставления пользователям возможности создавать свои собственные алгоритмы, Tensorflow Federated позволяет пользователям моделировать ряд включенных алгоритмов федеративного обучения на своих собственных моделях и данных. Наконец, FATE также является платформой с открытым исходным кодом, разработанной Webank AI, и она предназначена для обеспечения экосистемы Federated AI безопасной вычислительной средой.

Проблемы федеративного обучения

Поскольку федеративное обучение все еще находится в зачаточном состоянии, ряд проблем еще предстоит обсудить, чтобы он полностью реализовал свой потенциал. Возможности обучения периферийных устройств, маркировка и стандартизация данных, а также конвергенция моделей являются потенциальными препятствиями для федеративных подходов к обучению.

Вычислительные возможности периферийных устройств, когда речь идет о локальном обучении, необходимо учитывать при разработке подходов к федеративному обучению. Хотя большинство смартфонов, планшетов и других устройств, совместимых с IoT, способны обучать модели машинного обучения, это обычно снижает производительность устройства. Придется идти на компромиссы между точностью модели и производительностью устройства.

Маркировка и стандартизация данных — еще одна проблема, которую должны решить системы федеративного обучения. Модели контролируемого обучения требуют четко и последовательно помеченных обучающих данных, что может быть сложно сделать на многих клиентских устройствах, являющихся частью системы. По этой причине важно разработать конвейеры данных модели, которые автоматически применяют метки стандартизированным способом на основе событий и действий пользователя.

Время сходимости модели — еще одна проблема для федеративного обучения, поскольку федеративным моделям обучения обычно требуется больше времени для сходимости, чем моделям, обученным локально. Количество устройств, участвующих в обучении, добавляет элемент непредсказуемости обучению модели, поскольку проблемы с подключением, нерегулярные обновления и даже разное время использования приложений могут способствовать увеличению времени сходимости и снижению надежности. По этой причине решения для федеративного обучения обычно наиболее полезны, когда они обеспечивают значимые преимущества по сравнению с централизованным обучением модели, например, в случаях, когда наборы данных чрезвычайно велики и распределены.

Фото: Иеромеметроном через Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)