AI 101
什么是联邦学习？
什么是联邦学习？
训练人工智能模型的传统方法涉及设置服务器，通常通过使用基于云的计算平台来对模型进行数据训练。然而，在过去几年中，出现了另一种模型创建形式，称为联邦学习。 联合学习 将机器学习模型引入数据源，而不是将数据引入模型。联合学习将多个计算设备连接到一个去中心化系统中，允许收集数据的各个设备协助训练模型。
在联邦学习系统中，属于学习网络一部分的各种设备均在设备上拥有模型的副本。 不同的设备/客户端 训练他们自己的模型副本 使用客户端的本地数据，然后将来自各个模型的参数/权重发送到主设备或服务器，该主设备或服务器聚合参数并更新全局模型。 然后可以重复该训练过程，直到达到所需的准确度。 简而言之，联邦学习背后的想法是，设备之间或各方之间不会传输任何训练数据，只有与模型相关的更新。
联邦学习可以分为三个不同的步骤或阶段。 联邦学习通常从充当基线的通用模型开始，并在中央服务器上进行训练。 第一步，将此通用模型发送给应用程序的客户端。 然后，这些本地副本会根据客户端系统生成的数据进行训练，学习并提高其性能。
第二步，客户端将学习到的模型参数全部发送到中央服务器。 这种情况按照设定的时间表定期发生。
第三步，服务器在收到学习到的参数时将其聚合。 参数聚合后，中心模型将被更新并再次与客户共享。 然后重复整个过程。
拥有副本的好处 该模型在各种设备上的特点是网络延迟减少或消除。 与服务器共享数据相关的成本也被消除。 联邦学习方法的其他好处包括联邦学习模型可以保护隐私，并且模型响应可以针对设备用户进行个性化。
联邦学习模型的示例包括推荐引擎、欺诈检测模型和医疗模型。 Netflix 或亚马逊使用的媒体推荐引擎可以根据从数千名用户收集的数据进行训练。 客户端设备将训练自己的单独模型，而中央模型将学习做出更好的预测，即使各个数据点对于不同用户来说是唯一的。 同样，银行使用的欺诈检测模型可以根据来自许多不同设备的活动模式进行训练，并且少数不同的银行可以合作训练一个通用模型。 在医疗联合学习模型方面，多家医院可以联手训练一个通用模型，通过医学扫描识别潜在的肿瘤。
联邦学习的类型
联邦学习模式 通常属于两个不同类别之一：多方制度和单方制度。 单方联合学习系统被称为“单方”，因为只有一个实体负责监督学习网络中所有客户端设备的数据捕获和流动。 客户端设备上存在的模型是根据具有相同结构的数据进行训练的，尽管数据点通常对于各种用户和设备来说是唯一的。
与单方系统相比，多方系统由两个或多个实体管理。 这些实体利用他们有权访问的各种设备和数据集合作训练共享模型。 属于多个实体的设备之间的参数和数据结构通常是相似的，但它们不必完全相同。 相反，进行预处理是为了标准化模型的输入。 可以采用中立实体来聚合由不同实体特有的设备建立的权重。
联邦学习框架
用于联邦学习的流行框架包括 TensorFlow 联合, 联合人工智能技术推动者 (FATE)及 pysyft。 PySyft 是一个基于深度学习库 PyTorch 的开源联邦学习库。 PySyft 旨在使用加密计算确保跨服务器和代理的私密、安全的深度学习。 同时，Tensorflow Federated 是另一个基于 Google Tensorflow 平台构建的开源框架。 除了允许用户创建自己的算法之外，Tensorflow Federated 还允许用户在自己的模型和数据上模拟许多包含的联邦学习算法。 最后，FATE也是微众银行AI设计的开源框架，旨在为Federated AI生态系统提供安全的计算框架。
联邦学习的挑战
由于联邦学习仍处于起步阶段， 一些挑战 仍需进行谈判才能充分发挥其潜力。 边缘设备的训练能力、数据标记和标准化以及模型收敛是联邦学习方法的潜在障碍。
在设计联邦学习方法时，需要考虑边缘设备在本地训练时的计算能力。 虽然大多数智能手机、平板电脑和其他物联网兼容设备都能够训练机器学习模型，但这通常会影响设备的性能。 必须在模型精度和设备性能之间做出妥协。
标记和标准化数据是联邦学习系统必须克服的另一个挑战。 监督学习模型需要清晰一致地标记的训练数据，这在系统中的许多客户端设备上很难做到。 因此，开发基于事件和用户操作以标准化方式自动应用标签的模型数据管道非常重要。
模型收敛时间是联邦学习的另一个挑战，因为联邦学习模型通常比本地训练的模型需要更长的时间才能收敛。 训练中涉及的设备数量增加了模型训练的不可预测性，因为连接问题、不规则更新，甚至不同的应用程序使用时间都可能导致收敛时间增加和可靠性降低。 因此，当联邦学习解决方案比集中训练模型具有有意义的优势时（例如数据集非常大且分布的情况），它们通常是最有用的。
照片：Jeromemetronome，来自 Wikimedia Commons，CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)
