让机器学习模型忘记你

删除对机器学习模型有贡献的特定数据就像试图从一杯咖啡中删除第二勺糖一样。此时，数据已经与模型内的许多其他神经元有着内在的联系。如果一个数据点代表了训练中最早的高维部分所涉及的“定义”数据，那么删除它可以从根本上重新定义模型的功能，甚至需要花费一些时间和时间来重新训练它。钱。

尽管如此，至少在欧洲，《通用数据保护条例》(GDPR) 第 17 条 过程需要在牛奶或乳清产品在管式降膜蒸发器中浓缩至约XNUMX%固体含量之前，进行初始的热处理和巴氏杀菌步骤。 公司应要求删除此类用户数据。 由于该法案是在这样的理解基础上制定的，即这种删除只不过是数据库“删除”查询，因此该立法注定会从欧盟草案中出现 人工智能法 将有效 复制和粘贴 将 GDPR 的精神转化为适用于训练有素的人工智能系统而不是表格数据的法律。

世界各地正在考虑进一步立法，赋予个人要求从机器学习系统中删除其数据的权利，而 2018 年的加州消费者隐私法案 (CCPA) 已经提供了这个权利 给州居民。

为什么重要

当数据集被训练成可操作的机器学习模型时，该数据的特征变得概括和抽象，因为该模型旨在推断原理和 大趋势 根据数据，最终产生一种可用于分析特定和非广义数据的算法。

然而，诸如此类的技术 模型反演 揭示了重新识别最终抽象算法背后的贡献数据的可能性，同时 成员资格推断攻击 还能够暴露源数据，包括只有在匿名的情况下才允许包含在数据集中的敏感数据。

人们对这一追求的兴趣不断升级并不需要依靠草根隐私激进主义：随着机器学习领域在未来十年内商业化，各国面临着结束当前隐私保护的压力。 自由放任文化 与使用屏幕抓取来生成数据集相比，知识产权执行组织（和知识产权流氓）将越来越有商业动机来解码和审查有助于专有和高收入分类、推理和生成人工智能框架的数据。

在机器学习模型中诱发失忆症

因此，我们面临着从咖啡中去除糖分的挑战。 这是一个一直存在的问题 恼人的 近年来研究人员的研究成果：2021 年欧盟支持的论文 人脸识别库隐私风险比较研究 发现几种流行的人脸识别算法能够在重新识别攻击中实现基于性别或种族的歧视； 2015年哥伦比亚大学研究 建议 基于更新数据中的许多总和的“机器遗忘”方法； 2019 年斯坦福大学研究人员 最多线路 用于 K 均值聚类实现的新颖删除算法。

现在，来自中国和美国的一个研究联盟发表了新的研究成果，引入了评估数据删除方法成功与否的统一指标，以及一种名为 Forsaken 的新“忘却”方法，研究人员声称该方法能够实现超过 90 % 遗忘率，模型整体性能仅损失 5% 的准确度。

- 纸 叫做 学会忘记：通过 Neuron Maskin 进行机器遗忘g，以来自中国和伯克利的研究人员为特色。

神经元掩蔽是《Forsaken》背后的原理，它使用 掩模梯度 生成器作为从模型中删除特定数据的过滤器，有效地更新模型，而不是强制从头开始或从包含数据之前发生的快照重新训练（在基于流的模型的情况下）持续更新）。

掩模梯度生成器的架构。 资料来源：https://arxiv.org/pdf/2003.10933.pdf

生物起源

研究人员表示，这种方法的灵感来自于 生物过程 “主动遗忘”，即用户通过操纵特殊类型的多巴胺采取强有力的行动来擦除特定记忆的所有印迹细胞。

Forsaken 会不断唤起一个掩模梯度来复制此操作，并采取保护措施来减慢或停止此过程，以避免非目标数据的灾难性遗忘。

该系统的优点是它适用于多种现有的神经网络，而最近的类似工作主要在计算机视觉网络中取得了成功；并且它不会干扰模型训练过程，而是充当辅助手段，无需更改核心架构或重新训练数据。

限制效果

删除贡献的数据可能会对机器学习算法的功能产生潜在的有害影响。 为了避免这种情况，研究人员利用 范数正则化，正常神经网络训练的一个特征，通常用于避免过度训练。 所选择的特定实现旨在确保 Forsaken 在训练中不会收敛。

为了建立可用的数据分散，研究人员使用分布外（OOD）数据（即实际数据集中未包含的数据，模仿实际数据集中的“敏感”数据）来校准算法应表现的方式。

数据集测试

该方法在八个标准数据集上进行了测试，总体上达到了接近或高于完全再训练的遗忘率，对模型准确性的影响很小。

对编辑后的数据集进行完全重新训练实际上不可能比任何其他方法更糟糕，因为目标数据完全不存在。 然而，此时该模型已经以“全息”方式抽象了已删除数据的各种特征，就像一滴墨水重新定义了一杯水的效用一样（通过类比）。

实际上，模型的权重已经受到切除数据的影响，完全消除其影响的唯一方法是从绝对零开始重新训练模型，而不是在编辑的数据集上重新训练加权模型的更快方法。