让机器学习模型忘记你

删除机器学习模型中特定数据就像试图从一杯咖啡中去除第二勺糖一样。数据已经与模型内部的许多其他神经元紧密相连。如果数据点代表了“定义”数据，并参与了训练的早期、高维度部分，那么删除它可能会根本改变模型的功能，甚至需要重新训练，这将花费时间和金钱。

然而，在欧洲至少，通用数据保护条例（GDPR）的第17条 要求 公司在请求时删除此类用户数据。由于该法案是在认为此删除只是数据库“删除”查询的基础上制定的，因此拟议的欧盟 人工智能法案 的立法将有效地 复制和粘贴 GDPR 的精神到适用于训练的AI系统而不是表格数据的法律中。

世界各地正在考虑进一步的立法，以赋予个人从机器学习系统中删除其数据的权利，而2018年的加利福尼亚消费者隐私法（CCPA） 已经提供了这一权利 给州居民。

为什么重要

当数据集被训练成可执行的机器学习模型时，数据的特征变得概括和抽象，因为模型的设计是为了从数据中推断原则和 广泛的趋势，最终产生一个有用的算法来分析特定的和非概括的数据。

然而，像 模型逆转 这样的技术已经揭示了重新识别底层数据的可能性，而 成员推理攻击 也能够暴露源数据，包括可能只被允许在匿名的情况下包含在数据集中敏感数据。

对这一追求的兴趣增加不需要依赖草根隐私活动：随着机器学习行业在接下来的十年中商业化，各国将面临压力，结束当前的 自由放任文化 对于数据集生成的屏幕抓取的使用，将会有越来越多的商业激励让知识产权执行组织（和知识产权流氓）解码和审查贡献于专有和高收益分类、推理和生成AI框架的数据。

在机器学习模型中诱导健忘

因此，我们面临着从咖啡中去除糖的挑战。这是一个困扰研究人员多年的问题：2021年，欧盟支持的论文 面部识别库的隐私风险比较研究 发现，几种流行的面部识别算法能够使基于性别或种族的重新识别攻击成为可能；2015年，来自哥伦比亚大学的研究 提出了 一种基于更新数据中某些总和的“机器忘记”方法；2019年，斯坦福研究人员 提出了 一种针对K-means聚类实现的新型删除算法。

现在，来自中国和美国的研究团队发表了新的工作，介绍了一种统一的度量标准来评估数据删除方法的成功率，以及一种新的“忘记”方法，称为Forsaken，研究人员声称它能够实现超过90%的忘记率，只有5%的准确率损失。

论文 叫做 学会忘记：通过神经元屏蔽的机器忘记，并且其中包括来自中国和伯克利的研究人员。

神经元屏蔽，即Forsaken背后的原理，使用 掩码梯度 生成器作为从模型中删除特定数据的过滤器，有效地更新模型，而不是强制重新训练，或者从包含数据之前的快照重新训练（在持续更新的流式模型的情况下）。

掩码梯度生成器的架构。 来源：https://arxiv.org/pdf/2003.10933.pdf

生物学起源

研究人员表示，这种方法的灵感来自于“主动忘记”的 生物过程，在这种过程中，用户采取大胆的行动来擦除特定记忆的所有记忆细胞，通过操纵一种特殊的多巴胺。

Forsaken不断地调用一个掩码梯度，复制这一过程，并具有防止灾难性遗忘非目标数据的保障措施。

该系统的优势在于，它适用于许多现有的神经网络，而最近的类似工作主要是在计算机视觉网络中取得了成功；并且它不会干扰模型训练过程，而是作为一个附加组件，不需要更改核心架构或重新训练数据。

限制效果

删除贡献数据可能会对机器学习算法的功能产生潜在的有害影响。为了避免这种情况，研究人员利用了 范数正则化，这是正常神经网络训练中常用的一个特性，用于避免过度训练。所选择的特定实现旨在确保Forsaken不会在训练中失败。

为了建立可用的数据分散，研究人员使用了分布在数据集之外的数据（即，不包含在实际数据集中的数据，模拟“敏感”数据），来校准算法的行为方式。

测试数据集

该方法在八个标准数据集上进行了测试，一般来说，忘记率接近或高于完全重新训练，并且对模型准确率的影响很小。

似乎不可能完全重新训练编辑后的数据集实际上会比其他任何方法表现更差，因为目标数据完全不存在。然而，模型已经以“全息”的方式抽象了删除数据的各种特征，就像（通过类比）一滴墨水重新定义了水玻璃的用途一样。

实际上，模型的权重已经受到被删除数据的影响，要完全消除其影响，唯一的方法是从零开始重新训练模型，而不是更快的方法，即在编辑后的数据集上重新训练加权模型。