合成数据无法可靠保护隐私，研究人员称

法国和英国之间的一项新研究合作对合成数据能够解决机器学习领域面临的隐私、质量和可用性问题（以及其他问题）的日益增长的行业信心提出了质疑。

在解决的几个关键点中，作者断言，合成数据从真实数据中建模，保留了足够的真实信息，以至于无法提供可靠的保护免受推理和成员攻击，这些攻击试图去匿名化数据并将其重新关联到实际人员。

此外，容易受到此类攻击的人，包括那些有严重医疗条件或高医院账单的人（在医疗记录匿名化的情况下），通过他们的“异常”性质，很可能会通过这些技术被重新识别。

该论文观察到：

‘假设可以访问一个合成数据集，一个战略对手可以以高置信度推断原始数据中目标记录的存在。’

该论文还指出，差异私有合成数据，它模糊了个别记录的签名，确实保护了个人的隐私，但仅通过显著削弱使用它的信息检索系统的有用性。

如果有什么不同，研究人员观察到，差异私有方法——它们通过合成数据“间接”使用“真实”信息——使安全场景比其他情况下更糟糕：

‘[合成]数据集不提供有关这种权衡的任何透明度。无法预测什么数据特征将被保留，什么模式将被抑制。’

新的 论文，题为 合成数据——匿名化Groundhog Day，来自巴黎的École Polytechnique Fédérale de Lausanne（EPFL）和伦敦大学学院（UCL）的两位研究人员。

研究人员对现有的私有生成模型训练算法进行了测试，发现某些实现决策违反了框架中提供的正式隐私保证，从而使多样化的记录暴露于推理攻击之下。

作者提供了每个算法的修订版本，这可能有助于减轻这些暴露，并将代码作为 开源库 提供。他们声称，这将帮助研究人员评估合成数据的隐私收益，并有用地比较流行的匿名化方法。新的框架包含两个相关的隐私攻击方法，可以应用于任何生成模型训练算法。

合成数据

合成数据用于在各种场景中训练机器学习模型，包括缺乏全面信息的情况，可以通过虚假数据填充。例如，使用CGI生成的面部来提供“困难”或不常见的面部照片用于图像合成数据集，其中个人资料图像、锐角或不寻常的表情在源材料中很少见。

其他类型的CGI图像已被用于填充最终将在非合成数据上运行的数据集，例如包含 手 和 家具 的数据集。

在隐私保护方面，合成数据可以通过生成对抗网络（GAN）系统从真实数据中生成，该系统从真实数据中提取特征并创建类似的虚构记录，这些记录可能很好地推广到后来的（未见的，真实的）数据，但旨在模糊真实数据中的真实人员的细节。

方法

为了进行这项新研究，作者评估了五个生成模型训练算法的隐私收益。其中三个模型没有提供显式的隐私保护，而其他两个模型提供了差异隐私保证。这些表格模型被选中以代表广泛的架构。

被攻击的模型是 BayNet、PrivBay（PrivBayes/BayNet的衍生）、CTGAN、PATEGAN 和 IndHist。

模型的评估框架是作为一个Python库实现的，具有两个核心类——生成模型 和 隐私攻击。后者具有两个方面——成员推理对手和成员推理攻击。该框架还能够评估“清理”（即匿名化）数据和合成数据的隐私收益。

测试中使用的两个数据集是来自UCI机器学习存储库的 成人数据集 和来自德克萨斯州卫生服务部的 医院出院数据公共使用数据文件。研究人员使用的德克萨斯州数据集包含2013年患者记录的50,000条记录。

攻击和发现

该研究的一般目标是建立“关联性”（将真实数据与由其启发的合成数据重新关联）。研究中使用的攻击模型包括逻辑回归、随机森林和K最近邻分类器。

作者选择了两个目标组，分别由五个随机选择的记录组成，用于“少数群体”人口类别，因为这些记录最容易受到关联攻击。他们还选择了具有“罕见分类属性值”的记录，这些值位于属性的95％分位数之外。例如，高死亡风险、医院费用高和疾病严重程度相关的记录。

虽然该论文没有详细说明这一方面，但从可能的真实世界攻击者的角度来看，这些正是最有可能被成员推理和其他类型的患者记录外泄方法针对的“昂贵”或“高风险”患者。

针对公共参考信息训练了多个攻击模型，以开发针对十个目标的“影子模型”。结果表明，实验中（如前所述）有大量记录对针对它们的研究人员的关联攻击“高度易受攻击”。结果还发现，试验中的20％的所有目标从GAN方法生成的合成数据中获得的隐私收益为 零。

研究人员指出，结果取决于用于生成合成数据的方法、攻击向量和目标数据集的特征。报告发现，在许多情况下，通过合成数据方法有效地抑制身份的系统的有用性会降低。实际上，这样的系统的有用性和准确性在许多情况下可以成为它们容易受到重新识别攻击的直接指标。

研究人员得出结论：

‘如果一个合成数据集以高精度保留原始数据的特征，并因此保留了对其广告的用例的数据实用性，它同时也使对手能够提取有关个人的敏感信息。 ‘

‘通过我们评估的任何匿名化机制实现对隐私的高收益只能在发布的合成或清理版本的原始数据不携带原始数据中的个别记录的信号并有效地抑制其记录的情况下实现。 ‘