合成数据不一定能可靠地保护隐私，研究人员声称

法国和英国之间的一项新研究合作对合成数据能够解决机器学习领域面临的隐私、质量和可用性问题（以及其他问题）这一日益增长的行业信心投下了怀疑的阴影。

在解决的几个关键点中，作者断言，从真实数据中构建的合成数据保留了足够的真实信息，以至于无法提供可靠的保护免受推断和成员攻击，这些攻击试图去匿名化数据并将其重新关联到实际的人。

此外，包括那些有严重医疗状况或高昂的医院账单（在医疗记录匿名化的情况下）的人在内的最容易受到此类攻击的人，通过他们的“异常”状况的性质，最有可能通过这些技术被重新识别。

该论文观察到：

‘假设可以访问合成数据集，战略对手可以以高置信度推断原始数据中目标记录的存在。’

该论文还指出，具有差异性隐私的合成数据，它模糊了个别记录的标志，确实保护了个人的隐私，但仅通过显著削弱使用它的信息检索系统的有用性。

如果有什么不同，研究人员观察到，具有差异性隐私的方法——通过合成数据“间接”使用“真实”信息——使安全场景变得比原本更糟糕：

‘[合成]数据集不提供有关这种权衡的任何透明度。无法预测哪些数据特征将被保留，哪些模式将被抑制。’

这篇新论文，题为合成数据——匿名化地平线，来自巴黎的École Polytechnique Fédérale de Lausanne（EPFL）的两位研究人员和伦敦大学学院（UCL）的 一位研究人员。

研究人员测试了现有的私有生成模型训练算法，并发现某些实现决策违反了框架中提供的正式隐私保证，从而使各种记录暴露于推断攻击之下。

作者提供了每个算法的修订版，以潜在地减轻这些暴露，并将代码作为开源库提供。他们声称，这将帮助研究人员评估合成数据的隐私收益，并有用地比较流行的匿名化方法。新框架包含两个相关的隐私攻击方法，可以应用于任何生成模型训练算法。

合成数据

合成数据用于在各种场景中训练机器学习模型，包括缺乏全面信息的情况下，可以通过替代数据填充。一个例子是使用CGI生成的面部来提供“困难”或不常见的面部照片用于图像合成数据集，其中个人资料图像、锐角或不寻常的表情在源材料中很少见。

其他类型的CGI图像已被用于填充最终将在非合成数据上运行的数据集，例如包含手和家具的数据集。

在隐私保护方面，合成数据可以通过生成对抗网络（GAN）系统从真实数据中生成，该系统从真实数据中提取特征，并创建类似的虚构记录，这些记录可能很好地概括到稍后（未见，真实）的数据，但旨在模糊真实数据中真实人物的细节。

方法论

为了进行这项新研究，作者评估了五个生成模型训练算法的隐私收益。其中三个模型没有提供显式的隐私保护，而另外两个具有差异性隐私保证。这些表格模型被选中以代表广泛的体系结构。

被攻击的模型是BayNet、PrivBay（PrivBayes/BayNet的派生）、CTGAN、PATEGAN和IndHist。

模型的评估框架是作为一个Python库实现的，包含两个核心类——生成模型和隐私攻击。后者具有两个方面——成员推断对手和成员推断攻击。该框架还可以评估“清理”（即匿名化）数据和合成数据的隐私收益。

在测试中使用的两个数据集是来自UCI机器学习存储库的成人数据集和来自德克萨斯州卫生服务部的医院出院数据公共使用数据文件。研究人员使用的德克萨斯州数据集版本包含2013年患者记录的50,000条记录样本。

攻击和发现

该研究的总体目标是建立“关联性”（将真实数据与由其启发的合成数据重新关联）。研究中使用的攻击模型包括逻辑回归、随机森林和K最近邻分类器。

作者选择了两个目标组，分别由五条随机选择的记录组成，用于“少数群体”类别，因为这些是最容易受到关联攻击的。他们还选择了具有“罕见分类属性值”的记录，这些值位于该属性的95%分位数之外。例如，相关高死亡风险、高总医院费用和疾病严重程度的记录。

虽然该论文没有对这一方面进行详细说明，但从可能的真实世界攻击者的角度来看，这些正是最有可能被会员推断和其他类型的患者记录外泄方法针对的“昂贵”或“高风险”患者。

针对公共参考信息训练了多个攻击模型，以开发针对十个目标的“影子模型”。结果表明，实验（如前所述）中的许多记录“高度容易”受到针对它们的研究人员的关联攻击。

研究人员指出，结果会根据用于生成合成数据的方法、攻击向量和目标数据集的特征而有所不同。报告发现，试验中的20%的所有目标从GAN方法生成的合成数据中获得的隐私收益为零。

研究人员得出结论：

‘如果合成数据集以高精度保留原始数据的特征，并因此保留数据的有用性用于其宣传的用例，它同时也使对手能够提取有关个人的敏感信息。 ‘

‘通过我们评估的任何匿名化机制实现高隐私收益只能实现，如果原始数据的发布合成或清理版本不携带原始数据中的个别记录的信号，并且实际上抑制了其记录。’