Parker Charlotte

[ditihekhatun16]

去的几年里人们越来越关注开发差分隐私机器学习算法。已成为工业界多种实际部署的基础甚至被美国人口普查局采用因为它能够理解系统和算法的隐私保证。的基本假设是改变单个用户对算法的贡献不应显着改变其输出分布。在标准监督学习设置中模型经过训练在给定示例对训练集的情况下对每个输入的标签进行预测。就深度学习而言之前的工作引入了训练框架该框架已集成到和中。通过向随机梯度下降训练算法添加噪声来保护每个示例对输入标签的隐私。然而尽管付出了巨大的努力在大多数情况下使用训练的模型的准确性仍然明显低于非私有模型。

算法包括隐私预算ε它量化每个用户最坏情况下的隐私损失。具体来说ε反映了如果将训练集的任何示例替换为任意不同的示例算法的任何特定输出的概率会发生多大的变化。因此较小的ε对 格鲁吉亚电话号码列表 应于更好的隐私性因为算法对单个示例的变化更加漠不关心。然而由于较小的ε往往会更大地损害模型效用因此在深度学习应用中将ε考虑到并不罕见。值得注意的是对于广泛使用的多类图像分类数据集ε的模型报告的最高准确度未经预训练为这一结果依赖于手工制作的视觉特征。相比之下具有学习特征的非私有场景ε∞在使用现代神经网络架构时已显示出可实现>的准确度。这种性能差距仍然是许多实际应用程序采用的障碍。



此外尽管最近取得了进展但由于收敛速度较慢以及需要计算每个示例梯度的范数通常会增加计算和内存开销。在上提出的具有标签差分隐私的深度学习中我们考虑了一种更轻松但重要的特殊情况称为标签差分隐私其中我们假设输入输入输入是公共的并且仅需要保护训练标签标签标签的隐私。有了这种宽松的保证我们可以设计新颖的算法利用对标签的事先理解来提高模型的实用性。我们证明在数据集上的准确率比高。我们在多个任务中的结果证实可以显着缩小私有模型与其非私有模型之间的性能差距从而减轻现实世界应用中的挑战。我们还提出了一种使用训练深度神经网络的多阶段算法。
_________________
格鲁吉亚电话号码列表

[Reklama]