【论文】物联网环境中基于深度学习的差分隐私预算优化方法

戳上面的蓝字关注我们哦！

物联网环境中基于深度学习的差分隐私预算优化方法

罗丹，徐茹枝，关志涛

华北电力大学控制与计算机工程学院，北京 102206

摘要:

关键词：物联网；差分隐私；正则化；深度学习；隐私预算

中图分类号：TP391

文献标志码：A

doi：10.11959/j.issn.2096−3750.2022.00264

罗丹, 徐茹枝, 关志涛. 物联网环境中基于深度学习的差分隐私预算优化方法[J]. 物联网学报, 2022, 6(2): 65-76. 

LUO D, XU R Z, GUAN Z T. Differential privacy budget optimization based on deep learning in IoT[J]. Chinese Journal on Internet of Things, 2022, 6(2): 65-76. 

研究意义

为有效处理物联网应用所带来的海量数据，深度学习被广泛应用在物联网场景下的一些模型训练中，这也带来一些隐私泄露的隐患。在模型训练过程中，模型参数信息可能会遭到推理攻击、模型逆向攻击等安全威胁，进而输入模型中的原始数据可以被反推出来，造成隐私信息泄露。针对上述问题，本文考虑保护模型训练过程的参数信息。常用的深度学习隐私保护方案主要基于差分隐私或同态加密方法。同态加密不会对模型的精度造成影响，但加密会产生密文膨胀的问题，在传输过程中带来较大的通信开销，不适用于物联网场景。本文采用差分隐私方法，通过损失微小的精度实现对模型的隐私保护。如何实现模型精度和隐私保护这二者之间的平衡，是需要考虑的问题。差分隐私方法所添加的扰动大小和隐私预算直接相关，本文通过合理分配隐私预算来调整噪声大小，实现用户隐私保护，同时保证模型的可用性。

本文工作

本文引入差分隐私的方法，并合理分配隐私预算以适应模型参数更精细的变化。同时，为了限制噪声的大小，引入了正则化的方法，增强了模型的泛化能力，加快了模型的收敛。最后在数据集上进行实验验证，结果表明，本文方法表现更优，且随着迭代次数的增加，该方法实现了模型隐私和可用性的平衡。

实验结果

为了评估基于梯度加噪方案的有效性，实验使用CIFAR-10数据集和MNIST数据集进行实验验证。

CIFAR-10数据集由10个类共60 000张32 px× 32 px彩色图像组成，每个类有6 000张图像。CIFAR-10数据集由50 000个训练图像和10 000个测试图像组成。其分为5个训练批次和一个测试批次，每个批次数量相等。

MNIST数据集是机器学习领域中非常经典的一个数据集，包含60 000个训练样本和10 000个测试样本，每个样本图片均为 28 px×28 px的灰度手写数字图片。

图2 神经网络架构及参数

（1）测试固定隐私预算下，不同迭代次数准确率的变化（与平均分配隐私预算策略和不具有隐私保护的方案进行对比）

图4 模型迭代100、200、300、600、2 400、3 600次准确率变化对比

（2）测试固定隐私预算下，不同迭代次数对准确率的影响（为了进一步验证模型的性能，本文将Gong等提到的隐私增强策略的第一种策略，图例中标记为"pri-enhanced"以及Wang提到的隐私预算分配的均分策略，图例中标记为"partition"，作为基准模型进行对比。）

图5 固定隐私预算下，不同迭代次数对准确率的影响

（3）测试固定迭代次数的情况下，不同隐私预算对模型准确率的影响（迭代次数为100）

图6 迭代次数为100，不同隐私预算对模型准确率的影响

（4）测试固定迭代次数的情况下，不同隐私预算对模型准确率的影响（迭代次数为600）

图7 迭代次数为600，不同隐私预算对模型准确率的影响

往期内容链接

1.《物联网学报》2022年第1期目次&摘要

2.《物联网学报》2022年第2期目次&摘要

3.《物联网学报》2022年第3期目次&摘要

联系我们:

Tel：010-81055691

E-mail：wlwxb@bjxintong.com.cn

Scopus收录

中国通信学会推荐中文科技期刊（T1）

中国计算机学会推荐中文科技期刊（T2）

Ulrichsweb收录

期刊主页

http://www.infocomm-journal.com/wlw/CN/2096-3750/home.shtml

在线投稿

http://cbpt.infocomm-journal.com/Journalx_wlw/authorLogOn.action

长按或扫描二维码关注我们，全部文章均可免费在线阅读