WWW2023 | 系统性照片源头可信的证明图式

互联网上存在海量的照片数据，当涉及版权保护与交易、商品溯源、司法取证、身份认证等场景时，往往需要追溯所涉照片的源头拍摄设备，以验证该照片的拍摄设备、拍摄者账号，继而确定照片所有权、证据可靠性、账号权限等问题。

通过技术手段追溯照片的源头拍摄设备，防止第三方伪造攻击，以及一定程度的设备主人造假，越来越成为各类相关业务产品所面临的关键技术问题。

蚂蚁集团数字科技线AIoT技术团队与密码算法团队的合作论文被WWW2023（The Web Conference）录用。该论文针对蚂蚁链应用场景，将摄像头指纹与零知识证明等密码技术结合，提出了一套系统性照片源头可信的证明图式，基于神经网络的指纹提取技术大幅刷新了业界摄像头指纹比对的最佳效果。

Web Photo  Source Identification based on Neural Enhanced Camera Fingerprint

本文提出一种照片拍摄的生成与验证方法，基于零知识证明策略，采用证明的图式，在每次拍摄新的照片后将指纹提取与比对的主要过程通过零知识证明电路描述后生成证明文件，在保证信息隐私的同时也提供给了验证者（以及可能的第三方独立审计者）更加丰富的证明语义，增加了设备应用非诚实情况下作假的复杂度和成本。

另外，本文提出了另一种相对应的照片生成与验证方案，即基于模糊提取及数字签名的授权策略，无论是证明策略还是授权策略，都提供了高安全水位的照片源头拍摄设备追溯方案。

本文的另一贡献是提出了一个新的神经网络架构，用于提取单张照片中的摄像头指纹，并在上述两个密码方案中结合使用。在公开测试集上的表现，与去噪网络等方法相比，我们提出的神经网络将识别错误率从40.62%大幅降低至2.345%。

最后，本文还提出了三个指纹优化模块(Spatially Splitting,Block Filtering and Burst Integration)，通过与神经网络及零知识证明等密码方案的深度融合，进一步提升了算法效果和安全水位。

图 1照片源头拍摄设备追溯的技术框架（包含注册、生成、验证三个阶段）及应用场景举例

为了训练单张照片指纹提取的神经网络，我们使用基于离散小波变换及极大似然估计的指纹提取算法，对每个摄像头拍摄的40张照片进行指纹提取，作为pseudo GT。我们采用对比学习策略，使用三元组(𝐼𝑞, 𝐼𝑝, 𝐼𝑛)方式组织训练样本对，其中𝐼𝑞表示某摄像拍摄的查询照片、𝐼𝑝表示同一个摄像头拍摄的其他照片（正样本）、𝐼𝑛表示其他摄像头拍摄的照片（负样本）。我们设计了一个复合的损失函数L = L1 + L2，具体定义如下：

其中，DN表示去噪骨干网络 (Denoising Backbone Network) ；d[ , ]表示欧氏距离或余弦相似度等度量函数；γ是误差参数；𝔉 表示2D离散傅里叶变换；K-hat是GT。具体网络结构如下图所示。

图 2摄像头指纹提取网络

为了进一步提高算法效果和安全水位，我们提出了三个指纹优化模块 (Spatially Splitting, Block Filtering and Burst Integration)。

• Spatially Splitting：将RAW格式照片以行序和列序的奇偶关系拆分为两张照片，奇照片 (private part) 用于指纹提取，偶照片 (public part) 用于公开传播（可用于生成传播下游的JPEG等格式照片），这样更好地阻止了信息泄露。

  
  

• Block Filtering：将照片以网格形式分割为一些小块（例如64 X 64），并计算每个小块的平均亮度，根据归一化后的亮度值对该块指纹区域的对应位置进行加权或直接做 0/1 Mask，可以获得更好的算法效果。

  
  

• Burst Integration：基于拍摄设备的一键连拍功能（目前越来越多的设备支持该功能），将连拍的照片进行合成，可以取得更好的算法效果。

  
  

图 3三个指纹优化模块

我们提出了两种照片源头拍摄设备识别的密码学方案：（1）基于模糊提取及数字签名的授权图式；

（2）基于零知识证明的证明图式。

这两个方案都包含注册、生成、验证三个阶段。注册阶段将设备指纹进行提取后生成公钥/Hash值；生成阶段是指后续每张照片在拍摄同时，对该照片提取指纹并生成数字签名/证明文件，以建立待发布照片与指纹之间的连接，之后删除该指纹；验证阶段使用公钥/Hash值验证照片及其数字签名/证明文件。

• 模糊提取及数字签名方案：采用随机投影算法 (Random Projection) 进行指纹的编码，之后采用极化码 (Polar Code) 进行模糊提取和比对。

• 零知识证明方案：在每次拍摄新的照片后，将指纹提取与比对的主要过程通过零知识证明电路描述后生成证明文件。在保证信息隐私的同时也提供给了验证者（以及可能的第三方独立审计者）更加丰富的证明语义，增加了设备应用非诚实情况下作假的复杂度和成本。

两种密码学方案的具体流程如下图所示。在论文中，我们对两种方案进行了形式化安全分析，并在理论上分别证明了攻击成功的概率上界。

图 4 两种密码学方案：（a）模糊提取及数字签名；（b）零知识证明

实验中，我们使用了一个包含72个摄像头拍摄的15万张RAW格式照片数据集（均为iPhone拍摄）。我们随机选取其中15个摄像头拍摄的1,665张照片作为测试集，其余数据作为训练集。下表显示了我们训练的指纹提取网络 (Ours) 相比传统离散小波变换的单张照片提取结果(PRNU)、去噪网络 (Noiseprint) 的效果提升。

表 1 指纹提取网络与传统离散小波变换、去噪网络的效果比对

在下图中，我们通过绘制15个测试摄像头的混淆矩阵的平均相关性得分，来洞察不同算法的辨别能力，可以看出我们提出的指纹提取网络具有较高的设备辨别能力。

图 5基于混淆矩阵的算法效果洞察

以下是对网络中的损失函数、优化模块等进行消融实验的结果，可以看出每个部件或模块都有一定的效果增强作用。

表 2 指纹提取网络的消融实验

我们针对照片的源头拍摄设备追溯问题，基于摄像头指纹及密码学技术，设计一套涵盖设备注册、照片及证明生成、照片与设备相关性验证三个阶段的完整方案，能够防止第三方的伪造攻击，并一定程度上提高设备所有者作假的成本和难度。

具体来说，我们提出了一个指纹提取神经网络，相比传统方法具有较高的设备辨别能力。同时我们也提出来三个指纹优化模块，进一步优化了算法效果，并提高了安全水位。最后，我们设计了两个密码学方案，即基于模糊提取及数字签名的方案，以及基于零知识证明的方案，通过制定注册、生成、验证的三阶段策略，实现高效、可靠、安全的照片源头拍摄设备追溯系统。

论文链接：

https://arxiv.org/abs/2302.09228

开源链接：

https://github.com/PhotoNecf/PhotoNecf

延伸阅读：