一种用于与车载网络中的时间敏感网络集成的确定性数据分发服务中间件

《Future Internet》：A Deterministic Data Distribution Service Middleware for Integrating with Time-Sensitive Networking in In-Vehicle Networks

　　

在这项工作中，研究人员首次使用新开发的针对Cheon–Kim–Kim–Song（CKKS）方案的功能引导（FBT）来同态评估加密神经网络。FBT相比先前用于非线型激活函数同态评估的方法的优势在于，它将引导（bootstrapping）和同态函数评估结合在了一起。为此，研究人员扩展了针对CKKS的FBT，使其可应用于实数输入值，方法是将一阶埃尔米特（Hermite）插值函数不仅在其插值点上，而且在[0,1]整个域上进行评估。对于sigmoid函数，为了尊重CKKS中负值的内部表示以及三角函数插值的收敛行为，研究人员将偏移和反射后的sigmoid函数进行周期性且连续的拼接作为FBT的输入函数。实验结果表明，在一个包含100个隐藏神经元的全连接神经网络上，对MNIST测试集以128位（bit）安全级别进行评估时，准确率达到97.33%，相对于埃尔米特明文对应版本的相对损失为0%。当前实现每张图像大约需要1.66秒（摊销时间）和约201 GB RAM。

**论文解读：基于CKKS功能引导的同态神经网络推理研究**

**研究背景与问题**
同态加密（Homomorphic Encryption, HE）是密码学领域的一种技术，允许在不解密的情况下对加密数据进行计算。其中，Cheon–Kim–Kim–Song（CKKS）方案支持加密实数向量，并具备SIMD（单指令多数据流）打包能力，因此被广泛用于隐私保护机器学习（Privacy-Preserving Machine Learning, PPML）。然而，在CKKS中评估神经网络的关键挑战在于非线型激活函数（如sigmoid、ReLU）的处理。传统方法通常采用低次多项式逼近，这会引入逼近误差、消耗乘法深度，且深层网络需要额外的引导（bootstrapping）操作来刷新密文噪声。此外，多项式逼近不适合与引导结合以实现功能引导（Functional Bootstrapping, FBT），因为多项式不具有周期性。近期，功能引导技术被引入CKKS，可在引导过程中直接评估任意函数，但最初仅支持整数输入。因此，如何将CKKS-FBT扩展到实数输入，并有效评估激活函数，是提升PPML效率的重要研究方向。

**研究内容与结论**
本研究首次将针对CKKS的功能引导（FBT）用于同态评估加密的神经网络。研究人员构建了一个连续且p-周期的输入函数f，该函数近似sigmoid并满足CKKS内部对负值的表示（函数域[0,p]对应正数，(p,2p]对应负数）。通过将f作为FBT的输入函数，并利用三角函数插值多项式在引导过程中同时完成噪声刷新和函数评估。实验基于两个全连接神经网络（隐藏层神经元数分别为30和100），在MNIST测试集上以128-bit安全级别进行。结果表明：100神经元架构加密模型的准确率达到97.33%，相对损失0%（相对于sigmoid明文模型）；30神经元架构准确率95.71%，相对损失0.48%。所有模型与明文埃尔米特基线模型的一致性比例超过99%。运行时方面，128-bit安全下30神经元模型每张图像摊销时间1.52秒，100神经元模型为1.66秒，但内存需求约为201 GB。与多项式sigmoid逼近相比，FBT-CKKS在30神经元架构上准确率更高（98.77% vs 94.85%），且多项式逼近因系数小在加密域更易截断。这项研究证明了CKKS-FBT用于同态推理的可行性，为PPML提供了新方法，论文发表在《Future Internet》。

**主要技术方法**（不超过250字）
研究人员使用以下关键技术：1. CKKS同态加密方案（支持实数向量加密和SIMD打包，基于Ring Learning with Errors（RLWE）困难问题）；2. 功能引导（FBT）方法，通过三角函数插值多项式在引导过程中评估函数，同时刷新噪声；3. 构造连续p-周期函数f来近似sigmoid，处理CKKS内部负值表示（消息区间[0,p]对应正数，(p,2p]对应负数）；4. 使用sec-ckks库（OpenFHE分支）实现FBT for CKKS，并采用FIXEDMANUAL缩放模式和SPARSE_TENARY密钥分布；5. 明文神经网络在MNIST数据集（手写数字，28×28图像，0-9标签）上训练，权重和偏置用于加密网络；6. 线性层采用基于广义对角线的明文矩阵-密文向量乘法，并行化旋转和乘法；7. FBT参数p根据输入权重矩阵L₁范数确定（30和100神经元架构均设为14）。样本来源：MNIST训练集（60000张图像）和测试集（10000张图像）。

**研究结果**

**6.1 准确率（Accuracy）**
通过对比明文sigmoid模型、明文埃尔米特模型和加密FBT-CKKS模型在MNIST测试集上的分类准确率，得出：30神经元架构加密准确率95.71%（相对损失0.48%），60神经元架构96.69%（相对损失0.32%），100神经元架构97.33%（相对损失0%）。所有加密模型与明文埃尔米特模型的一致性比例（两类模型预测相同标签的占比）均高于99%。少量差异源于同态操作的错误增长，部分差异恰好给出正确预测（随机性所致）。

**6.2 摊销运行时与内存消耗（Amortised Runtime and Memory Consumption）**
通过测量80-bit和128-bit安全级别下加密推理的运行时和内存，得出：30神经元模型128-bit安全时每图像摊销时间1.52秒，内存约201 GB；100神经元模型相同安全级别下摊销时间1.66秒，内存约201 GB。与80-bit相比，从80-bit到128-bit，运行时小幅增加（30神经元从1.38秒增至1.52秒），但内存从95.84 GB增至201 GB，体现了安全-性能权衡。高环维度（2¹⁶）支持同时处理83张图像（SIMD打包）。

**6.3 FBT与多项式sigmoid逼近的对比（FBT Versus Polynomial Sigmoid Approximation）**
在30神经元架构上，研究人员将128-bit FBT-CKKS与度数为9的多项式sigmoid逼近（在明文域最好精度94.85%）进行对比。在加密域，对前100张MNIST测试图像，FBT-CKKS准确率98.77%，多项式基线94.85%。多项式逼近精度低的原因是预激活值范围广，低次多项式无法在整个区间准确逼近sigmoid；且多项式系数过小在加密域易被截断。虽然多项式深度较小（14 vs 23），但FBT-CKKS在深层网络中因能刷新密文而更具潜力。

**讨论与结论**
讨论部分指出，所有加密模型的高绝对精度主要源于埃尔米特明文模型的高正确性，轻微损失来自同态运算（矩阵乘法旋转、密钥切换以及FBT中EvalExp的高乘法深度电路）导致的错误增长。30和60神经元架构相对损失略高于100神经元架构，归因于不同权重矩阵的误差累积。与文献[12]对比，本工作加密模型绝对精度更高，且相对损失来自同态错误而非先验离散化损失。运行时方面，80-bit下100神经元架构优于[12]，但内存需求大。结论部分总结：本研究首次将CKKS-FBT用于全连接神经网络的同态推理，通过扩展FBT到实数输入（利用三角函数插值），并构造p-周期连续函数f近似sigmoid，实现了与明文几乎相同的精度（100神经元架构相对损失0%）。这为CKKS-FBT在隐私保护机器学习中的应用开辟了可能性，未来可扩展到其他激活函数（如ReLU）及更复杂架构（如ResNet-20）。