探索基于SLM的光学系统中并行处理的可扩展性

《Optics & Laser Technology》：Exploring the scalability of parallel processing in SLM-based optical systems

　　M.G. Damaceno | A. Mucherino | R. Medeiros de Araújo | P.H. Souto Ribeiro | N. Rubiano da Silva
巴西圣卡塔琳娜联邦大学物理系，邮编88040-900，弗洛里亚诺波利斯，SC

摘要
近年来，人们对光学处理器的兴趣日益增加，因为它们是电子处理器的更高效替代品，这一趋势受到实时数据处理需求增长的推动。为此，我们通过实验研究了一种利用空间光调制器在光场的横波前编码信息的光学处理方案。我们的目标是了解技术限制如何阻碍计算并行性。特别是，我们实现了一个用于二进制矩阵的XOR逻辑门。通过分析不断增加尺寸的矩阵（最大达到300×300元素）之间的光学操作错误，我们研究了系统的比特容量以及信息冗余的作用。我们发现最多可以并行准确地处理5×10^4比特的数据。为了进一步证明系统的稳健性，我们成功地使用一次性密码协议对164×164元素的矩阵进行了加密和解密。我们的发现为基于现成光学元件的高维矩阵光学处理器的开发提供了支持。

1. 引言
随着卷积神经网络（CNN）的兴起以及机器学习相关复杂工作负载的增加，对大规模并行处理的需求显著增加。这些复杂的算法需要大规模的矩阵乘法和卷积运算，将计算能力的边界推向了新的高度[1]、[2]、[3]、[4]、[5]。传统的电子处理器在扩展这些运算时会遇到功耗瓶颈[6]、[7]、[8]。相比之下，光学架构通过空间、光谱和偏振自由度固有地支持并行性，从而在吞吐量和延迟方面提供了潜在的数十倍提升[2]、[9]、[10]、[11]、[12]。最近的演示展示了通过在光的横波前编码信息来实现的大规模并行光处理的潜力。数字微镜设备（DMD）能够在单一步骤中完成大规模卷积运算，达到约1000×1000矩阵的规模，延迟在100微秒范围内，传输速率为每秒拍字节级别[13]。同样，使用空间光调制器（SLM）和飞秒激光束的全息复用也实现了大规模光束并行化，尽管最大光束数量最终受到SLM像素数量和衍射限制参数的约束[14]。虽然DMD在数十kHz的频率下提供高速调制[15]、[16]，但基于液晶的SLM的刷新率低于120Hz。另一方面，SLM更具多功能性，能够进行连续的相位调制，而DMD作为二进制幅度设备，调制深度较低，衍射效率也较低[17]。

在这样的背景下，SLM仍然是可编程光计算中最灵活的设备之一，因为它们能够重新配置波前[18]、[19]。然而，近年来使用SLM实现的大规模并行性相比基于DMD的系统探索得较少，部分原因是它们的刷新率较低[20]。少数研究SLM并行性的工作强调，同时编码的变量数量从根本上受到像素大小和光学对准不完美的限制[21]。例如，Ju等人（2023年）展示了一种基于自由空间光学和SLM的可扩展光学计算机。尽管该架构理论上支持每秒最多10^19次乘加运算（MAC/s），但由于像素刷新限制和光学缺陷，实验实现的性能仅约为2 MAC/s[22]。此外，Hengeveld等人（2021年）的理论框架预测，利用光的空间自由度，基于SLM的架构可以实现大规模矩阵运算，理论上几乎可以达到10^7 MAC/s，前提是仅受像素数量和刷新率的限制。

为了弥合这些理论预测与实验可实现范围之间的差距，我们需要系统地研究可以从单个光波前可靠地编码和检索多少信息。为此，我们通过将二进制信息编码到光的横向空间自由度中来开展实验研究。在实现这种编码的可能策略中，光学XOR逻辑门提供了一种特别简单且研究充分的原语。它们已经被广泛研究，显示出诸如内在并行性、简单性和增强加密协议安全性等优点[21]、[23]、[24]、[25]。在我们的工作中，XOR操作仅作为概念验证来验证信息处理的成功。重要的是，基于XOR的光学密码系统受益于较大的密钥空间，因为对称协议相对更容易受到暴力攻击[26]。

通过系统地改变用于表示每个逻辑位的SLM像素数量，我们研究了光学XOR门的信息处理能力。这种方法使我们能够为基于SLM的并行性建立实际限制，并评估接近每个SLM像素一个比特的理论极限的策略。我们的结果显示，这种容量从根本上受到可用像素数量的限制以及降低信号质量的光学像差的影响。尽管存在这些限制，系统仍能够几乎可靠地编码和恢复10^5比特的信息，这凸显了其在大规模光学信息处理方面的潜力。这些发现勾勒出了在不使用自适应光学等后处理情况下的可实现的可扩展性、性能和处理复杂性限制。

2. 实验装置
实验装置如图1所示，使用一个780纳米的激光二极管，该二极管通过由50毫米和700毫米焦距透镜组成的双透镜望远镜进行扩展，放大倍数为14倍，并聚焦以完全照亮一个空间光调制器（SLM），具体来说是Holoeye Gaea-2，其分辨率为3840×2160像素，有效区域对角线长度约为1.8厘米。这确保了SLM上的波前几乎平坦且强度均匀。

下载：下载高分辨率图像（224KB）
下载：下载全尺寸图像

图1. 实验装置示意图：BC（光束准直器）；SLM1和SLM2（空间光调制器）；L1、L2和L3（透镜）；BS（分光器）；HWP（半波片）；PP（聚合物偏振器）；以及sCMOS相机。图a)和b)显示了投影到两个空间光调制器（SLM）上的相位掩模，这些相位掩模代表了离散像素块中的二进制信息（插图）。实验获得的图像显示在图c)中。

SLM1的输出（分辨率为3840×2160像素）通过透镜被成像到第二个SLM（SLM2，Holoeye Leto-3），其分辨率为1920×1080。我们没有利用SLM1的4K分辨率，而是展示了放大的全HD图像，使得SLM1上的每个逻辑像素被编码为SLM2上的一个均匀的2×2像素块。因此，SLM1上的每个块对应SLM2上的一个像素，实现了确定的4:1像素映射比例。成像系统经过调整，以确保SLM1的有效区域与SLM2完全匹配，从而保证SLM2的像素与SLM1上的2×2像素块之间的一一对应关系。这种映射通过由孤立块和网格结构组成的测试图案进行了实验校准，允许精确调整相对比例、方向和横向位移。因此，尽管SLM1的工作分辨率为4K，但组合系统实际上像两个全HD设备一样工作。

我们使用直径为2英寸、焦距为200毫米的透镜（L1）进行成像，而不是常用的1英寸透镜，以最小化衍射效应并提高从相对较大的SLM区域收集的光量。SLM2的输出随后通过半波片（HWP）和聚合物偏振器（PP）被捕获，然后由一个像素间距为5.04微米的全HD分辨率sCMOS相机捕获。

为了使用这种装置实现XOR操作，我们利用入射光的偏振将SLM的相位图案转换为幅度变化，从而可以用简单的相机检测到。我们使用对角线偏振为45°的入射光，其Jones向量为：
(1) Ein = √(1/2)[11]。

光依次被SLM1和SLM2反射，这两个调制器仅调制水平偏振分量。每个SLM被设置为相对于垂直分量分别施加0或π的相位移动，每个像素独立设置。每个像素的相位可以独立设置，并用l,m索引。这种二进制调制对应于逻辑状态0和1（分别为黑色和中灰色）（见图2），即SLM实际上在1位深度下工作，尽管能够实现8位深度的投影。以下Jones矩阵描述了两个SLM的组合效应：
(2) JSLMs = [exp^(j(?lm+?lm′))]

调制后，光遇到半波片（HWP），然后是聚合物偏振器（PP）。HWP旋转偏振状态，将对角线（D）偏振转换为水平（H）偏振，反对角线（A）偏振转换为垂直（V）偏振。PP随后过滤偏振，只允许垂直分量到达相机。这种光学装置有效地将偏振状态映射到相机检测到的二进制强度级别。

由于HWP和PP的Jones矩阵为：
(3) Jpol = [1/2][1/√(1?1/2)][1/√(1?1/2)]
因此，PP后的电场为：
(4) E_outlm = J_total · Ein = 1/√(2)[exp^(j(?lm+?lm′))]

我们使用sCMOS相机测量偏振投影和过滤后的强度分布。记录的强度IV与|exp^(j(?lm+?lm′))^-1|2成正比。因此，当?lm+?lm′=0时IV=0（黑色），当?lm+?lm′=π时IV最大（白色）。这样，逻辑XOR操作就通过光学方式实现了，如图2(b)和(c)所示。

通过将二进制矩阵编码到偏振状态下，并将记录的图像与理论结果进行比较，评估了XOR操作的设置性能。系统的编码能力针对从10×10到300×300不等的矩阵尺寸进行了测试。每个N×N矩阵通过将整个SLM屏幕均匀划分为N×N个矩形来显示[27]。

3. 结果
3.1. 光学分辨率
我们光学系统的分辨率受到衍射和像差的限制。考虑到波长λ为780纳米，SLM之间的透镜焦距f为200毫米，直径D为50.8毫米（2英寸），最小可分辨分离距离Δl=1.22λfD=3.74微米（中心到中心）。这提供了一个理想的下限，即使对于分辨率为6.4微米的4K Gaea Holoeye SLM，也能单独寻址SLM像素。

我们通过在第一個4K SLM（SLM1）上显示一个全HD版本的适配后的USAF-1951测试图（由水平和垂直n像素条组成）来测试我们设置的实际分辨率。反射光被发送到SLM2，在其上显示一个平面掩模，然后通过相机观察。图3(b)显示了相机记录的输出。通过围绕每组垂直（水平）条垂直（水平）积分图像强度，我们获得了可以计算每个n像素间距对比度的轮廓。

3.2 XOR操作效率
在评估其分辨率之后，我们评估了系统对不同尺寸矩阵执行XOR操作的能力。为此，我们在SLM1上显示随机二进制矩阵（由0和1组成），并在SLM2上显示相同尺寸的随机二进制矩阵。在基于XOR的加密中，第一张图像代表要加密的信息，而第二张图像作为密钥。记录的图像是两个显示矩阵之间的XOR操作结果（见公式（4））。为了与理论预期进行比较，实验图像使用以下公式进行了归一化：(5)Inorm=Iexp?Imin/(Imax?Imin)，其中Imin表示使用SLM设置为0相位平绒面罩时记录的图像，Imax对应于SLM1设置为0相位、SLM2设置为π相位平绒面罩时记录的图像。由于在局部Iexp要么等于Imin要么等于Imax，这种归一化结果导致图像只包含0和1。图4(a)和(c)展示了一组典型的归一化图像，用于不同的矩阵维度。对于较大的维度，与图像边界相比，中心区域更均匀地表示了矩阵元素（矩形），这表明两个原始矩阵的重叠在远离SLM中心的位置并不理想。这是由于成像镜头的轻微错位和球面像差造成的。此外，我们注意到一些相邻矩阵元素的边缘得到了增强，这可能是由于原始二进制相位掩码中对比矩形边界处强折射率阶跃的衍射效应。所有这些方面在图4(b)和(d)中可以更清楚地看到，其中显示了归一化实验图像与XOR操作数字计算结果之间的绝对误差。

下载：下载高分辨率图像（533KB）
下载：下载全尺寸图像

图4. 实验获得的XOR操作结果，用于在电场波前中编码的N×N矩阵，分别对应于(a) 100个和(c) 10,000个元素。(b)和(d)显示了这些图像与相应的理论XOR操作之间的绝对误差。

我们通过计算归一化实验图像与理论预期之间的相关性来评估光学XOR操作的准确性，如图5所示。在本工作中，“准确的并行操作”指的是从测量的相关性及其统计不确定性中推断出的正确XOR结果的矩阵元素的有效数量，该统计不确定性是在给定的每元素像素比率下得出的。由于这是一个二进制操作，只有与理论预测完全匹配的实验结果（0或1）才被认为是准确的。

下载：下载高分辨率图像（216KB）
下载：下载全尺寸图像

图5. 实验和理论XOR操作之间的相关性，作为编码矩阵中元素总数（纵轴）和每比特像素数（横轴）的函数。

对于每个矩阵维度，我们使用了每个SLM 10张图像的样本量，共进行了10次独立试验。作为理论预期，我们使用了在SLM1上显示数字计算结果并在SLM2上显示平绒面罩后获得的记录图像，之后进行了归一化。为了比较矩阵元素而不是图像像素，我们将图像转换为灰度位图，方法是将它们分割成元素大小的矩形，使得位灰度对应于相应矩形中像素的平均灰度值[27]。

对于最大的编码矩阵300×300（相当于大约3个像素高的元素），相关性为(63±8)%。我们注意到在分析整个图像（全局）、中心1080像素的正方形区域或靠近边缘的其余部分（侧面）时获得了不同的相关性水平。

相关性量化了在光学设置中正确应用XOR操作的比特数，因此保持了整个图像观察到的定性行为（图4）。一方面，图5显示，对于较小的矩阵维度，比特误差降低，在小于200×200的矩阵的中心区域，误差降到了20%以下。另一方面，这不仅是由于技术限制，还由于信息冗余度低（图5的纵轴）。矩阵越大，用于表示每个元素的像素就越少。因此，即使是微小的光学不利影响（如像差和错位）也会增加错误率。

3.3. 图像加密应用

为了评估光学设置作为一次性密码本加密系统的性能，我们在SLM1上显示了一张164×164分辨率的黑白图像，在SLM2上显示了一个随机二进制矩阵作为加密密钥。选择这些矩阵尺寸是为了在XOR门测试中展示大约90%的相关性。当分别在SLM1上显示消息和密钥，同时在SLM2上显示平绒面罩时，记录的图像分别如图6(a)和(b)所示。我们对记录的加密图像应用了上述相同的归一化方法，结果如图6(c)所示。然后，我们利用加密密钥的记录图像（图6(b)）对二值化图像进行了计算解密。解密后的图像如图6(d)所示。图6(c)证明该加密方案可以成功地将二进制信息编码到光波前中。

下载：下载高分辨率图像（728KB）
下载：下载全尺寸图像

图6. 光学设置用于164×164分辨率图像加密和解密的性能。(a)原始图像和(b)加密密钥，按实验获得。(c)归一化后的记录加密图像以及(d)通过计算XOR操作获得的解密图像。

此外，原始图像和加密图像之间的相关性为6.17%，表明具有较高的加密安全性。解密后，相关性水平增加到42.55%，表明部分重建。值得注意的是，包含主要消息（Felix the cat）的中心区域显示出相当高的相关性70.35%，表明该区域的重建保真度较好。相比之下，侧面区域的相关性显著较低，为22%，表明这些部分的图像信息完整性有所损失。这一结果与图像中心区域的相关性值较高有关（图5）。这是因为SLM屏幕尺寸相对于镜头直径足够大，导致光束的周边部分照亮了镜头中球面像差更明显的区域。

为了评估所提出的光学加密方案的安全性，我们分析了密钥空间大小。对于二进制配置（M=2），密钥空间为2^164×164=2^26896，大约为10^8096.5。使用8位精度（M=2^56），这扩大到2^215168，即大约10^81157，相当于2^15,168比特的安全性。然而，真正的安全性受到实际因素的影响：(i) XOR类型系统是线性的，容易受到已知明文和密钥重用攻击的影响，除非密钥是随机的并且仅使用一次。(ii) 实验噪声和元素间的相关性会降低有效的密钥熵。例如，如果只有33%的密钥比特可靠地被复制，有效安全性降至约8876比特。这些考虑强调了密钥随机性和物理缺陷在评估光学加密安全性中的重要性。

关于我们光学设置的加密能力的最后一点是分辨率。在此应用中使用的图像和密钥的分辨率为164×164。要编码的图像主要包含低频信息，这解释了70%的相关性水平，高于图5中预期的约50%的水平。此外，图5的结果表明，如果使用的是两倍大小的矩阵，相关性将减半。这主要是由于将系统推向其光学分辨率极限时引入的错误，边界处的像差和较低的信息冗余度增加了错误。

4. 结论

在这项工作中，我们分析了能够对二维数组进行编码和执行二进制操作的可扩展光学处理方案的技术可行性。与之前的基于SLM的光学加密演示相比，我们的方法实现了显著更高的编码密度：虽然最近的实验研究验证了可扩展性可达中等规模的数组（例如，64×144）[2]，而且最新的演示仅验证了最大50×50矩阵的光学矩阵操作的准确性[28]，但早期的报告仅达到了每边数十像素[21]、[23]、[29]、[30]。在这里，我们展示了一种使用长达164×164的密钥的光学XOR加密方案，这是首次实验性演示这种尺寸的光学处理方案。

将系统推向其分辨率极限会减少可靠编码元素的比例。尽管如此，仍然有相当大的容量：当操作接近10像素的元素大小时，我们发现中心区域大约64%的元素（对于300×300矩阵大约为3×10^4比特）被可靠地加密。对于每个矩阵元素更多的像素数，通常观察到90-95%的相关性。我们的传输函数测量表明，对于约6像素/周期以上的空间频率，调制显著下降；这种行为解释了大元素尺寸和小元素尺寸之间的性能差异，分别对应于低和高空间频率，并为比特容量和每个元素的可靠性设定了实际限制。

尽管具有高的原始编码容量，系统性能仍然对实验参数敏感。小的错位、镜头像差和表面污染会引入衍射和串扰，从而降低比特精度。这些效应限制了有效熵，并且在做出安全性声明时必须考虑这些因素。图3中显示的实验测量的调制传递函数（MTF）揭示了高空间频率的逐渐衰减，而图4显示了视野中的空间不均匀性，这导致了处理后图像的中心区域和侧面区域之间的性能差异。在未来的实现中，结合SLM的完整8位灰度能力和自适应光学策略[31]，可以实现对光波前的逐像素相位和幅度校正，从而减轻像差、场曲率和对齐引起的失真。这样的波前校正有望在孔径上均匀化系统响应，减少中心区域和周边区域之间的差异，同时部分恢复高空间频率的对比度。这种方法将提高每个元素的保真度和光子处理器的可扩展性，而不改变加密协议的底层二进制逻辑。

最后，名义上的164×164二进制密钥足够大，可以在密钥随机性、重复使用和抵抗已知明文/选择明文攻击的条件下确保系统的安全性。总之，我们的结果证明，仅使用现成的光学组件就可以实现专用的、可重构的光子处理器，能够在光的波前中直接执行广泛的计算操作。

cRediT作者贡献声明

M.G. Damaceno：撰写 – 审阅与编辑，撰写 – 原始草案，软件，调查，形式分析。
A. Mucherino：撰写 – 审阅与编辑，撰写 – 原始草案，验证，软件，形式分析。
R. Medeiros de Araújo：撰写 – 审阅与编辑，撰写 – 原始草案，监督，方法论，调查，数据管理。
P.H. Souto Ribeiro：撰写 – 审阅与编辑，撰写 – 原始草案，验证，方法论，资金获取，概念化。
N. Rubiano da Silva：撰写 – 审阅与编辑，撰写 – 原始草案，验证，监督，项目管理，方法论，调查，概念化。