轻量级启发式IRS支持的对抗型DQN算法，用于数字孪生辅助的车辆边缘计算

《Expert Systems with Applications》：Lightweight Heuristic IRS-enabled Dueling DQN for Digital Twin-assisted Vehicular Edge Computing

　　Ehzaz Mustafa|Mohammed Maray|Areej Bashir|Faisal Rehman|Sardar Khaliq Uz Zaman|Abdallah Namoun|Ali Meree
巴基斯坦伊斯兰堡Comsats大学计算机科学系，Abbottabad校区

**摘要**
在车联网边缘计算（VEC）中实现可靠且低延迟的应用服务具有挑战性，这主要是由于车辆的动态性、异构的计算需求以及时变无线信道的影响。传统的深度强化学习（DRL）方法难以提供最优解决方案，特别是在实时物理状态信息延迟、不完整或存在噪声的情况下。为了解决这个问题，我们提出了一个结合了智能反射表面（IRS）的数字孪生辅助框架，该框架在边缘服务器上整合了车辆的虚拟副本，即使在部分可观察的情况下也能够实现预测性和弹性的决策。同时，IRS通过相位控制自适应地重新配置无线传播，以减轻信道不确定性并提高在高动态车辆环境中的链接可靠性。为了避免直接优化IRS的NP难题，我们设计了一种轻量级的信道对齐启发式方法，该方法在保持DRL动作空间离散性的同时仍能捕获接近最优的信号增强效果。然后使用Dueling Deep Q Network来联合优化任务卸载决策和资源分配，通过分离状态值和动作优势来提高在严格延迟和能量约束下的收敛性。仿真结果表明，与DT-DQN和DT-DDPG相比，所提出的框架将系统成本降低了35-40%，同时解决了动态车辆网络中的延迟、能耗和数字孪生保真度损失问题。

**引言**
由移动边缘计算（MEC）支持的车辆网络提供了多种应用，如自动驾驶、车道变换辅助和对象检测，这些应用通过位于较近位置的边缘服务器实现最小延迟（Hasan等人，2024年；Wu等人，2024年）。车辆可以将这些资源密集型任务传输到MEC服务器以进行实时更新，这一过程称为计算卸载。然而，在现代车辆网络中，由于无线信道的不可靠性、计算异构性以及车辆在速度、位置和方向上的移动性等方面的限制，实现低延迟的计算卸载是一个重大挑战（Ye等人，2025年；Wu等人，2024年；Yan等人，2024年；Liu等人，2024年）。为了克服车辆移动性的不确定性，深度强化学习（DRL）被广泛用于优化计算卸载。然而，实时的车辆状态和服务需求仍然会降低性能（Xue等人，2025年；Mustafa等人，2025b年）。传统的DRL方法依赖于实时状态信息，包括位置、信道条件和服务需求（Peng等人，2024年；Fang等人，2024年），但这些物理参数通常存在噪声、过时或因通信延迟和不可靠而无法获得，从而导致不良的计算卸载决策。此外，这些方法还忽略了通信控制、无线信道增强和计算分配之间的联合耦合效应（Allaoui等人，2024年；Luo和Dai，2024年）。为了解决这些问题，我们提出了一个基于数字孪生（DT）的框架，为每辆车同步一个轻量级的DT实例。这些DT作为虚拟代理，维护车辆状态的预测模型，包括速度、距离路边单元（RSU）的距离等，以防物理状态不可靠或无法获得。DT是物理系统、过程或对象的虚拟表示（Tao等人，2024年；Van Dinter等人，2022年），可用于上述约束的虚拟表示，以实现预测性和上下文感知的决策。这一虚拟层通过填补传感器数据中的时间空白，为决策代理提供了改进的系统可见性。此外，我们将智能反射表面（IRS）集成到车辆到网络（V2N）通信系统中，以重新配置无线传播，从而提高信号质量（Fang等人，2024年；Xu等人，2024年；Xia等人，2024年；Hu等人，2024年）。

**基于以上讨论，我们考虑了一个多车辆V2N系统，其中每辆车定期生成一个特定于服务的任务，并与边缘服务器上的DT实例关联。DT使用IRS辅助的无线信道与物理环境保持状态同步。每个MEC节点的带宽和计算资源都有限，而每个任务都有严格的截止时间和能量限制。此外，由于IRS反射错位、传感器不准确性和移动性预测错误，DT的参数（包括位置和发射功率等）存在不可忽视的不确定性。这种保真度下降会降低任务调度和延迟估计的质量，从而导致卸载效率降低。**

由于感知延迟和信道不确定性，底层的车辆环境只能部分观察到。通过利用DT构建预测性增强状态表示，决策过程被近似为一个基于重构信念状态的MDP。与传统的DRL方法不同，我们引入了Dueling DQN来明确分离状态值和动作优势。这种明确的分离使得DRL代理能够优化卸载解决方案，某些状态无论采取何种行动都更有益，这更适合快速变化的V2N网络。我们的目标是制定一个卸载策略π*：s→a，以在延迟、能耗和DT保真度损失方面决定系统成本，同时严格满足问题表述中定义的所有约束。据作者所知，我们是首次联合优化车辆网络中DT保真度动态、基于IRS的V2N信道波束成形控制和DDQN的计算卸载的。我们将我们的结果与DT-DQN和DT-DDPG进行了比较，将系统成本降低了35-40%。我们还提供了消融分析，以展示每个独立组件的性能。我们的主要贡献包括：1. 我们引入了一个DT辅助的计算卸载框架，其中每辆车的物理状态信息在MEC服务器上实时以虚拟形式呈现。与以往的工作不同，我们将由于感知错误、IRS错位和移动性漂移导致的DT保真度下降纳入DRL代理的状态空间中，从而在不确定性下有效降低了系统成本，并最小化了通常由不准确表示引起的性能损失。2. 我们将问题表述为一个多维优化问题，其中结合了基于IRS的信道增强和轻量级启发式方法的二进制卸载决策，以及带有离散化的资源分配。Dueling DQN用于确定状态值和动作优势，从而在高维和动态V2N环境中实现更有效的收敛。3. 仿真结果与最近的最新技术基准进行了比较，显示出所提出框架在系统成本方面的优越性。

**相关工作**
DRL被广泛用于优化车辆网络中的计算卸载（Mustafa等人，2024年）。例如，在Wu等人（2025年）的研究中，作者提出了一种基于激励的计算卸载算法，用于VEC，其中对车辆和VEC的效用函数进行了建模并作为优化目标。VEC资源在定价机制下进行分配，以在满足所有约束的同时最大化收入。为了应对移动性挑战，使用DRL进行最优决策。

**系统模型**
我们考虑了一个车辆到网络（V2N）系统，其中每辆车v∈V={1,2,?,V}可以本地处理其计算任务，或通过IRS辅助的无线通道将其卸载到MEC服务器。每辆车都与一个DT关联，该DT有助于实时状态估计和预测性资源分配。系统如图3所示，并通过以下组件进行建模：

**提出的DT辅助轻量级启发式IRS基Dueling DQN基计算卸载框架**
我们将IRS辅助V2N的卸载问题表述为一个通过Dueling DQN解决的MDP。对于时间t的车辆v，状态空间表示为stv=(zvDT(t),hˉm,v(t),Θm,v(t),Qv(t),Bv(t))，其中zvDT(t)是DT输出的低维嵌入，例如预测的下一个位置、预测的信噪比均值、方差、数据大小和计算量。所提出的DT不同于传统的基于DRL的卸载方法，因为在标准DRL-based卸载中，状态估计仅用于...

**仿真设置**
我们考虑了一个由一个宏基站（MBS）、M=3个启用MEC的路边单元（RSUs）和N=25辆均匀分布在2公里高速公路段上的车辆组成的IRS辅助车辆网络。通信信道经历了具有Rician因子K=5的Rician衰落，每个RSU配备了L=64个被动反射元件。每辆车的最大传输功率设置为Pvmax=100 mW，背景噪声功率设置为σ2=10?11。

**结论**
在本文中，我们提出了一个基于数字孪生和智能反射表面的轻量级启发式卸载框架，以克服延迟、不可靠和噪声更新以及较差的信道质量带来的挑战。使用Dueling Deep Q Network联合优化卸载决策和资源分配。我们还将数字孪生保真度损失纳入深度强化学习代理的状态空间，这通常会由于感知错误和移动性预测而降低性能。