《Telecom》：Spectral Efficiency Enhancement in V2X Communications via Joint Subcarrier Assignment and Power Allocation: A Multi-DQN Agent Approach
编辑推荐：
针对车联网（V2X）网络的兴趣急剧增长，给高效的无线资源管理带来了重大挑战。本论文旨在解决联合子载波分配与功率分配问题，以最大化系统频谱效率。首先，研究人员将资源分配与功率分配数学表述为一个优化问题，并采用传统优化方法求解，以建立性能基准。为了克服传统优化带来
针对车联网（V2X）网络的兴趣急剧增长，给高效的无线资源管理带来了重大挑战。本论文旨在解决联合子载波分配与功率分配问题，以最大化系统频谱效率。首先，研究人员将资源分配与功率分配数学表述为一个优化问题，并采用传统优化方法求解，以建立性能基准。为了克服传统优化带来的高计算复杂度，研究人员随后提出了一种基于深度强化学习（DRL）的多智能体深度Q网络（Multi-DQN）框架。所提出的智能体通过与环境的交互学习最优分配策略，从而实现自适应和实时决策。系统性能在视距（LOS）和非视距（NLOS）两种不同场景下进行了研究，弥补了先前方法的不足。仿真结果表明，所提出的Multi-DQN智能体方法显著优于增强的传统基准方法，在实现更高频谱效率（SE）的同时大幅降低了计算复杂度。
以下是对论文《Spectral Efficiency Enhancement in V2X Communications via Joint Subcarrier Assignment and Power Allocation: A Multi-DQN Agent Approach》（发表在《Telecom》）的解读文章，基于原文内容进行专业浓缩与总结。
**研究背景、现存问题与研究动机**
随着第五代（5G）及未来第六代（6G）移动通信的发展，车联网（V2X）通信正在推动交通系统向智能、互联和自主的方向变革。V2X通信涵盖车辆与基础设施（V2I）、车辆与车辆（V2V）、车辆与行人（V2P）以及车辆与网络（V2N）等多种实体间的信息交互。为满足低延迟、高可靠性和高数据速率的需求，第三代合作伙伴计划（3GPP）在Release 14中引入了蜂窝车联网（C-V2X），并在后续版本中通过5G新空口（5G NR）进行增强。然而，V2X网络面临动态拓扑、高移动性、多样化服务质量（QoS）需求等挑战，导致传统的基于静态模型和规则启发式的方法在资源分配（如子载波分配和功率控制）中日益不足。特别是非正交多址（NOMA）技术虽能提升频谱效率，但联合优化子载波分配与功率分配问题属于混合整数非线性规划（MINLP），具有非凸性，在大规模网络中计算复杂度极高，难以实时应用。现有研究多采用匹配理论、博弈论等局部优化方法，或基于深度强化学习（DRL）的集中式/分散式方案，但较少系统性地评估不同传播环境（如LOS与NLOS）下的性能。因此，研究人员提出一种基于多智能体深度Q网络（Multi-DQN）的分散式框架，旨在降低计算复杂度的同时提升频谱效率（SE）。
**研究内容、主要结论与意义**
研究人员针对NOMA下行V2X通信系统，首先将联合子载波分配与功率分配问题形式化为优化问题，并采用增强型传统优化算法（基于穷举搜索）作为性能基准。随后，提出一种分散式的Multi-DQN智能体框架，其中每个车辆用户设备（VUE）对作为一个独立的深度Q网络（DQN）智能体，通过与环境交互学习最优子载波选择与功率分配策略。仿真在LOS与NLOS两种场景下进行，结果表明：所提出的Multi-DQN框架相比增强型传统基准方法，在LOS和NLOS场景下分别实现了90%和225%的频谱效率提升，同时大幅降低了计算复杂度。该框架将决策边缘化（即由VUE智能体本地决策），有效解耦了VUE与蜂窝用户设备（CUE）的操作，提升了系统可扩展性。论文发表在《Telecom》，揭示了DRL在复杂动态V2X环境中资源管理的巨大潜力。
**关键方法概述（不超过250字）**
研究人员采用的关键技术方法包括：第一，增强型传统优化算法（Algorithm 1），通过穷举搜索所有可行子载波分配组合，并迭代优化功率分配（Algorithm 2用于CUE功率分配，Algorithm 3基于二分图最大权重匹配（Kuhn–Munkres算法）完成VUE对子载波分配与功率优化），以建立性能基准；第二，基于多智能体深度强化学习的Multi-DQN框架，将每个VUE对建模为独立DQN智能体，定义连续状态空间（含信道增益、功率、干扰等）、离散动作空间（子载波选择与11级功率水平）和奖励函数（最大化CUE频谱效率、保障VUE数据速率与信干噪比（SINR）约束），采用经验回放、固定目标网络和epsilon-greedy策略进行训练；第三，仿真基于3GPP R-18标准参数（4个子载波、12个CUE、4个VUE对），在LOS和NLOS路径损耗模型下评估性能。
**研究结果**
**5.1 DRL框架与增强型传统模型基准测试**
通过对比三种方案（文献[16]的NVRA算法、增强型传统算法、所提Multi-DQN智能体）发现：随着VUE最小SINR要求增加，增强型传统算法为保障VUE约束而降低RSU发射功率，导致CUE频谱效率下降；而Multi-DQN智能体框架中RSU功率独立，因此CUE频谱效率显著高于其他两种方案。同时，Multi-DQN框架的VUE频谱效率也优于增强型传统模型，且与异构V2X（MADQN）[22]相比，在所有SINR要求下均保持更稳定的频谱效率。
**5.2 LOS场景下的DRL框架与增强型传统模型**
在LOS路径损耗模型下，以CUE平均频谱效率与VUE平均频谱效率为指标，比较不同RSU发射功率及VUE SINR要求（0、5、10、15 dB）。结果表明：在低VUE SINR要求时，Multi-DQN框架在RSU功率超过一定阈值后（0 dB时17 dBm）开始优于增强型传统模型，且随着SINR要求提高，交叉点提前。Multi-DQN框架能充分利用RSU额外功率提升CUE频谱效率（可达3.5 bps/Hz），而增强型传统模型因保守干扰管理而趋于饱和（约2.8 bps/Hz）。对于VUE，Multi-DQN框架在低RSU功率时获得极高频谱效率（如0 dB要求时达8.4 bps/Hz），但随RSU功率增加因干扰增强而下降；增强型传统模型则严格满足SINR目标，未利用低干扰优势。
**5.3 NLOS场景下的DRL框架与增强型传统模型**
在NLOS场景中，物理障碍自然衰减了RSU对VUE的干扰。Multi-DQN框架的CUE频谱效率始终优于增强型传统模型约1 bps/Hz（如0 dB要求时从1.4至4.2 bps/Hz对比0.2至3.2 bps/Hz）。VUE频谱效率方面，Multi-DQN框架峰值达到约12.0 bps/Hz（0 dB要求），而增强型传统模型仅约3.98 bps/Hz；即使在15 dB严格约束下，Multi-DQN框架仍保持约13.8 bps/Hz的总体系统频谱效率，而增强型传统模型仅约8.8至9.2 bps/Hz。这表明NLOS环境下Multi-DQN智能体通过学习信道特性有效抑制干扰，实现系统容量翻倍。
**5.4 整体系统性能**
在LOS场景中，Multi-DQN框架的整体系统频谱效率在0 dB SINR要求时约9.3 bps/Hz，比增强型传统模型（约5.5 bps/Hz）提升约35%；随SINR要求提高，增益缩小。在NLOS场景中，Multi-DQN框架的整体频谱效率在0 dB时达13.5 bps/Hz，增强型传统模型仅约4.0至7.0 bps/Hz，且改善幅度超过200%。进一步分析百分比改善率：LOS场景中，低SINR要求时改善最高达90%；NLOS场景中改善超过200%。表明Multi-DQN在恶劣传播条件下适应性更强。
**5.5 附加性能指标评估**
能量效率（EE）评估显示：Multi-DQN框架的EE随RSU功率增加缓慢下降，且严格SINR要求导致EE降低；NLOS环境EE优于LOS。公平性采用Jain指数衡量：Multi-DQN框架的VUE公平指数在所有条件下接近1，随RSU功率增加略有下降，但整体保持高公平性。收敛性分析表明：Multi-DQN智能体在少量训练回合后即稳定收敛，所获平均累积奖励在NLOS场景下更高且收敛更快。
**总结与讨论**
讨论部分指出：所提出的分散式Multi-DQN框架通过将决策迁移到边缘，有效解耦了VUE与CUE操作，在LOS和NLOS场景下均显著提升了频谱效率（SE）并降低了计算复杂度。增强型传统算法因依赖穷举搜索，计算复杂度随网络规模指数增长，难以用于实时决策；而Multi-DQN框架仅需前向传播，复杂度多项式增长，适用于高密度车辆网络。未来方向包括：利用联邦深度强化学习（FDRL）实现全局协调，以及集成动态模式选择算法。
研究结论原文翻译如下：本文提出了一种定制化的分散式多智能体深度Q网络（Multi-DQN）框架，用于V2X通信环境中子载波（SC）与功率分配的联合优化。通过从集中式模型转向边缘架构，该方法有效解耦了VUE与CUE的操作。在视距（LOS）和非视距（NLOS）场景下的实验评估证实，VUE Multi-DQN框架始终优于采用传统方法的已有基准。具体而言，所提模型在LOS和NLOS场景下分别实现了90%和225%的频谱效率（SE）提升，同时降低了计算复杂度。这些结果表明，将决策转移至边缘不仅能增强系统可靠性与性能，还为高密度车辆网络提供了可扩展的解决方案——在传统优化方法因大量CUE和VUE导致高复杂度而难以应对的场合尤为适用。基于这些成果，未来研究将致力于实现VUE与CUE对之间的全局协调，以保证系统最优性。通过实施联邦深度强化学习（FDRL）框架，研究人员将使得分散式智能体能够协同优化策略，在保持边缘处理低延迟优势的同时促进全网络同步协调。此外，将动态“模式选择”算法与所提Multi-DQN框架相结合是未来研究的另一方向。
