Rich360-Live：一种通过内容感知优化实现实时自适应360°流媒体的实用方法

《IEEE Access》：Rich360-Live: A Practical Approach to Live Adaptive 360° Streaming via Content-Aware Optimization

　　

摘要：

随着对360度实时流媒体需求的增加，在有限的带宽下提供高保真沉浸式体验仍然是一个重大挑战。虽然自适应视口流媒体可以减少带宽使用，但由于视口预测错误，它经常会出现运动到光子的延迟和视觉伪影问题。相反，现有的基于内容感知的方法通常缺乏实时流媒体场景所需的计算效率。为了解决这些限制，我们提出了Rich360-Live，这是一个专为标准消费级硬件设计的端到端流媒体系统，能够实现实时处理。我们的方法引入了一种混合重要性机制，将自动视觉跟踪与导演级控制相结合，确保保留了语义上重要的区域。我们采用了一种轻量级的轴对齐网格优化算法，通过将2D网格优化转换为1D参数化来大幅降低计算复杂度。这使得非均匀下采样成为可能，从而在最大化感兴趣区域（ROI）质量的同时，通过一种新的基线质量约束防止背景质量下降。此外，为了保证帧级的同步，我们实现了一种帧内参数嵌入技术，将网格参数直接编码到视频帧中，有效消除了与单独元数据传输相关的不匹配问题。广泛的实验和用户研究表明，Rich360-Live在视觉稳定性和体验质量（QoE）方面表现出色，分别比MANSY和robustMPC高出20%和39%，尤其是在带宽受限的环境中。