交互式360°物体移除：一种基于球面法线约束和可学习小波增强技术的坐标查询方法

《IEEE Transactions on Multimedia》：Interactive 360° Object Removal: A Coordinate Querying Approach via Spherical Normal Constraints and Learnable Wavelet Enhancement

　　摘要：传统的透视图像修复任务主要依赖于随机掩膜图像来恢复图像区域。然而，随着虚拟现实（VR）技术的发展，传统的图像修复方法已无法满足交互式编辑的需求，因为用户希望能够精确地移除VR场景中的特定对象，而不仅仅是依赖任意的掩膜。此外，现有的透视图像修复方法在保持球形投影下的几何失真和光度一致性方面存在固有的缺陷。在本文中，我们提出了一种新的任务：交互式地移除目标对象，并修复室内360°图像中缺失的区域。我们提出了一种基于球面法线约束和可学习小波变换的鲁棒基线方法，以增强修复后360°图像的三维感和光照真实性。具体而言，我们开发了一个球面法线估计模块，该模块利用360°图像的球形投影特性生成精确的表面法线，从而约束修复后图像的球形几何结构。随后，我们设计了一个小波增强的空间特征聚合模块，以改善修复区域的方向连续性和频率特性，使修复后的360°图像具有更清晰的纹理和更锐利的边缘。为了解决360°图像的高分辨率问题，我们还引入了一个掩膜区域像素坐标查询模块，以减轻显式360°图像表示方法所固有的内存限制，从而实现任意指定区域的高分辨率内容合成。我们还建立了一个新的室内360°图像对象去除数据集（S3D-Removal），包含18,000多对带有相应查询点的360°图像。在S3D-Removal数据集上的广泛实验结果表明……