《Knowledge-Based Systems》：ExposureGS: Illumination-aware Gaussian splatting for sparse-view 3D exposure correction
编辑推荐：
曝光校正的稀疏视图高斯溅射框架，通过颜色感知高斯解耦和先验感知照明建模，有效分离光照与内容，结合颜色和深度先验建模光照变化，实现稀疏不良光照视图下的高质量3D重建与实时渲染，实验表明优于现有方法。
桥远健|邵明文|孟凌庄|万叶聪
内蒙古大学计算机科学学院，呼和浩特市，010021，内蒙古，中国
摘要
3D高斯分裂（3DGS）最近在不良光照条件下进行新颖视图合成方面展现出了强大的能力。然而，现有方法通常依赖于密集捕获的图像进行训练，在具有严重多视图曝光不一致性的稀疏视图场景中表现不佳，导致不理想的渲染效果。为了解决这一限制，我们提出了ExposureGS，这是一种新型的照明感知高斯分裂框架，它仅使用稀疏和不良光照视图就能重建曝光良好且结构准确的3D场景。具体来说，ExposureGS包括两个核心设计：颜色感知的高斯解耦和先验感知的照明建模。前者通过基于球谐函数学习照明特征和外观映射，灵活地分离照明和高斯内容，从而将场景内容与照明效果分开。后者在颜色和深度先验的指导下共同建模照明变化，即使在稀疏视图条件下也能使解耦的高斯分布收敛到正确的状态。得益于这些策略，我们的方法在保持实时渲染性能的同时，实现了3D场景的高保真曝光校正。广泛的实验表明，ExposureGS在欠曝、过曝和多曝光场景中的表现显著优于现有方法。
引言
新颖视图合成（NVS）是计算机视觉中的一个重要任务，在增强现实和机器人导航等领域具有广泛的应用[1]，[2]。近年来，神经辐射场（NeRF）[3]和3D高斯分裂（3DGS）[4]在合成逼真的新颖视图方面展现了出色的能力。这两种方法都旨在从正常曝光的多视图图像[5]，[6]，[7]，[8]中准确建模3D场景的外观属性和几何结构。然而，现实世界场景中捕获的图像经常受到不可控的自然照明和不当相机曝光的影响，导致各种曝光问题。在这种不良照明条件下，这些方法的性能往往会显著下降，从而限制了它们在实际应用中的有效性。
最近，已经开发出多种方法通过学习每个视图的光照变化[9]，[10]，[11]，[12]，[13]，[14]来缓解上述问题。早期的工作通常利用NeRF隐式建模不利的照明效果并相应地调整场景亮度[9]，[10]，[15]。尽管这些方法取得了有希望的结果，但由于密集采样过程，基于NeRF的方法本质上存在较高的计算开销和渲染速度慢的问题。幸运的是，新兴的3DGS在高效训练和高质量渲染方面展现了令人印象深刻的能力[16]，[17]。然而，现有的基于3DGS的解决方案严重依赖密集观测数据来重建正常曝光的场景，这限制了它们在多视图不一致性严重的稀疏视图场景中的适用性。鉴于这些限制，一个自然而关键的问题出现了：我们能否仅使用稀疏和不良光照视图来重建曝光良好且几何结构准确的3D场景？
为了解决这一挑战，我们探讨了3D高斯属性与不良照明效应之间的内在物理关系。一方面，照明效应主要通过与图像的固有颜色结合来改变视觉外观。受此启发，我们旨在使用与颜色相关的球谐函数将内容高斯与照明高斯分离。另一方面，不良照明引起的颜色失真通常会随场景深度变化，而几何规整有助于在稀疏视图下增强多视图的一致性[18]，[19]。基于这一特性，我们提出在颜色和深度先验的指导下建模照明变化，从而促进高斯属性的正确优化。
基于上述讨论，我们提出了一个照明感知的高斯分裂框架ExposureGS，仅使用稀疏和不良光照视图来重建曝光良好且几何精确的3D场景，如图1所示。具体来说，ExposureGS包括两个核心设计：颜色感知的高斯解耦和先验感知的照明建模。前者将每个高斯的中心位置、球谐函数和相机姿态嵌入到外观MLP中，以学习照明表示和外观映射。这种范式灵活地分离了内容高斯和照明高斯，从而将清晰视图与照明效果分开。后者利用渲染的照明特征和清晰视图，在颜色和深度先验的指导下建模照明变化。通过利用这种物理建模机制，可以准确重建原始曝光视图，从而将解耦的高斯优化到正确的分布。得益于上述优化策略，我们的方法在稀疏视图下实现了有希望的3D场景曝光校正，同时保证了实时渲染。广泛的实验表明，我们的ExposureGS在各种曝光场景中的表现显著优于现有方法。
本工作的主要贡献如下：
- 我们提出了
ExposureGS，一种用于稀疏视图3D曝光校正的新型照明感知高斯分裂框架。据我们所知，这是第一个能够处理来自稀疏视图的各种具有挑战性的照明条件的统一框架。
- 我们开发了一种
颜色感知的高斯解耦策略，该策略利用基于球谐函数的外观学习来分离内容高斯和照明高斯。
- 我们设计了一种
先验感知的照明建模策略，该策略利用外观和几何先验即使在稀疏视图下也能有效建模照明变化。
- 广泛的定量和定性实验表明，我们的
ExposureGS在各种曝光条件下始终优于现有方法。
相关工作
在不良照明条件下的NVS。
NeRF[3]通过将场景辐射和体积编码到神经网络中，在新颖视图合成方面表现出色。然而，它在处理来自不同视图的光照变化时面临新的挑战[6]，[20]，[21]，[22]，[23]。为了解决这个问题，LLNeRF[24]将辐射场分解为两个独立的部分，通过联合优化来增强场景亮度。为了处理不同的曝光条件，AlethNeRF[25]引入了一个隐藏场
方法论
所提出的ExposureGS的概述如图2所示，包括两个协同设计：颜色感知的高斯解耦和先验感知的照明建模。前者通过学习基于球谐函数的照明表示和外观映射，将初始高斯分解为照明和内容组件；后者在颜色和深度先验的指导下有效建模照明变化。
实验
实现细节：我们的方法基于PyTorch平台实现了原始的3DGS[4]。ExposureGS的训练细节在算法1中有所描述。我们利用COLMAP[56]从输入图像中估计相机姿态并相应地初始化高斯。对于高斯解耦，我们使用一个具有64个隐藏层的3层MLP和三个额外的头来预测照明表示，颜色缩放因子。对于照明
局限性和未来工作
在这项工作中，我们提出了第一个用于稀疏视图条件下3D场景曝光校正的统一框架。尽管其性能强大，但该方法仍受到一些固有挑战的约束。特别是，虽然ExposureGS能有效处理不良照明，但在极端情况下（如严重过曝、完全黑暗和深度线索严重损坏时）仍会遇到困难。此外，有限的视图角度阻碍了细节的恢复。
结论
在本文中，我们提出了ExposureGS，这是一种使用照明感知高斯分裂进行稀疏视图曝光校正的新框架。与依赖于密集采样多视图图像的现有方法相比，ExposureGS仅使用稀疏和不良光照视图就能实现曝光良好且结构准确的3D场景渲染。所提出的框架包括两个核心设计：颜色感知的高斯解耦和先验感知的照明建模。前者专注于分离
CRediT作者贡献声明
桥远健：写作 – 审稿与编辑，撰写原始草案，方法论，数据整理。邵明文：写作 – 审稿与编辑，监督。孟凌庄：验证，资源整理。万叶聪：写作 – 审稿与编辑，形式分析。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
作者非常感谢匿名审稿人的宝贵评论和建议，这些评论和建议有助于改进本文。本工作得到了国家关键研发计划（项目编号：2021YFA1000102、国家自然科学基金（项目编号：62376285和61673396、山东省自然科学基金（项目编号：ZR2022MF260以及内蒙古大学“骏马计划”的支持。
