Point2Seq：用于对象点云预训练的量化序列化编码技术

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Point2Seq: Quantized Serialization Encoding for Object Point Cloud Pretraining

　　

摘要

点云作为一种非结构化的点集，在现代3D深度学习任务中已成为一种关键的数据格式，推动了从对象识别到场景理解等各种应用的发展。然而，基于体素化或分组策略的传统点云编码方法在处理局部点云时往往存在效率低下和含义模糊的问题。这些限制会阻碍细粒度特征的提取，并影响3D学习模型的整体性能。值得注意的是，诸如用于3D形状重建的神经场表示之类的紧凑表示方法，在捕捉3D对象的结构完整性和复杂细节方面展现了出色的能力。尽管如此，这些先进表示方法在判别性任务中的应用仍然是一个很大程度上未被探索的领域。为应对这些挑战和机遇，我们提出了一种新的点云编码方法Point2Seq。Point2Seq通过利用序列化和离散编码技术构建了一种新的点云表示方法。该方法将点云转换为基于网格的格式，不仅实现了高效的空间插值，还便于扩展下游任务的感受野范围，从而增强了模型捕捉上下文和空间关系的能力。为了全面评估Point2Seq的有效性，我们在一系列标准的对象级点云基准测试上进行了广泛的评估。我们的实验涵盖了从点云补全等低级任务到分类和部件分割等高级任务，以及少样本学习场景。结果表明，Point2Seq在这些任务中均取得了先进的性能。此外，输入数据中噪声的减少使得我们的表示在下游任务训练过程中能够更快地收敛，进一步凸显了其优越性。Point2Seq的代码将公开发布，以促进该领域的可复现性和进一步研究。