浅析单视图的非合作航天器三维体素重构算法

文|芜春的假说视界

编辑|芜春的假说视界

空间对抗态势下，针对非合作航天器的快速高精度智能感知、意图识别与威胁评估等在轨相对导航任务，均依赖精准的目标三维模型先验信息。

但星载传感器感知视场有限，传统基于多帧图像的模型重构算法存在流程复杂、实时性差及恢复精度低等问题。

为此，提出了一种基于单视图的航天器三维体素重构算法，能够基于单帧图像高效地恢复目标的空间三维信息。首先，针对空间航天器视觉感知任务研究中普遍存在的数据饥饿问题，通过整理航天器三维模型，利用图像渲染技术构建了小规模本地数据集，包括航天器三维模型、对应体素和多视角采样图像三部分。

接着，设计了基于单视图的三维重建模型，使用单帧非合作航天器图像作为输入，通过2D-3D混合卷积完成“编码-解码-调优”三个子模块计算，实现对目标三维体素结构的恢复。最后，在本地数据集上进行网络模型的训练和评估，验证了当前模型能够实时精确重建目标航天器三维体素模型，并在现有数据上取得了0.895的MIoU值；同时，网络对不同航天器的重建效果体现了模型具有强大的泛化能力。

随着航天工程的持续推进，太空合作共赢与竞争对抗并存的趋势日益明显。为维护空间在轨安全，非合作航天器的在轨监测日益重要，具体任务包括快速逼近、绕飞监视以及运动捕获甚至打击对抗等。由于目标的强非合作特性，服务航天器无法提前获知目标特征及在轨运动信息，这给目标的精准、快速感知带来了巨大的挑战。

针对上述任务需求，空间非合作航天器的三维模型快速构建技术备受关注，目标的模型结构可以为空间博弈对抗提供丰富的感知信息。因此，目标三维模型精确快速重构是未来目标监视、对抗制胜率的重要技术保障之一。

现有的目标三维模型表征方式总体可以划分为显式模型表征和隐式模型表征。其中，显式模型表征包括点云(Point Cloud)、体素(Voxelization)和网格(Meshgrid)。三维点云表征可以更好地保留精确的模型位置、几何特征和拓扑结构。

然而，真实采样的点云相对稀疏、无序和噪声，其索引计算会带来巨大的计算开销，同时空间结构上的多样性也会导致计算上的歧义。而模型的体素表征可以看作是对三维无序点云的正则化处理，基于均匀体素的模型表征更适合航天器的特征提取与恢复，规则化的结构表示大大减少了数据规模和处理的计算量。

网格表示下目标的三维表面结构最光滑，但生成的曲面网格都具有较强的随机性，这通常需要额外的对齐框架设计。由于点云和网格表征均具有较强的随机性，针对非合作航天器的模型体素表征唯一性最佳。

隐式的三维模型恢复是由目前最为颠覆性的神经辐射场(Neural Rad-iance Fields, NeRF)模型首次引出，以相机视角和位置作为神经网络输入，利用隐式的三维模型高质量地恢复不同视角下的目标视图。虽然基于目标隐式模型可以高质量地恢复目标不同视角下的图片，但在航天器三维感知的任务中，显式模型表征能够为后续导航任务提供更有利的支撑。

针对空间非合作航天器的三维重构任务，目前现有方法包括基于几何的算法和基于神经网络建模的方法。其中，传统基于几何计算的三维模型构建是目前的主流方案，通常需要对目标进行多角度的连续采样和复杂的迭代计算，计算时间过长极大地限制了传统方法在航天器实时感知任务中的应用。

调研发现，基于人工智能的三维场景重构和目标三维结构恢复已取得大量的研究进展。但神经网络依赖大规模标注数据进行有监督训练，数据饥饿问题(Data Hungry Problem)是所有基于端到端(End-to-End)学习的研究中普遍存在的问题。

虽然有少数利用人工智能算法进行航天器数据特征的提取及处理研究，如基于图像的目标检测和分割，但缺少对应目标的三维结构基准。数据集的缺乏使得面向非合作航天器的三维模型智能重构研究暂时处于空白状态。

在航天器显式模型表征中，体素化的模型结构更加规则且具有唯一性，基于这种规则化的表示方式进行网络建模，能够降低非线性拟合的复杂度，且重建结果更加易于进行姿态配准、朝向检测等后续任务处理。对于三维体素模型重建结果的量化指标，地面物体通常使用体素交叉联合(intersection-over-union)评估算法性能。

基于地面目标三维模型智能恢复算法研究，本文提出了“编码-解码-细化”网络架构，以解决空间非合作航天器三维体素模型重构问题，建立航天器三维模型数据样本，并利用人工智能方法深入学习航天器模型与输入图片之间的映射关系。具体来说，本文的贡献可以总结如下：

1)基于公开航天器三维模型和开源渲染软件，针对单视图三维体素重建任务，构建了面向航天器三维模型重建任务的数据集，包括多个航天器的三维模型文件、对应多尺度体素正则化文件以及多视角相机采样模拟的渲染图像，为后续深度学习建模任务提供数据基础和量化评估方案。

2)设计了基于单一视图输入的航天器三维体素模型神经网络框架，整个模型主干网络主要包含3个子模块，图像2D卷积编码模块、基于3D卷积的解码模块和基于U-Net架构的3D卷积调优模块，能够针对单帧目标图像数据进行卷积编解码，然后恢复航天器的三维空间正则化的体素表征，并利用MIoU指标对网络性能进行评估。

本文各部分组织如下：第1章介绍了航天器三维模型智能重构算法的总体框架；第2章介绍了航天器三维模型数据样本集的构建方案；第3章介绍了所设计的重建模型的神经网络架构细节，以及与所构建数据集的训练方案；

第4章介绍了航天器三维模型恢复的评估指标，并基于本地数据对训练好的模型进行评估和分析，证明了所提方法的有效性；最后一章讨论了所提方法的优缺点，并给出结论及未来研究方向。

针对基于人工智能的航天器三维体素重建问题，网络的输入为包含目标的多种采样视角下的图像，输出为目标的三维体素结构。与常规三维重建问题不同，航天器结构复杂、体积庞大，仅存在于太空环境和近地轨道附近，相关数据难以获取。

因此，针对不同的航天器采用渲染的方式分别生成正则化的三维体素结构，并利用相机模型渲染生成固定尺寸的航天器图像数据。其中，三维体素表征采用以目标为中心的方法，图像则通过固定小孔成像模型，保证采样图像尺寸的情况下，在不同视角下对航天器进行渲染成像，增加样本的丰富度。

通过对大量航天器模型进行批处理的数据生成，构建了一对多的“体素-图像”数据集，并在此基础上，设计了对应的神经网络模型架构，用于接收单视图图像数据，通过数据集训练模型构建“图像-体素”之间非线性关系，实现目标的三维体素重建。最后，通过量化评估和测试，验证了航天器三维重构网络的有效性。总体流程如图1所示，包括以下三个部分：

1)航天器三维模型数据样本集合生成。

一方面，基于已知航天器三维模型文件生成对应的三维体素数据，并构造航天器结构三维模型的规范方向，实现航天器模型数据各部分的刚性对齐；另一方面，为恢复目标完整的模型结构，对目标进行全覆盖的球采样，实现全方位、全视角下的航天器图片渲染，为后续的网络模型训练和评估提供数据支持。

图1 航天器三维模型智能重构算法架构

2)航天器三维模型重构网络框架设计。

该部分基于所生成的航天器三维模型及对应的渲染图片数据对，设计适配的航天器三维模型数据恢复网络框架。利用生成的航天器三维体素表征作为真实值 (Ground Truth),渲染的航天器图片作为探测数据，设计网络训练框架，确保神经网络模型能够处理对应的数据结构并生成目标尺寸的三维体素。

3)航天器模型恢复性能评估与分析。

利用训练好的网络参数和所设计的网络架构测试航天器的体素结构恢复效果，定量对比分析模型的重建效果，构建模型恢复对应的评估体系。从不同的角度评估网络架构的性能，对比不同网络框架下航天器三维模型的恢复结果，确保航天器三维模型重构网络框架能够满足目标感知需求。

航天器三维模型数据样本集是航天器三维模型智能重构的数据基础，也是航天领域神经网络建模研究发展的制约因素。目前，被公开使用的USRO、SPARK及SPEED等航天器数据集是为了目标识别、位姿估计和语义分析任务开发的，均不涉及航天器三维模型的组织和注释，难以为航天器三维重构提供有效的数据支撑。

因此，本文通过分析日常目标三维重构数据集ShapeNet的处理方案，对航天器结构、类型等因素进行归约，并构建航天器三维模型数据样本集合。首先，利用Blender软件对不同视角下的航天器成像结果进行渲染，然后，生成对应的航天器三维体素模型作为网络训练的模型真值。数据样本集合生成的过程是一个双向映射的过程，图片与体素模型的样本数据链接是后续网络框架训练的基础。

对航天模型进一步提高分辨率，让其更好地表现真实航天器的三维模型，这也是本文后续的研究方向。

参考文献：

[1] Mandikal P,Navaneet K L,Agarwal M,et al.3D-LMNet:latent embedding matching for accurate and diverse 3D point cloud reconstruction from a single image[J].arXiv preprint arXiv:1807.07796,2018.

[2] Sharma S,Kumar V.Voxel-based 3D face reconstr-uction and its application to face recognition using sequential deep learning[J].Multimedia Tools and Applications,2020,79(25):17303-17330.

[3] Shin D,Fowlkes C C,Hoiem D.Pixels,voxels,and vi-ews:a study of shape representations for single view 3D object shape prediction[C]// Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).IEEE,2018:3061-3069.