无处不在,搜你所想

三维重建意义

三维重建作为环境感知的关键技术之一，可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。现在每个人都在研究识别，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。所以，在识别的基础上，计算机视觉下一步必须走向三维重建。本文笔者将带大家初步了解三维重建的相关内容以及算法。

三维重建教程：稠密匹配、点云融合、网格重建与优化、纹理贴图

三维重建定义

在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。

常见的三维重建表达方式

常规的3D shape representation有以下四种：深度图（depth）、点云（point cloud）、体素（voxel）、网格（mesh）。

△深度图

深度图其每个像素值代表的是物体到相机xy平面的距离，单位为 mm。

△体素

体素是三维空间中的一个有大小的点，一个小方块，相当于是三维空间种的像素。

△点云

点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。在我看来点云可以将现实世界原子化，通过高精度的点云数据可以还原现实世界。万物皆点云，获取方式可通过三维激光扫描等。

△三角网格、用三角网格重建

三角网格就是全部由三角形组成的多边形网格。多边形和三角网格在图形学和建模中广泛使用，用来模拟复杂物体的表面，如建筑、车辆、人体，当然还有茶壶等。任意多边形网格都能转换成三角网格。

三角网格需要存储三类信息：

顶点：每个三角形都有三个顶点，各顶点都有可能和其他三角形共享。.

边：连接两个顶点的边，每个三角形有三条边。

面：每个三角形对应一个面，我们可以用顶点或边列表表示面。

三维重建的分类

根据采集设备是否主动发射测量信号，分为两类：基于主动视觉理论和基于被动视觉的三维重建方法。

主动视觉三维重建方法：主要包括结构光法和激光扫描法。

被动视觉三维重建方法：被动视觉只使用摄像机采集三维场景得到其投影的二维图像，根据图像的纹理分布等信息恢复深度信息，进而实现三维重建。

其中，双目视觉和多目视觉理论上可精确恢复深度信息，但实际中，受拍摄条件的影响，精度无法得到保证。单目视觉只使用单一摄像机作为采集设备，具有低成本、易部署等优点，但其存在固有的问题：单张图像可能对应无数真实物理世界场景（病态），故使用单目视觉方法从图像中估计深度进而实现三维重建的难度较大。

近几年代表性论文回顾

-从单张图像恢复深度图

△Depth, NIPS 2014, Cited by 1011

这篇论文思路很简单，算是用深度学习做深度图估计的开山之作，网络分为全局粗估计和局部精估计，对深度由粗到精的估计，并且提出了一个尺度不变的损失函数。

△主体网络

△Scale-invariant Mean Squared Error

本文总结

（1）提出了一个包含分为全局粗估计和局部精估计，可以由粗到精估计的网络。

（2）提出了一个尺度不变的损失函数。

-用体素来做单视图或多视图的三维重建

△Voxel, ECCV 2016, Cited by 342

这篇文章挺有意思，结合了LSTM来做，如果输入只有一张图像，则输入一张，输出也一个结果。如果是多视图的，则将多视图看作一个序列，输入到LSTM当中，输出多个结果。

△Framework

如主框架所示，这篇文章采用深度学习从2D图像到其对应的3D voxel模型的映射: 

首先利用一个标准的CNN结构对原始input image 进行编码；再利用一个标准 Deconvolution network 对其解码。中间用LSTM进行过渡连接, LSTM 单元排列成3D网格结构, 每个单元接收一个feature vector from Encoder and Hidden states of neighbors by convolution，并将他们输送到Decoder中. 这样每个LSTM单元重构output voxel的一部分。 

总之，通过这样的Encoder-3DLSTM-Decoder 的网络结构就建立了2D images -to -3D voxel model 的映射。

△3D LSTM 和 3D GRU

损失函数采用的是二分类的交叉熵损失，类似于在三维空间做分割，类别是两类，分别是占有或者不占有。

△损失函数

除了交叉熵loss可以用作评价指标，还可以把预测结果跟标签的IoU作为评价指标，如下图所示：

△IoU可作为评价指标

△Single Real-World Image Reconstruction

△Reconstructing From Different Views.

本文总结

（1）采用深度学习从2D图像到其对应的3D voxel模型的映射，模型设计为Encoder+3D LSTM + Decoder。

（2）既适用单视图，也适用多视图。

（3）以体素的表现形式做的三维重建。

（4）缺点是需要权衡体素分辨率大小（计算耗时）和精度大小。

-用点云来做单张RGB图像的三维重建

△Point Cloud, CVPR 2017, Cited by 274

大多数现存的工作都在使用深度网络进行3D 数据采用体积网格或图像集合（几何体的2D视图）。然而，这种表示导致采样分辨率和净效率之间的折衷。在这篇论文中，作者利用深度网络通过单张图像直接生成点云，解决了基于单个图片对象生成3D几何的问题。

点云是一种简单，统一的结构，更容易学习，点云可以在几何变换和变形时更容易操作，因为连接性不需要更新。该网络可以由输入图像确定的视角推断的3D物体中实际包含点的位置。

模型最终的目标是：给定一张单个的图片（RGB或RGB-D），重构出完整的3D形状，并将这个输出通过一种无序的表示——点云（Point cloud）来实现。点云中点的个数，文中设置为1024，作者认为这个个数已经足够表现大部分的几何形状。

△主框架

鉴于这种非正统的网络输出，作者面临的挑战之一是如何在训练期间构造损失函数。因为相同的几何形状可能在相同的近似程度上可以用不同的点云来表示，因此与通常的L2型损失不同。

本文使用的 loss

△倒角距离

△搬土距离

对于解决2D图片重构后可能的形状有很多种这个问题，作者构造了一个 Min-of-N loss (MoN) 损失函数。

Min-of-N loss 的意思是，网络G通过n个不同的r扰动项进行n次预测，作者认为从直觉上来看，我们会相信n次中会至少有一次预测会非常接近真正的答案，因此可以认为这n次预测与真正的答案的距离的最小值应该要最小。

△实验可视化结果

△实验数值结果

您的支持是对我最大的鼓励！

赞赏支持