新闻中心

EEPW首页 > 消费电子 > 业界动态 > Facebook新论文说明对镜面在虚拟场景中的重建

Facebook新论文说明对镜面在虚拟场景中的重建

作者:时间:2018-07-15来源:网络收藏

  基于传感器的扫描技术已经可以很成功的重建室内场景,但在这些扫描方案的应用中,镜子和玻璃等表面的重建成了显著的问题,一个镜子会在其中形成现实世界的镜像,而对于扫描系统来说,镜像世界和现实世界实际上很难区分,玻璃也会产生与镜子很相似的效果,然而这两者都是在扫描生活场景是不可避免的成分,由于它们造成的困难,最近场景重建方法(如Matterport3D)甚至都需要用户在扫描时手动选择窗户和镜子。

本文引用地址:http://www.eepw.com.cn/article/201807/383284.htm

  

 

  最近,的研究人员发表了一篇论文,用于在扫描过程中自动识别镜子和玻璃等容易产生镜像的表面,并且对该表面平面实现精确的识别和边界的检测。

  根据论文,的研究人员采用的是一种称为AprilTag的标记方案。这个AprilTag实际上是一种用于机器人视觉等的技术,看起来就像是一个二维码,在机器人视觉的运用中,AprilTag可以贴于障碍物上,传感器对这个“二维码”进行识别,就可以了解前方的障碍,并做出应对。

  

 

  在论文中,对AprilTag的运用更有趣一些,简单地说,它没有选择将AprilTag贴在镜子和玻璃表面再由扫描设备识别(可能这样还不如直接在扫描过程中选择镜面方便),而是在扫描装置的下方的一个画有AprilTag的薄片上,对于可以形成镜像的物品,扫描设备即可识别镜像中的AprilTag,对于不能形成镜像的物品,就没有AprilTag的镜像了。

  

 

  关于镜面表面和边缘的识别,镜面表面是通过将Slam装置精确的姿势估计和观测AprilTag的镜面图像在空间的移动两者结合起来运算得到的。

  

 

  而对于的边缘的识别,则是依靠多个功能通道的识别实现的,其中包括几何识别、图像强度识别、AprilTag特征识别等等,通过将这些不同特征的识别计算,即可估计出镜面边缘的位置和样式,这还被用来区分玻璃和镜面的反射,因为玻璃的反射更模糊,图像范围更大,而镜面反射则更加保真。

  

 

  当然这里只是简单的解释,实际上,为了均匀的镜面反射和更好地识别,对于照明光线、画有AprilTag的薄片的组成都有更为严谨的要求,而如果去看镜面表面识别和边缘估计的论文部分,就会看到大量的公式计算。

  那么,这种方法的效果如何呢?的研究人员在i7-5930K 、NVIDIA TITAN Xp GPU和Ubuntu16.04的环境下实现了重建系统的配备,其中深度图的分辨率为960×640像素,RGB图像的分辨率为1224×1024像素。包括深度提取,深度融合,几何使用双轮廓提取,纹理生成在内的重建系统可以在在大约37Hz的频率下运行;在使用12个线程时,系统可以以大约70Hz估算RGB图像中的AprilTag位置。

  

 

  另外,对于边界提取的特征计算在大约38Hz的频率下运行;边界分割优化的吞吐量是每秒60k像素,640×480像素的特征通道集需要约5.12秒进行分割,在700帧下重建一面面积大约0.5平方米的镜子大约需要90秒,而且单个镜面观察的几何误差基本始终为零。

  

 

  这种方法当然也有它的局限性,首先它对于无框镜面或者遮挡镜面的边缘识别并不好;再者,由于它对镜面的识别完全基于AprilTag,如果输入装置没有观测到或者无法识别图像质量很差的AprilTag,那对于镜面的重建就会出现问题。比如虽然这种方法可以在单个的观察中精确观测镜面,但它在门、玻璃、或者是弯曲非常严重的表面(凸面镜、凹面镜等)的观测效果很明显更差,就是由于检测到的AprilTag的投影位置变化、扭曲了的缘故;另外,如果扫描装置快速移动,也有可能会造成AprilTag图像的失真,系统无法检测到该图像,导致重建失败。



关键词: Facebook 虚拟场景

推荐阅读

评论

技术专区

关闭