基于Kinect人体动态三维重建

摘要：从图像中恢复出三维物体表面模型的方法称为3D重构，是计算机图形学研究领域中一个重要的研究方向。准确可靠的三维动态几何重建在影视制作和游戏开发中具有重要作用。不同于静态物体表面三维重建，动态几何三维重建需要研究帧与帧之间准确的对应信息。本文提出的方法基于单个Kinect硬件系统，利用Kinect重建出人体的静态三维模型，结合Kinect识别出的骨架进行人物的动态三维模型重建。

1 内容介绍

　　近年来，计算机动画及计算机视觉的快速发展使得运动物体的几何跟踪变得重要起来。而现代CG动画中创建准确可靠的动态几何三维数字化也是相当重要的一部分。其应用领域非常广泛，包含机器人学、生物医学、交互游戏式的教育和影视制作等。

　　人体三维重建就是指通过获取包括RGB-D信息或者轮廓信息等原始数据，然后对这些数据进行预处理，如滤波、去噪和增强等，再进行针对这些数据的分析，如前景分割和特征提取等，最后通过重建算法进行三维表面的重建。

2 相关工作

　　目前，大多数的研究机构和高校通过搭建一些由多个相机组成的相机阵列进行360度的人体表面模型重建。大致上可以将其分为四类：实时绘制类、基于人体模板类、无人体模板类及窄基线类等。

　　实时绘制类系统主要是用于实时的交互编制的三维场景重建方法，在交互式立体游戏和远程视频会议等方面有较多的应用。它的核心技术主要是通过轮廓进行形状的恢复。文献[1-3]中的系统采用体素离散化的方法进行人体三维对象的实体体素。基于人体模板类系统是单相机或多相机进行非标记的运动捕捉方法的主要策略。该方法通过提取并计算基于骨架信息的模型参数进行人体姿态的恢复，同时还可以获得时间上的运动参数描述。基于多视图的无模板主要是基于多视图的无模板的三维重建方法。这种方法不需要有关场景对象的先验知识，通过多视图上的立体匹配方法就可以进行三维重建。这类系统最早的也是最具有代表性的是“Virtualized Reality”项目^[4]所搭建的。而窄基线类采集系统是对比有限视角范围内的场景深度信息进行恢复，达到虚拟插值的结果。这种系统相邻相机间距离较小，不能提取完整的三维信息。这种非全景采集方式的多摄像机系统通常是基于深度图进行求解和绘制实现的。Zitnick 等[5]在微软研究院搭建了高质量场景虚拟视图绘制系统。

　　采用以上的系统进行重建的方法可以统一称为被动式的方法。而主动式的方法比这类被动式的方法更精准，最常见的主动式的方法是通过激光扫描仪进行三维重建。但这种方法对实验设备要求高，处理过程也比较复杂。而基于结构光的方法^[6]成本较低，但无法恢复物体的纹理信息。基于飞行时间(Time of Flight, ToF)的深度相机^[7]是一种可以实时获得场景深度信息的技术，它通过主动地向待测场景发射被调制的光脉冲，用传感器接收从物体返回的光，并计算光脉冲的飞行(往返)时间来得到场景的深度图。微软推出的3D体感器Kinect^[8]同时具有了低成本和多传感捕捉的优点，不仅可以采集到精确的深度几何信息，而且可以输出场景的纹理信息。所以，本文主要探讨通过使用低廉的Kinect相机对运动的人体进行三维重建。

3 动态三维重建

3.1 系统方法概述

　　本文提出的方法主要利用Kinect fusion^[9]扫描出来的演员三维静态模型、深度和骨架序列，基于骨架非标记的运动捕捉方法获取新的骨架序列和每个动作的动态三维模型。由于Kinect采集的骨架序列无法保持拓扑一致性，本章提出一种新的利用多优先级反向运动学方法(inverse kinematics method)^[10]进行处理，来获取动作参数和拓扑骨架运动序列。三维模型上的每个点对于骨架节点的权重自动计算出来，该权重描述了静态三维模型与骨架之间的关系。基于计算出的权重，利用双四元数剥皮(dual quaternions skinning (DQS) method)方法[11]计算出新骨架的三维模型。然后通过稀疏表示进行变形后模型的优化，如图3所示。

3.2 自适应多优先级运动估计

　　基于刚性变形理论^[12]，进行自适应多优先级的运动估计。对于基于体感相机骨架姿态的运动参数骨架，每个骨架节点的位置约束不可能同时满足，因此为经典的矛盾性问题。如图1所示，该问题的解决方法一般有两类：一是加权方法，二是优先级方法。加权方法是最常用、最简单的方法，优先级方法则便于设计优先级引导的运动估计方法，使得可以更准确地仲裁各个矛盾。因此，拟根据体感相机骨架拓扑变化的稳定性，即每个节点所对应肢节长度的变化，设定优先级的高低。越稳定的节点，优先级越高，反之亦然。

　　本部分拟设计三重循环优先级算法来求解经典的反向运动学问题。从内到外，分别为优先级循环、箝位循环、收敛循环。其中，优先级循环按照优先级从高到低循环处理计算，箝位循环用来检查并去除已达极限的节点，收敛循环用来控制收敛性。如图2所示，以两个优先级的矛盾性问题为例进行说明。假设一个两个自由度的链{θ₁，θ₁｝，链的末端有个x方向上的高优先级约束Δx₁，前臂中段有个y方向上的低优先级约束Δx₂。那么，线性化求解方案为：

(1)

　　其中，Δθ为n维姿态变化向量，Δx为m维的约束，J为m×n的雅可比矩阵，N(J)表示J的零空间，P_N(J)为n×n的到N(J)空间的投影算子，阻尼最小二乘逆J^+λ定义为：

(2)

　　其中，r为矩阵J的秩，σ_i为矩阵J的奇异值，{u_i}和{v_i}分别是J空间和N(J)的补空间的基向量，λ为阻尼因子。

3.3 保体积真实感变形

　　为了在模型变形中保持体积和局部细节，本方案拟首先将静态三维模型根据骨架结构分为若干个部分，并采用热扩散的方法计算蒙皮权重。然后，用埃尔米特径向基函数，即一个平滑三维标量场f_i的0.5等值面，来近似每个部分表面，并采用梯度控制的融合方法将各个部分的f_i融合为一个统一的场函数。保存静态模型每个顶点的场值f⁰(p_i)(包含了几何细节信息)。每个标量场fi根据权重和骨架参数通过对偶四元数方法进行变换，并同样采用梯度控制的融合方法将各个部分的f_i融合为一个统一的场函数f。为了保持模型的几何细节，采用牛顿迭代法将每个顶点p_i投影到静态姿态的场值f⁰(p_i)上：

(3)

　　其中，λ用来调节收敛速度和精度。为了避免面片产生较大的失真甚至自相交，采用以下公式迭代计算顶点位置：

(4)

　　其中，，q_i,j是投影到p_i切平面的单环邻域点，是重心坐标，使得。最后，采用拉普拉斯平滑技术进行平滑：

(5)

　　其中，的单环领域的中心。

3.4 优化

　　基于稀疏表示的非刚性配准方法(Sparse Non-Rigid Registration)^[13]定义通过DQS变形后的模型M_s上的点为，N是点的个数。同样，将深度上的模型面片M_t上的点表示为。然后计算在Kinect深度相机视角下变形后模型的可见点，找出最相似与深度面片的点的对应关系：，其中有关系为代表点标号的映射关系。基于对应关系f，即通过最小化能量方法式，算出模型M_s上每个点的的变换矩阵Ti：

(6)

　　其中，T是一个4N×3的矩阵，它将Ti作为它的列;是q_f(_i)的卡笛尔坐标系，N_i表示一个圆形邻域连接的边缘。定义一个不同的矩阵，其中G代表M_s上的边的数目，L的每一行对应M_s上的一条边，L的每一列对应M_s上的一个点。对于第r条边，它的两个顶点分别为p_i和p_j，因此，可以得到L_r,i=1和L_r,j=-1。式(6)也可重写成如下形式：

(7)

　　其中：

(8)

　　其中，I₄是4×4的单位矩阵，表示克罗内克积(Kronecker product)。通过迭代查找最相似对应关系并通过交替方向法(alternate direction method)解式(7)直到收敛。我们为ADM算法15外和25内迭代。图3表明了该动作优化方法的效果。优化前的面片和真实动作连续性并不是很强，进行算法的优化后的结果和真实动作看起来连续性强，通过投影可以看出结果的不同。图3中，(a)优化前面片，(b)是优化后的面片，优化前后的结果多少有些不同;具体比对通过投影可以看出来：(c)是优化前的模型投影到RGB图上的结果，可以看出来并不能完全重合，(d)是优化后的投影结果，相对于优化前，有明显的改善，与RGB图更加重合，运动捕捉的结果相对于优化前精确度上也有了比较明显的改善。

4 实验结果

　　为了说明实验结果，本文通过驱动一个人物静态模型模板进行变形得到与实际动作相对应的三维模型。通过与当时模型的RGB信息的对比，投影操作，验证了所重建出的模型的准确性。如图4所示，图中给出了通过一个静态模型生成其它对应动作的模型信息，同时也增加了对应时刻Kinect所采集RGB信息。

5 结论

　　动态运动模型的空时稀疏采样实现了鲁棒真实感动画。给出最优的视角、运动联合采样数目和密度，利用压缩感知方法给出视角和运动的最佳搭配方案。自适应多优先级运动估计与保体积真实感变形实现精确真实感动画。根据骨架拓扑结构变化规律设计自适应的多优先级运动估计方法，刻画了表面的几何流特征，给出表面和变形体的隐性表达，进而实现高真实感的实时表面变形。

参考文献：

　　[1] Cheung K M, Kanade T, Bouguet J Y, et al. A real time system for robust 3-D voxel reconstruction of human motions. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head, SC, USA, 2000. 714–720.

　　[2] Grau O, Pullen T, Thomas G. A combined studio production system for 3-D capturing of live action and immersive actor feedback. IEEE Transactions on Circuits and Systems for Video Technology, 2004, 14(3):370–380.

　　[3] Hasenfratz J M, Lapierre M, Sillion F. A real-time system for full body interaction with virtual worlds. Proceedings of Eurographics Symposium on Virtual Environments, Grenoble, France, 2004. 147–156.

　　[4] Matsuyama T, Wu X, Takai T, et al. Real-time 3-D shape reconstruction, dynamic 3-D mesh deformation and high fidelity visualization for 3-D video. Computer Vision and Image Understanding, 2004, 96(3):393–434.

　　[5] Zitnick C, Kang S B, Uyttendaele M, et al. High-quality video view interpolation using a layered representation. ACM Transactions on Graphics, 2004, 23(3):600–608.

　　[6] Zhang L, Curless B, and Seitz S. M. Rapid shape acquisition using color structured light and multi-pass dynamic programming. Proceedings of the 1st International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT), Padova, Italy, June 19-21, 2002. 24-36.

　　[7] Kolb A, Barth E, and Koch R. ToF-sensors: New dimensions for realism and interactivity. Proceedings of IEEE Conference on Computer Vision & Pattern Recognition, Workshop on ToF-Camera based Computer Vision, 2008.

　　[8] Microsoft Corp. Redmond WA. Kinect for Xbox 360.

　　[9] Newcombe R A, Izadi S, Hilliges O, et al. KinectFusion: Real-time dense surface mapping and tracking[C]//Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on. IEEE, 2011: 127-136.

　　[10] Buss S R. Introduction to inverse kinematics with jacobian transpose, pseudoinverse and damped least squares methods[J]. IEEE Journal of Robotics and Automation, 2004, 17(1-19): 16.

　　[11] Kavan L, Collins S, Žára J, et al. Skinning with dual quaternions[C]//Proceedings of the 2007 symposium on Interactive 3D graphics and games. ACM, 2007: 39-46.

　　[12] Vaillant R, Barthe, Lo&#, Guennebaud, Ga&#, et al. Implicit Skinning: Real-Time Skin Deformation with Contact Modeling[J]. Acm Transactions on Graphics, 2013, 32(4):96-96.

　　[13] Yang J, Li K, Li K, et al. Sparse Non‐rigid Registration of 3D Shapes[C]// Computer Graphics Forum. 2015:89-99.

本文来源于中国科技期刊《电子产品世界》2016年第8期第35页，欢迎您写论文时引用，并注明出处。