1.本发明涉及计算机图形学技术领域，涉及一种基于静态扫描点云输入的三维人体参数化重建方法和系统。
背景技术：2.三维人体的参数化重建技术在游戏、动画、虚拟现实、增强现实等领域都有着重要的作用。相比静态重建，参数化重建能够基于骨骼绑定，控制重建结果的姿势，具有更加广泛的应用空间。
3.传统方法中，静态三维数据的参数化重建工作主要依赖手动制作，人力成本高、流程繁琐，需要经过训练的专业人士对点云进行微调，并手动设计姿势与网格的绑定，从而实现静态数据的驱动。
4.而在自动化重建方面，目前的方法主要以图像作为输入。
5.专利cn113570707a、cn109859296a、cn114049435a均以二维人体图像作为输入，采用神经网络回归的方法进行三维重建。
6.专利cn113284249a基于环形相机收集到的多视角图片输入，采用图神经网络的方法进行参数化人体的重建。
7.这两类方法都是基于回归的方法，图像数据虽然获得更容易，但由于包含的三维信息较少，所以相较点云数据，重建出的细节信息较差。
8.此外，国内外论文中，基于静态扫描点云输入的重建方法往往需要大量的数据进行训练，训练时间长硬件成本高，同时重建结果的视觉细节较差，在实际应用上具有很大的限制。
技术实现要素：9.本发明提供了一种基于单个人体扫描点云输入和参数化人体模板的三维人体参数化重建方法，能够基于少量数据进行视觉细节效果较好的人体重建。
10.一种基于单个人体扫描点云输入和参数化人体模板的三维人体参数化重建方法,包括分阶段的参数拟合和分区域的逐点位移拟合。
11.所述的分阶段的参数拟合，用于将参数化人体模板的外形与人体扫描点云的外形对齐，包括以下步骤：
12.步骤1：将参数化人体模板姿势参数对应的关节划分为主干关节、中间关节、细关节；
13.步骤2：优化主干关节和中间关节，同时优化形状参数与刚性位移参数；
14.步骤3：优化中间关节和细关节，同时优化形状参数参数。
15.所述的分区域的逐点位移拟合，用于对参数化人体模板进行细节上的微调，包括以下步骤：
16.步骤1：将参数化人体模板的表面划分为不同区域；
17.步骤2：针对不同区域设置不同的优化力度，进行逐顶点的优化。
18.本发明的方法,通过分阶段的参数拟合能够实现姿势外形的初步配准，实现平均误差小于1cm的重建效果；而分区域的逐点位移拟合能够对细节进行微调，进一步提高可视化效果。
19.说明书附图
20.图1本发明的流程示意图。
具体实施方式
21.以下结合技术方案和附图详细叙述本发明的具体实施例。
22.s1：针对输入的扫描点云，获得标记点，作为之后方法的辅助。
23.在这一步中，可以将点云投影后采用基于图像的关键点检测方法获得(不包含在本专利范围内)。主要获取手部的关键点(包括手掌和指关节)和脸部关键点。同时，提前确定对应smplx模板上的点的索引。因为smplx模板上对应点的索引固定，所以直接记录对应的索引值就可以针对不同数据进行复用。
24.这一步对关键点的精度和完整度要求不高，仅作为后期优化的辅助；
25.s2：选择smplx模型作为参数化模板，对输入数据进行初处理。
26.首先将数据的单位换算到与smplx模板一致，并通过z方向上的最大最小值之差作为标准，对数据进行放缩，从而达到和smplx模板相近的尺度。
27.接着进行方向的粗对齐。通过标注点左右手连线向量以及smplx左右手连线向量计算朝向差距，对模板进行水平方向上的旋转，对朝向进行粗略对齐；
28.s3：进行smplx参数的优化。smplx的参数包括姿势参数θ、形状参数β以及刚性位移t。在优化中采用的能量函数为
29.e1(θ，β，t)＝w1e
p2m
(θ，β，t)+w2e
mmp
(θ)+w3e
pp
(θ)+w4e
lm
(θ，β，t)+w5e
bp
(β)
30.其中{wi|i＝1，...，5}是手动设定的权重超参数。
31.e
p2m
(points to mesh)是模板网格m
smplx
＝{v
smplx
，f
smplx
}和扫描数据网格m
scan
＝{v
scan
，f
scan
}之间的倒角距离(chamfer distance)，是主要约束，用于缩小两个网格之间的差异进行对齐，其定义如下：
[0032][0033]
其中，距离dist(p1，p2)定义为：
[0034]
dist(p1，p2)＝|(p
1-p2)*n1|
[0035]
n1是p1处的法向，可以通过网格曲面计算得到，*表示内积运算，p1与p2通过最近点匹配，在每次迭代中会重新计算。
[0036]emmp
(max mixture prior)为针对姿势的高斯混合先验，目的在于防止出现于正常姿势相差过大的姿势，通过已有的姿势分布对优化过程中的结果进行约束：
[0037][0038]
其中{cj|j＝1，...，8}为权重参数，{gj|j＝1，...，8}为高斯混合分布，来自一百人的一百万个姿势参数。
[0039]epp
(pose prior)为姿势先验，主要是通过给某些关节的角度加以惩罚，来约束关节的不正常弯曲。
[0040][0041]
其中i为膝关节和肘关节相关的关节索引，正负号的取舍由具体关节确定，通过指数函数给反常的关节姿势加入惩罚。
[0042]elm
(landmark)是由标注点带来的约束。引入了手部和脸部的标注点来增加约束条件，降低优化问题的难度。
[0043][0044]
其中{pi|pi∈p
landmark
}为扫描数据上的标注点，pi′
为smplx标注的对应点，ci为权重。
[0045]ebp
(body prior)为针对shape参数的正则化约束，防止得到过大的shape参数。
[0046]ebp
＝||β||2[0047]
在优化时，同时对姿势参数和形状参数进行优化，其中姿势参数的优化采用分阶段的策略，拆解如下：
[0048]
阶段1：以较大的权重优化左右肩关节、左右髋关节以及腰关节，以较小的权重优化左右肘关节和左右膝关节，固定其他关节；
[0049]
阶段2：固定左右肩关节、左右髋关节以及腰关节的参数，以较大的权重优化左右肘关节和左右膝关节，较小的权重优化其他关节(如手部关节、足部关节)
[0050]
即将pose参数拆分成多个部分θ＝{θ1，θ2，θ3}，其中θ1包含了左右肩关节、左右髋关节以及腰关节，θ2包含了肘关节、膝关节，θ3包含了其他较为细节的关节，如手部关节、足部关节。
[0051]
在第一阶段的优化中，着重优化θ1、θ2和t，且θ1的优化力度更大，θ2优化力度较小：
[0052][0053]
在第二阶段的优化中，仅优化θ2和θ3，且θ2的优化力度较大，θ3优化力度较小：
[0054][0055]
s4：逐顶点位移的优化
[0056]
针对参数化模板加入一个逐顶点的位移，以增强对细节的表现。
[0057]
优化时，将身体划分为四个区域，分别安排不同的优化策略：
[0058]
区域0：服装区域，由于目标是重建裸体人体，这一部分的优化力度小，且约束模板曲面在数据内部；除手部手部、肩部区域和裸露皮肤区域(两个小臂和两个小腿)外,其他部分为服装区。
[0059]
区域1：裸露皮肤区域，为优化的主要区域；
[0060]
区域2：肩部区域，肩部容易受到领口影响，且对视觉结果影响大，加入较大力度的优化；
[0061]
区域3：手部区域，手部细节多、法向复杂，不加入位移。
[0062]
优化时采用的能量函数：
[0063][0064]
其中，e
p2m
为倒角距离，和smplx优化中的定义一致，vi为不同区域对应的点，且有w
′
11
＞w
′
21
＞w
′
01
。此外，当i为0时，仅计算v0在m
scan
外部的情况，从而约束重建人体保持在服装内部。
[0065]esfn
为光滑约束，通过约束相邻面片的法向差异，来避免出现尖刺。
[0066]elap
为laplace项，约束offset前后局部特征的稳定性，即：
[0067][0068]
其中，p为未加入offset的smplx点，p
′
为与p对应的加入offset之后的点，l(
·
)为拉普拉斯运算。
技术特征：1.一种基于单个人体扫描点云输入和参数化人体模板的三维人体参数化重建方法，其特征在于，包括分阶段的参数拟合和分区域的逐点位移拟合；所述的分阶段的参数拟合，用于将参数化人体模板的外形与人体扫描点云的外形对齐，包括以下步骤：步骤1：将参数化人体模板姿势参数对应的关节划分为主干关节、中间关节、细关节；步骤2：优化主干关节和中间关节，同时优化形状参数与刚性位移参数；步骤3：优化中间关节和细关节，同时优化形状参数参数；所述的分区域的逐点位移拟合，用于对参数化人体模板进行细节上的微调，包括以下步骤：步骤1：将参数化人体模板的表面划分为不同区域；步骤2：针对不同区域设置不同的优化力度，进行逐顶点的优化。2.根据权利要求1所述的三维人体参数化重建方法，其特征在于，具体步骤如下：s1：针对输入的扫描点云，获得标记点，作为之后方法的辅助；主要获取手部的关键点和脸部关键点；同时，提前确定对应smplx模板上的点的索引；s2：选择smplx模型作为参数化模板，对输入数据进行初处理；首先，将数据的单位换算到与smplx模板一致，并通过z方向上的最大最小值之差作为标准，对数据进行放缩，从而达到和smplx模板相近的尺度；接着进行方向的粗对齐；通过标注点左右手连线向量以及smplx左右手连线向量计算朝向差距，对模板进行水平方向上的旋转，对朝向进行粗略对齐；s3：进行smplx参数的优化；smplx的参数包括姿势参数θ、形状参数β以及刚性位移t；在优化中采用的能量函数为e1(θ，β，t)＝w1e
p2m
(θ，β，t)+w2e
mmp
(θ)+w3e
pp
(θ)+w4e
lm
(θ，β，t)+w5e
bp
(β)其中{w
i
|i＝1，...，5}是手动设定的权重超参数；e
p2m
(points to mesh)是模板网格m
smplx
＝{v
smplx
，f
smplx
}和扫描数据网格m
scan
＝{v
scan
f
scan
}之间的倒角距离(chamfer distance)，是主要约束，用于缩小两个网格之间的差异进行对齐，其定义如下：其中，距离dist(p1，p2)定义为：dist(p1，p2)＝|(p
1-p2)*n1|n1是p1处的法向，通过网格曲面计算得到，*表示内积运算，p1与p2通过最近点匹配，在每次迭代中会重新计算；e
mmp
(max mixture prior)为针对姿势的高斯混合先验，目的在于防止出现于正常姿势相差过大的姿势，通过已有的姿势分布对优化过程中的结果进行约束：其中{c
j
|j＝1，..，8}为权重参数，{g
j
|j＝1，...，8}为高斯混合分布，来自一百人的一
百万个姿势参数；e
pp
(pose prior)为姿势先验，主要是通过给某些关节的角度加以惩罚，来约束关节的不正常弯曲；其中i为膝关节和肘关节相关的关节索引，正负号的取舍由具体关节确定，通过指数函数给反常的关节姿势加入惩罚；e
lm
(landmark)是由标注点带来的约束；引入了手部和脸部的标注点来增加约束条件，降低优化问题的难度；其中{p
i
|p
i
∈p
landmark
}为扫描数据上的标注点，p
i
′
为smplx标注的对应点，c
i
为权重；e
bp
(body prior)为针对shape参数的正则化约束，防止得到过大的shape参数；e
bp
＝||β||2在优化时，同时对姿势参数和形状参数进行优化，其中姿势参数的优化采用分阶段的策略，拆解如下：阶段1：以较大的权重优化左右肩关节、左右髋关节以及腰关节，以较小的权重优化左右肘关节和左右膝关节，固定其他关节；阶段2：固定左右肩关节、左右髋关节以及腰关节的参数，以大的权重优化左右肘关节和左右膝关节，小的权重优化其他关节；将pose参数拆分成多个部分θ＝{θ1，θ2，θ3}，其中θ1包含了左右肩关节、左右髋关节以及腰关节，θ2包含了肘关节、膝关节，θ3包含了其他较为细节的关节；在第一阶段的优化中，着重优化θ1、θ2和t，且θ1的优化力度更大，θ2优化力度小：在第二阶段的优化中，仅优化θ2和θ3，且θ2的优化力度较大，θ3优化力度小：s4：逐顶点位移的优化针对参数化模板加入一个逐顶点的位移，以增强对细节的表现；优化时，将身体划分为四个区域，分别安排不同的优化策略：区域0：服装区域，除手部手部、肩部区域和裸露皮肤区域(两个小臂和两个小腿)外，其他部分为服装区；区域1：裸露皮肤区域，为优化的主要区域；区域2：肩部区域；区域3：手部区域；优化时采用的能量函数：其中，e
p2m
为倒角距离，和smplx优化中的定义一致，v
i
为不同区域对应的点，且有w
′
11
＞w
′
21
＞w
′
01
；此外，当i为0时，仅计算v0在m
scan
外部的情况，从而约束重建人体保持在服装内部；
e
sfn
为光滑约束，通过约束相邻面片的法向差异，来避免出现尖刺；e
lap
为laplace项，约束offset前后局部特征的稳定性，即：其中，p为未加入offset的smplx点，p
′
为与p对应的加入offset之后的点，l(
·
)为拉普拉斯运算。
技术总结本发明公开了一种基于单人体扫描点云输入的分阶段三维人体参数化重建方法，本发明仅基于单个扫描点云数据输入，通过调整参数化模板参数的形式完成重建。本发明包括分阶段的参数拟合和分区域的逐点位移拟合。其中，分阶段的参数拟合能够实现姿势外形的初步配准，实现平均误差小于1cm的重建效果；分区域的逐点位移拟合能够对细节进行微调，进一步提高可视化效果。效果。效果。
技术研发人员：曹俊杰 朱睿鼎 苏志勋 舍应钦
受保护的技术使用者：大连理工大学
技术研发日：2022.05.10
技术公布日：2022/7/5
