本申请实施例涉及人体动作捕捉，尤其涉及一种人体动作捕捉方法、装置、设置、介质和程序。
背景技术：
1、人体动作捕捉技术是一种能够检测人体在三维空间中的姿态信息和运动轨迹，并在虚拟的三维环境中重现人体运动的技术。广泛应用在电影制作，运动分析、游戏制作和医疗诊断等领域。
2、目前人体动作捕捉的方法主要采用惯性传感器(inertial measurement unit，imu)采集到的惯性数据，以虚拟现实(virtual reality，vr)场景为例，用户需要在手腕、脚踝等部位佩戴集成有imu的可穿戴设备，头戴设备基于手腕、脚踝等部位佩戴的可穿戴设备发送的imu数据以及头戴设备的imu数据，估计得到人体姿态信息。
3、但是，在人体的手腕、脚踝等部位佩戴集可穿戴设备，对于用户具有束缚感，降低了用户体验。
技术实现思路
1、本申请实施例提供一种人体动作捕捉方法、装置、设备、介质和程序，基于头戴设备拍摄到的人体图像确定人体的关键节点的运动信息，可以不需要在人体关键节点佩戴用于辅助检测人体关键节点的运动信息的可穿戴设备，从而提高了用户体验。
2、第一方面，本申请实施例提供一种人体动作捕捉方法，所述方法包括：
3、获取头戴设备的位姿信息；
4、获取所述头戴设备拍摄到的人体图像；
5、根据所述人体图像，确定人体的关键节点的运动信息，所述关键节点的运动信息包括关键节点的位置信息或位姿信息，所述关键节点包括手关键节点、脚关键节点或者腰关键节点中的一个或者多个；
6、根据所述头戴设备的位姿信息确定头部的运动信息，所述头部的运动信息包括头部的位置信息或位姿信息；
7、根据所述关键节点的运动信息和所述头部的运动信息，通过反向动力学方法确定人体的姿态信息。
8、在一些实施例中，所述根据所述人体图像，确定人体的关键节点的运动信息，包括：
9、将所述人体图像输入深度学习网络，得到人体的所述关键节点的运动信息。
10、在一些实施例中，所述深度学习网络包括第一子深度学习网络和第二子深度学习网络；
11、所述将所述人体图像输入深度学习网络，得到人体的所述关键节点的运动信息，包括：
12、将所述人体图像输入所述第一子深度学习网络，得到所述手关键节点的运动信息；
13、将所述人体图像输入所述第二子深度学习网络，得到所述脚关键节点的的运动信息。
14、在一些实施例中，所述第二子深度学习网络还输出所述腰关键节点的运动信息。
15、在一些实施例中，所述深度学习网络还包括第三子深度学习网络，所述方法还包括：
16、将所述人体图像输入所述第三子深度学习网络，得到所述腰关键节点的运动信息。
17、在一些实施例中，当所述关键节点的运动信息包括关键节点的位置信息，所述头部的运动信息包括所述头部的位置信息时，所述根据所述关键节点的运动信息和所述头部的运动信息，通过反向动力学方法确定人体的姿态信息，包括：
18、根据所述关键节点的位置信息和所述头部的位置信息，通过反向动力学方法确定所述关键节点的姿态信息和所述头部的姿态信息；
19、根据所述关键节点的姿态信息和所述头部的姿态信息，确定所述人体的其他节点的姿态信息。
20、在一些实施例中，所述方法还包括：
21、通过人体样本图像对所述深度学习网络进行训练，所述人体样本图像的标签为所述关键节点的实际运动信息，所述关键节点的实际运动信息包括所述关键节点的实际位置信息或者实际位姿信息；
22、根据所述人体样本图像的标签和所述深度学习网络输出的估计运动信息，计算所述深度学习网络的损失；
23、根据所述深度学习网络的损失对所述深度学习网络的参数进行更新。
24、在一些实施例中，所述根据所述人体样本图像的标签和所述深度学习网络输出的估计位置信息，计算所述深度学习网络的损失，包括：
25、当所述关键节点在所述人体样本图像中可见时，根据所述人体样本图像的标签和所述深度学习网络输出的估计运动信息，计算所述深度学习网络的损失。
26、在一些实施例中，所述方法还包括：
27、根据所述人体样本图像确定所述关键节点的置信度；
28、根据所述关键节点的置信度，确定所述关键节点是否可见。
29、在一些实施例中，所述脚关键节点的运动信息为人体的脚踝的运动信息，和/或者，所述手关键节点的运动信息为人体的手腕的运动信息。
30、在一些实施例中，所述头戴设备采用视觉同步定位与地图构建slam方法获取所述头戴设备的位姿信息。
31、另一方面，本申请实施例提供一种人体动作捕捉装置，所述装置包括：
32、第一获取模块，用于获取头戴设备的位姿信息；
33、第二获取模块，用于获取所述头戴设备拍摄到的人体图像；
34、第一位置确定模块，用于根据所述人体图像，确定人体的关键节点的运动信息，所述关键节点的运动信息包括关键节点的位置信息或位姿信息，所述关键节点包括手关键节点、脚关键节点或者腰关键节点中的一个或者多个；
35、第二位置确定模块，用于根据所述头戴设备的位姿信息确定头部的运动信息，所述头部的运动信息包括头部的位置信息或位姿信息；
36、姿态估计模块，用于根据所述关键节点的运动信息和所述头部的运动信息，通过反向动力学方法确定人体的姿态信息。
37、另一方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述任一项所述的方法。
38、另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行如上述任一项所述的方法。
39、另一方面，本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的方法。
40、本申请实施例提供的人体动作捕捉方法、装置、设备、介质和程序，获取头戴设备的位姿信息，获取头戴设备拍摄到的人体图像，根据人体图像，确定人体的关键节点的运动信息，关键节点的运动信息包括关键节点的位置信息或位姿信息，关键节点包括手关键节点、脚关键节点或者腰关键节点中的一个或者多个；根据头戴设备的位姿信息确定头部的运动信息，头部的运动信息包括头部的位置信息或位姿信息；根据关键节点的运动信息和头部的运动信息，通过反向动力学方法确定人体的姿态信息。该方法基于头戴设备拍摄到的人体图像确定人体关键节点的运动信息，可以不需要在人体关键节点佩戴用于辅助检测人体关键节点的运动信息的可穿戴设备，从而提高了用户体验。
1.一种人体动作捕捉方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述人体图像，确定人体的关键节点的运动信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述深度学习网络包括第一子深度学习网络和第二子深度学习网络；
4.根据权利要求3所述的方法，其特征在于，所述第二子深度学习网络还输出所述腰关键节点的运动信息。
5.根据权利要求3所述的方法，其特征在于，所述深度学习网络还包括第三子深度学习网络，所述方法还包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，当所述关键节点的运动信息包括关键节点的位置信息，所述头部的运动信息包括所述头部的位置信息时，所述根据所述关键节点的运动信息和所述头部的运动信息，通过反向动力学方法确定人体的姿态信息，包括：
7.根据权利要求2-5任一项所述的方法，其特征在于，还包括：
8.根据权利要求7所述的方法，其特征在于，所述根据所述人体样本图像的标签和所述深度学习网络输出的估计位置信息，计算所述深度学习网络的损失，包括：
9.根据权利要求8所述的方法，其特征在于，还包括：
10.根据权利要求1-5任一项所述的方法，其特征在于，所述脚关键节点的运动信息为人体的脚踝的运动信息，和/或者，所述手关键节点的运动信息为人体的手腕的运动信息。
11.根据权利要求1-5任一项所述的方法，其特征在于，所述头戴设备采用视觉同步定位与地图构建slam方法获取所述头戴设备的位姿信息。
12.一种人体动作捕捉装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至11中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至11中任一项所述的方法。
