本发明涉及人工智能,尤其涉及一种头部3d动作捕捉方法、系统及存储介质。
背景技术:
1、伴随着元宇宙技术的发展,虚拟直播也变得日益盛行起来。直播行业由最初的2d虚拟直播发展到现在的3d虚拟直播,由传统的二维卡片人发展到现在的三维虚拟人,其3d动作驱动方式也经历着基于摄像头的简易平面动捕(2d动捕)到定制化的动捕服动捕(3d动捕)的演变。
2、通过2d动捕进行虚拟直播,能够让人看到简易的二维形象,其成本低、易普及,在元宇宙发展初期,能够满足大众的审美需求,但随着web3.0、元宇宙时代的到来,2d动捕的缺点也日益显露,如风格都偏向卡通类型、虚拟形象运动大多都是基于平面的位移。
3、通过定制化的动捕头盔3d动捕进行虚拟直播,能够让人看到逼真的3维形象,其受欢迎程度广、市场前景广,符合大众日益增长的审美需求,但相比较与2d动捕的易普及性而言,通过动捕头盔进行3d动捕虚拟直播的缺点也就更加明显,需要定制化三维形象以及购买专业的动捕头盔,总体成本较高,不易普及。
4、对此,我们借鉴2d动捕的思想,通过摄像头去对头部动作进行三维动捕,代替动捕头盔的方式驱动虚拟人物,进行三维场景下的虚拟直播,满足元宇宙场景下日益丰富的虚拟直播需求。
技术实现思路
1、本发明的目的在于提供一种头部3d动作捕捉方法、系统及存储介质,能够在不使用动捕服的情况下对头部的3d动作精准捕捉。
2、为了实现上述目的,本发明的第一方面提供一种头部3d动作捕捉方法,包括:
3、通过相机采集人体头部目标关键点的三维坐标;
4、利用所述三维坐标组成矩阵并进行旋转矩阵计算得到三维旋转矩阵;
5、将所述三维旋转矩阵转换为三维旋转向量后输出驱动数据。
6、优选地,所述目标关键点为左眼角点、右眼角点、左嘴角点、右嘴角点。
7、优选地,采集人体头部目标关键点的三维坐标的方法包括:
8、利用mediapipe识别人体头部目标关键点,进行标准化处理后得到所述目标关键点的标准坐标;
9、根据所述标准坐标和相机画面尺寸计算所述目标关键点的三维坐标。
10、进一步地,根据所述标准坐标和相机画面尺寸计算所述目标关键点的三维坐标的方法包括:
11、获取所述相机画面的尺寸,所述尺寸包括宽度和高度;
12、将所述标准坐标中的x坐标与所述宽度相乘,将所述标准坐标中的y坐标与所述高度相乘,结合所述标准坐标中的z坐标得到所述目标关键点的三维坐标。
13、优选地,利用所述三维坐标组成矩阵并进行旋转矩阵计算得到三维旋转矩阵的方法包括:
14、将相机坐标作为中心位置,选取任意三个所述目标关键点作为计算点,并组成3*3维度的计算点矩阵,剩余的一个所述目标关键点作为验证点;
15、利用p3p算法计算所述计算点矩阵,得到3*1维度的三维旋转矩阵。
16、优选地,将所述三维旋转矩阵转换为三维旋转向量后输出驱动数据的方法包括:
17、根据罗德里格旋转公式和所述三维旋转矩阵计算三维旋转向量后输出驱动数据。
18、较佳地,所述头部3d动作捕捉方法用于虚拟直播。
19、与现有技术相比,本发明提供的一种头部3d动作捕捉方法具有以下有益效果:
20、本发明提供的一种头部3d动作捕捉方法,利用相机采集人体头部目标关键点的三维坐标,接着利用三维坐标组成矩阵并进行旋转矩阵计算得到三维旋转矩阵,最终将三维旋转矩阵转换为三维旋转向量后输出驱动数据。
21、可见,相比较于现有技术通过定制动捕头盔来实现头部3d动作捕捉的方案而言,本发明直接通过相机采集人体头部目标关键点的方法,精准地实现了对头部动作的实时捕捉,有效降低了设备成本并增强了该动捕设备的适用性,最后,再根据算法生成可以驱动3d虚拟人物模仿主播头部动作的驱动数据,以达到利用虚拟人物进行直播的目的。
22、本发明的第二方面提供一种头部3d动作捕捉系统,应用于上述技术方案所述的头部3d动作捕捉方法中,所述系统包括:
23、采集单元,用于通过相机采集人体头部目标关键点的三维坐标;
24、处理单元,用于利用所述三维坐标组成矩阵并进行旋转矩阵计算得到三维旋转矩阵;
25、计算单元,用于将所述三维旋转矩阵转换为三维旋转向量后输出驱动数据。
26、优选地,所述目标关键点为左眼角点、右眼角点、左嘴角点、右嘴角点。
27、与现有技术相比,本发明提供的头部3d动作捕捉系统的有益效果与上述技术方案提供的头部3d动作捕捉方法的有益效果相同,在此不做赘述。
28、本发明的第三方面提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述头部3d动作捕捉方法的步骤。
29、与现有技术相比,本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的头部3d动作捕捉方法的有益效果相同,在此不做赘述。
1.一种头部3d动作捕捉方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述目标关键点为左眼角点、右眼角点、左嘴角点、右嘴角点。
3.根据权利要求1或2所述的方法,其特征在于,采集人体头部目标关键点的三维坐标的方法包括:
4.根据权利要求3所述的方法,其特征在于,根据所述标准坐标和相机画面尺寸计算所述目标关键点的三维坐标的方法包括:
5.根据权利要求2所述的方法,其特征在于,利用所述三维坐标组成矩阵并进行旋转矩阵计算得到三维旋转矩阵的方法包括:
6.根据权利要求2所述的方法,其特征在于,将所述三维旋转矩阵转换为三维旋转向量后输出驱动数据的方法包括:
7.根据权利要求1所述的方法,其特征在于,所述头部3d动作捕捉方法用于虚拟直播。
8.一种头部3d动作捕捉系统,其特征在于,包括:
9.根据权利要求8所述的系统,其特征在于,所述目标关键点为左眼角点、右眼角点、左嘴角点、右嘴角点。
10.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。
