本申请实施例涉及视频处理,尤其涉及一种视频帧内编码方法、装置、设备、存储介质以及程序产品。
背景技术:
1、在视频编码过程中,编码器会根据视频内容的特性自动选择合适的预测模式,以适应不同的编码场景和需求,相关的预测模式包括帧内预测模式以及帧间预测模式。其中,帧内预测模式包括角度预测模式以及非角度预测模式,以vvc(versatile video coding,多功能视频编码)标准为例,帧内预测模式包括65种普通角度预测模式、planar模式、dc模式以及28种宽角度预测模式,其中,每种角度预测模式对应一种预测角度。编码器需要从多种帧内预测模式中选择合适的预测模式进行视频编码。
2、相关技术中,视频编码需要遍历所有的帧内预测模式,选择预测误差最小的模式作为最终预测模式,其计算量较大,编码效率较低,无法适应于实时性较强的视频直播场景,需要改进。
技术实现思路
1、本申请实施例提供了一种视频帧内编码方法、装置、设备、存储介质以及程序产品,解决了相关技术中视频编码的计算量较大,编码效率较低,无法适应于实时性较强的视频直播场景的问题,实现了将人体姿态识别与视频编码的帧内预测模式选择相结合,实现基于目标的内容自适应帧内编码,有效利用人体骨架的角度信息指示帧内预测的目标方向,提高预测的角度命中率,无需遍历所有的帧内预测模式,减少计算量,提高编码效率,可以适应于实时性较强的视频直播场景。
2、第一方面,本申请实施例提供了一种视频帧内编码方法,该方法包括:
3、获取待处理视频帧,对所述待处理视频帧进行人体姿态检测得到人体特征点;
4、根据所述人体特征点从所述待处理视频帧中划分出对应不同人体部位的人体区域,所述人体区域包括非躯体区域;
5、根据所述非躯体区域中的人体特征点对应的连线角度信息从候选角度预测模式中确定目标角度预测模式,所述连线角度信息基于设定位置的人体特征点的连接线与水平参考线的夹角确定;
6、基于所述目标角度预测模式对所述非躯体区域进行帧内预测编码。
7、第二方面,本申请实施例还提供了一种视频帧内编码装置,该装置包括:
8、获取模块,配置为获取待处理视频帧;
9、特征检测模块,配置为对所述待处理视频帧进行人体姿态检测得到人体特征点;
10、区域划分模块,配置为根据所述人体特征点从所述待处理视频帧中划分出对应不同人体部位的人体区域,所述人体区域包括非躯体区域;
11、模式确定模块,配置为根据所述非躯体区域中的人体特征点对应的连线角度信息从候选角度预测模式中确定目标角度预测模式,所述连线角度信息基于设定位置的人体特征点的连接线与水平参考线的夹角确定;
12、编码模块,配置为基于所述目标角度预测模式对所述非躯体区域进行帧内预测编码。
13、第三方面,本申请实施例还提供了一种视频帧内编码设备,该设备包括:
14、一个或多个处理器;
15、存储装置,配置为存储一个或多个程序,
16、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请实施例所述的视频帧内编码方法。
17、第四方面,本申请实施例还提供了一种存储计算机可执行指令的非易失性存储介质,所述计算机可执行指令在由计算机处理器执行时配置为执行本申请实施例所述的视频帧内编码方法。
18、第五方面,本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中,设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序,使得设备执行本申请实施例所述的视频帧内编码方法。
19、本申请实施例中,通过获取待处理视频帧,对待处理视频帧进行人体姿态检测得到人体特征点;根据人体特征点从待处理视频帧中划分出对应不同人体部位的人体区域,人体区域包括非躯体区域;根据非躯体区域中的人体特征点对应的连线角度信息从候选角度预测模式中确定目标角度预测模式,连线角度信息基于设定位置的人体特征点的连接线与水平参考线的夹角确定;基于目标角度预测模式对非躯体区域进行帧内预测编码。上述方案中,通过对待处理视频帧进行人体姿态检测得到人体特征点,可以准确识别视频帧中的人像得到关键特征信息,有利于后续将人体姿态识别与视频编码的帧内预测模式选择相结合,实现基于目标的内容自适应帧内编码,提高帧内编码模式选择的精确性和高效性;通过基于人体特征点划分不同人体区域,可以适应于不同人体部位的角度特征进行分区编码;通过基于非躯体区域的连线角度信息确定目标角度预测模式,并基于该目标角度预测模式进行非躯体区域的帧内预测编码,可以有效利用人体骨架的角度信息指示帧内预测的目标方向,提高预测的角度命中率,无需遍历所有的帧内预测模式,减少计算量,提高编码效率,可以适应于实时性较强的视频直播场景。
1.一种视频帧内编码方法,其特征在于,包括:
2.根据权利要求1所述的视频帧内编码方法,其特征在于,所述人体区域还包括躯体区域,所述方法还包括:
3.根据权利要求1所述的视频帧内编码方法,其特征在于,所述非躯体区域包括面部区域,所述根据所述非躯体区域中的人体特征点对应的连线角度信息从候选角度预测模式中确定目标角度预测模式,包括:
4.根据权利要求3所述的视频帧内编码方法,其特征在于,所述根据所述面部区域的人脸朝向以及预设位置的人脸特征点的连接线与水平参考线的夹角大小,确定人脸水平倾角,包括:
5.根据权利要求3所述的视频帧内编码方法,其特征在于,所述方法还包括:
6.根据权利要求3所述的视频帧内编码方法,其特征在于,所述非躯体区域还包括四肢区域,所述根据所述非躯体区域中的人体特征点对应的连线角度信息从候选角度预测模式中确定目标角度预测模式,还包括:
7.根据权利要求6所述的视频帧内编码方法,其特征在于,所述方法还包括:
8.一种视频帧内编码装置,其特征在于,包括:
9.一种视频帧内编码设备,所述设备包括:一个或多个处理器;存储装置,配置为存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现权利要求1-7中任一项所述的视频帧内编码方法。
10.一种存储计算机可执行指令的非易失性存储介质,所述计算机可执行指令在由计算机处理器执行时配置为执行权利要求1-7中任一项所述的视频帧内编码方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的视频帧内编码方法。