角色动画生成方法、装置及电子设备与流程

allin2025-03-05  46


本技术涉及计算机视觉,具体而言,本技术涉及一种角色动画生成方法、装置、电子设备、存储介质及计算机程序产品。


背景技术:

1、目前,角色动画已经普遍应用于电子游戏、互联网广告、短视频动画、虚拟主播等领域。

2、现有的角色动画主要包括两种生成方法:第一种生成方法是基于传统动画软件技术,第二种生成方法是基于生成式ai(artificial intelligence)技术。然而,无论哪种生成方法都存在一些缺点,例如,为了连续播放实现连贯的角色动画效果,需要耗费大量的时间和劳动力,又或者,难以实现兼具脸部动作表现和身体动作表现的角色,造成大部分场景中的实际应用需求得不到满足。

3、由上可知,现有的角色动画生成仍存在成本高且通用性差的问题尚待解决。


技术实现思路

1、本技术各提供了一种角色动画生成方法、装置、电子设备、存储介质及计算机程序产品,可以解决相关技术中存在的角色动画生成的成本高且通用性差的问题。所述技术方案如下:

2、根据本技术的一个方面,一种角色动画生成方法,包括:获取原始图像;所述原始图像包含至少一个具有正面全身的目标角色;基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像;以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像;各所述参考图像分别对应一种脸部动作;获取动作参考序列,并利用所述动作参考序列驱动各所述参考图像分别进行与身体动作有关的第二次动画扩散,得到多个动作序列;各所述动作序列分别对应一个所述参考图像;对各所述动作序列进行动画后处理,得到所述目标角色的角色动画。

3、在一示例性实施例中,所述以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像,包括:基于所述脸部掩码图像中的可见区域和掩码区域,确定所述目标角色的脸部区域在所述脸部掩码图像中的位置;根据所确定的所述位置和不同的脸部动作,对所述目标角色图像中的所述目标角色进行局部重绘,得到多个所述参考图像。

4、在一示例性实施例中,所述根据所确定的所述位置和不同的脸部动作,对所述目标角色图像中的所述目标角色进行局部重绘,得到多个所述参考图像,包括:获取脸部动作提示词;所述脸部动作提示词用于描述不同的脸部动作;将所述脸部掩码图像和所述目标角色图像输入图像扩散模型,并利用所述脸部动作提示词引导所述图像扩散模型为所述目标角色生成不同的脸部动作,输出得到多个所述参考图像;所述参考图像是指所述目标角色执行所述脸部动作的图像。

5、在一示例性实施例中,所述利用所述动作参考序列驱动各所述参考图像分别进行与身体动作有关的第二次动画扩散,得到多个动作序列,包括:将各所述参考图像输入视频扩散模型;利用所述视频扩散模型,根据所述动作参考序列中的多个参考动作,对各所述参考图像分别进行从静态图像到动态视频的推理,得到多个所述动作序列;所述动作序列是指执行所述脸部动作的所述目标角色同时执行多个所述参考动作的视频。

6、在一示例性实施例中,所述对各所述动作序列进行动画后处理,得到所述目标角色的角色动画,包括:按照设定方式分别对各所述动作序列进行采样,得到分别属于不同所述动作序列的若干个帧块;将属于不同所述动作序列的若干个帧块拼接,得到所述目标角色的角色动画;所述角色动画是指所述目标角色在交替执行不同所述脸部动作的基础上,同时执行多个所述参考动作的视频。

7、在一示例性实施例中,所述基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像,包括:响应于在所述原始图像中针对所述目标角色的脸部区域触发的第一圈选操作,确定所述目标角色的脸部区域在所述原始图像中的位置;基于所确定的所述位置,对所述原始图像中所述目标角色的脸部区域和其他区域分别进行标记处理,得到所述脸部掩码图像。

8、在一示例性实施例中,所述基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像,还包括:响应于在所述原始图像中针对所述目标角色触发的第二圈选操作,确定所述目标角色在所述原始图像中的位置;基于所确定的所述位置,对所述原始图像中的所述目标角色和其他目标角色进行图像分割,得到所述目标角色图像。

9、在一示例性实施例中,所述获取原始图像之后,所述方法还包括:对所述原始图像进行筛选处理;所述筛选处理包括分辨率检测、目标角色检测、目标角色的正面全身检测中的至少一种;删除不满足设定条件的所述原始图像,使得满足设定条件的所述原始图像执行所述基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像的步骤。

10、在一示例性实施例中,所述脸部区域包括嘴部区域,所述脸部动作包括第一嘴部动作和第二嘴部动作;多个所述参考图像包括所述目标角色执行所述第一嘴部动作的第一参考图像、以及所述目标角色执行所述第二嘴部动作的第二参考图像;多个所述动作序列包括所述目标角色分别同时执行所述第一嘴部动作和多个参考动作的第一动作序列、以及所述目标角色分别同时执行所述第二嘴部动作和多个所述参考动作的第二动作序列;所述角色动画是指所述目标角色在交替执行所述第一嘴部动作和所述第二嘴部动作的基础上,同时执行多个所述参考动作的视频。

11、根据本技术的一个方面,一种角色动画生成装置,包括:原始图像获取模块,用于获取原始图像;所述原始图像包含至少一个具有正面全身的目标角色;输入图像确定模块,用于基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像;第一动画扩散模块,用于以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像;各所述参考图像分别对应一种脸部动作;第二动画扩散模块,用于获取动作参考序列,并利用所述动作参考序列驱动各所述参考图像分别进行与身体动作有关的第二次动画扩散,得到多个动作序列;各所述动作序列分别对应一个所述参考图像;动画后处理模块,用于对各所述动作序列进行动画后处理,得到所述目标角色的角色动画。

12、根据本技术的一个方面,一种电子设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时实现如上所述的角色动画生成方法。

13、根据本技术的一个方面,一种存储介质,其上存储有计算机程序,所述计算机程序被一个或多个处理器执行时实现如上所述的角色动画生成方法。

14、根据本技术的一个方面,一种计算机程序产品,包括计算机程序,所述计算机程序被一个或多个处理器执行时实现如上所述的角色动画生成方法。

15、本技术提供的技术方案带来的有益效果是:

16、在上述技术方案中,获取包含至少一个具有正面全身的目标角色的原始图像,以基于该原始图像中该目标角色及其脸部区域来确定该目标角色的脸部掩码图像和目标角色图像,然后利用该脸部掩码图像和该目标角色图像进行有关脸部动作的第一次动画扩散,再利用第一次动画扩散得到的对应不同脸部动作的多个参考图像,并结合动作参考序列进行有关身体动作的第二次动画扩散,最终通过对第二次动画扩散得到的对应不同参考图像的多个动作序列进行的动画后处理,得到目标角色的角色动画,在上述过程中,通过两次动画扩散,不仅可以快速地生成角色动画,避免依赖于人工制作无需耗费大量的时间和劳动力,而且能够使得目标角色兼具脸部动作表现和身体动作表现,具有更丰富的角色动画效果,有利于满足大部分场景中的实际应用需求,从而能够有效地解决相关技术中存在的角色动画生成的成本高且通用性差的问题。


技术特征:

1.一种角色动画生成方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像,包括:

3.如权利要求2所述的方法,其特征在于,所述根据所确定的所述位置和不同的脸部动作,对所述目标角色图像中的所述目标角色进行局部重绘,得到多个所述参考图像,包括:

4.如权利要求1所述的方法,其特征在于,所述利用所述动作参考序列驱动各所述参考图像分别进行与身体动作有关的第二次动画扩散,得到多个动作序列,包括:

5.如权利要求1所述的方法,其特征在于,所述对各所述动作序列进行动画后处理,得到所述目标角色的角色动画,包括:

6.如权利要求1所述的方法,其特征在于,所述基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像,包括:

7.如权利要求1所述的方法,其特征在于,所述获取原始图像之后,所述方法还包括:

8.如权利要求1至7任一项所述的方法,其特征在于,所述脸部区域包括嘴部区域,所述脸部动作包括第一嘴部动作和第二嘴部动作;

9.一种角色动画生成装置,其特征在于,所述装置包括:

10.一种电子设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器上存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的角色动画生成方法。


技术总结
本申请提供了一种角色动画生成方法、装置、电子设备、存储介质及计算机程序产品,涉及计算机视觉技术领域。其中,该方法包括:获取原始图像;基于原始图像中的目标角色及其脸部区域,确定目标角色的脸部掩码图像和目标角色图像;以脸部掩码图像和目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像;各参考图像分别对应一种脸部动作;获取动作参考序列,并利用动作参考序列驱动各参考图像分别进行与身体动作有关的第二次动画扩散,得到多个动作序列;各动作序列分别对应一个参考图像;对各动作序列进行动画后处理,得到目标角色的角色动画。本申请解决了相关技术中角色动画生成的成本高且通用性差的问题。

技术研发人员:高依铨,严子豪,邓力维,田昌
受保护的技术使用者:深圳市图易拾贝科技有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-19051.html

最新回复(0)