本公开涉及人工智能,尤其涉及智能对话、深度学习、大模型、生成式模型等,可以应用于智能助手、互联网电商、智能视频浏览、视频直播、智能搜索、视频搜索等应用场景。
背景技术:
1、随着智能手机、平板电脑等智能终端设备的普及,用户可以通过智能终端设备的显示屏来便捷地观看视频资源。
技术实现思路
1、本公开提供了一种基于大模型的视频生成方法、装置、电子设备、存储介质及程序产品。
2、根据本公开的一方面,提供了一种基于大模型的视频生成方法,包括:响应于针对操作界面的视频制作请求,获取视频相关信息,视频相关信息包括原始视频;利用大模型处理视频相关信息,得到互动编排逻辑,互动编排逻辑表征针对互动控件的编排结果,互动控件用于进行信息交互;以及基于互动编排逻辑和原始视频生成互动视频,互动视频用于在播放过程中展示原始视频的视频内容,并基于互动编排逻辑与目标对象进行信息交互。
3、根据本公开的另一方面,提供了一种基于大模型的视频生成装置,包括:第一获取模块,用于响应于针对操作界面的视频制作请求,获取视频相关信息,视频相关信息包括原始视频;互动编排逻辑获得模块,用于利用大模型处理视频相关信息,得到互动编排逻辑,互动编排逻辑表征针对互动控件的编排结果,互动控件用于进行信息交互;以及生成模块,用于基于互动编排逻辑和原始视频生成互动视频,互动视频用于在播放过程中展示原始视频的视频内容,并基于互动编排逻辑与目标对象进行信息交互。
4、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述基于大模型的视频生成方法。
5、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述基于大模型的视频生成方法。
6、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述基于大模型的视频生成方法。
7、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
1.一种基于大模型的视频生成方法,其中,包括:
2.根据权利要求1所述的方法,其中,所述利用大模型处理所述视频相关信息,得到互动编排逻辑包括:
3.根据权利要求1所述的方法,其中,所述视频相关信息还包括用于所述原始视频的视频描述信息;
4.根据权利要求2或3所述的方法,其中,所述基于所述角色描述信息生成与所述视频角色对应的虚拟角色互动控件包括:
5.根据权利要求2所述的方法,其中,所述视频相关信息还包括与所述原始视频对应的视频描述信息;
6.根据权利要求5所述的方法,其中,所述虚拟角色互动控件基于所述关键情节片段涉及的视频角色的表达风格与所述目标对象进行信息交互。
7.根据权利要求5或6所述的方法,其中,所述关键情节片段包括展示目标产品的产品展示片段,所述情节提示词包括用于控制所述大模型关联所述目标产品的产品情节提示词,所述虚拟角色互动控件还用于展示与所述目标产品相关的产品链接信息。
8.根据权利要求3或5所述的方法,其中,所述视频描述信息包括以下至少一项:
9.根据权利要求1或2所述的方法,其中,所述互动编排逻辑的虚拟角色互动控件包括对话互动窗,所述对话互动窗用于获取所述目标对象输入的交互信息,并基于所述原始视频涉及的视频角色的表达风格展示与所述交互信息相关的回应信息。
10.根据权利要求9所述的方法,其中,所述方法还包括:
11.根据权利要求10所述的方法,其中,所述利用所述大模型处理所述交互信息,生成与所述视频角色的表达风格相对应的回应信息包括:
12.根据权利要求11所述的方法,其中,所述输入请求的请求时刻与所述原始视频中的关键情节片段的展示时刻相匹配;
13.根据权利要求10至12中任一项所述的方法,其中,所述对话互动窗包括与多个所述视频角色对应的虚拟角色形象;
14.根据权利要求10至12中任一项所述的方法,其中,所述方法还包括:
15.根据权利要求1所述的方法,其中,所述方法还包括:
16.一种基于大模型的视频生成装置,其中,包括:
17.根据权利要求16所述的装置,其中,所述互动编排逻辑获得模块包括:
18.根据权利要求16所述的装置,其中,所述视频相关信息还包括用于所述原始视频的视频描述信息;
19.根据权利要求17或18所述的装置,其中,所述虚拟角色互动控件获得子模块包括:
20.根据权利要求17所述的装置,其中,所述视频相关信息还包括与所述原始视频对应的视频描述信息;
21.根据权利要求20所述的装置,其中,所述虚拟角色互动控件基于所述关键情节片段涉及的视频角色的表达风格与所述目标对象进行信息交互。
22.根据权利要求20或21所述的装置,其中,所述关键情节片段包括展示目标产品的产品展示片段,所述情节提示词包括用于控制所述大模型关联所述目标产品的产品情节提示词,所述虚拟角色互动控件还用于展示与所述目标产品相关的产品链接信息。
23.根据权利要求18或20所述的装置,其中,所述视频描述信息包括以下至少一项:
24.根据权利要求16或17所述的装置,其中,所述互动编排逻辑的虚拟角色互动控件包括对话互动窗,所述对话互动窗用于获取所述目标对象输入的交互信息,并基于所述原始视频涉及的视频角色的表达风格展示与所述交互信息相关的回应信息。
25.根据权利要求24所述的装置,其中,所述装置还包括:
26.根据权利要求25所述的装置,其中,所述回应信息生成模块包括:
27.根据权利要求26所述的装置,其中,所述输入请求的请求时刻与所述原始视频中的关键情节片段的展示时刻相匹配;
28.根据权利要求25至27中任一项所述的装置,其中,所述对话互动窗包括与多个所述视频角色对应的虚拟角色形象;
29.根据权利要求25至27中任一项所述的装置,其中,所述装置还包括:
30.根据权利要求16所述的装置,其中,所述装置还包括:
31.一种电子设备,其中,包括:
32.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至15中任一项所述的方法。
33.一种计算机程序产品,其中,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至15中任一项所述的方法。