全息图像的显示方法及装置、计算机可读存储介质、电子设备与流程

allin2025-12-16  14


所属的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。下面参照图14来描述根据本公开的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。如图14所示,电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于:上述至少一个处理单元1410、上述至少一个存储单元1420、连接不同系统组件(包括存储单元1420和处理单元1410)的总线1430以及显示单元1440。其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1410执行,使得所述处理单元1410执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元1410可以执行如图1中所示的步骤s110:向与所述本地用户对应的远程用户所在的第二用户端发送视频通话请求,响应所述第二用户端反馈的与所述视频通话请求对应的通话接听消息,确定与所述远程用户对应的目标远程模型参数;步骤s120:基于所述目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型;步骤s130:根据所述目标图像处理模型以及所述远程用户的远程图像数据,确定所述远程用户的视点图;步骤s140:对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像,并对所述目标全息图像进行显示。存储单元1420可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(ram)14201和/或高速缓存存储单元14202,还可以进一步包括只读存储单元(rom)14203。存储单元1420还可以包括具有一组(至少一个)程序模块14205的程序/实用工具14204,这样的程序模块14205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。总线1430可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备1400也可以与一个或多个外部设备1500(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1400交互的设备通信,和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1450进行。并且,电子设备1400还可以通过网络适配器1460与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器1460通过总线1430与电子设备1400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。根据本公开的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(cd-rom)来实现,该采用便携式紧凑盘只读存储器可以包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。


背景技术:

1、现有的全息图像的显示方法中,是基于大语言模型来实现全息效果的。但是,该方法存在如下缺陷:一方面,无法为用户配置个性化的图像处理模型,进而使得所得到的全息图像的精确度较低;另一方面,大模型所占用的内存较大,进而使得用户端的负担较大。

2、需要说明的是,在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的目的在于提供一种全息图像的显示方法、全息图像的显示装置、计算机可读存储介质以及电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的全息图像的精确度较低以及用户端的负担较重的问题。

2、根据本公开的一个方面,提供一种全息图像的显示方法,配置于本地用户所在的第一用户端,所述全息图像的显示方法包括:

3、向与所述本地用户对应的远程用户所在的第二用户端发送视频通话请求,响应所述第二用户端反馈的与所述视频通话请求对应的通话接听消息,确定与所述远程用户对应的目标远程模型参数;

4、基于所述目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型;

5、根据所述目标图像处理模型以及所述远程用户的远程图像数据,确定所述远程用户的视点图;

6、对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像,并对所述目标全息图像进行显示。

7、在本公开的一种示例性实施例中,确定与所述远程用户对应的目标远程模型参数,包括:

8、根据所述远程用户的远程用户标识在所述第一用户端中查询与所述远程用户对应的第一远程模型参数,并在所述第二用户端中查询与所述远程用户对应的第二远程模型参数;

9、对所述第一远程模型参数的第一参数版本号以及第二远程模型参数的第二参数版本号进行比对,并基于版本号比对结果从第一远程模型参数以及第二远程模型参数中选取目标远程模型参数。

10、在本公开的一种示例性实施例中,基于所述目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型,包括:

11、调用第一用户端中的原始图像处理模型,并提取所述原始图像处理模型中的本地模型参数;

12、基于所述目标远程模型参数对所述本地模型参数进行替换,得到与所述远程用户关联的目标图像处理模型。

13、在本公开的一种示例性实施例中,所述目标图像处理模型包括深度图计算模型、深度融合模块、投影变换模块以及图像矫正模型;

14、其中,根据所述目标图像处理模型以及所述远程用户的远程图像数据,确定所述远程用户的视点图,包括

15、根据所述深度图计算模型确定所述远程图像数据的深度图像数据,并根据所述深度融合模块对所述深度图像数据进行融合,得到融合深度图像;

16、基于所述投影变换模块将所述融合深度图像投影至与本地用户对应的新视点像素平面,得到深度图投影结果;

17、基于所述图像矫正模型对所述深度图投影结果进行图像矫正,得到所述远程用户的视点图。

18、在本公开的一种示例性实施例中,所述深度图确定模型包括特征编码器、上下文编码器、关联金字塔以及视差更新模块;

19、其中,根据所述深度图计算模型确定所述远程图像数据的深度图像数据,包括:

20、基于所述特征编码器确定所述远程图像数据中的远程左眼图像的左眼特征图,以及所述远程图像数据中的远程右眼图像的右眼特征图,并基于所述上下文编码器确定所述远程左眼图像的上下文特征;

21、计算所述左眼特征图以及右眼特征图之间的相关体积,并基于所述左眼特征图、右眼特征图以及相关体积,构建多层关联金字塔;

22、根据预设的视差参数从所述关联金字塔中索引与预设的视差参数关联的相关体积,并根据与预设的视差参数关联的相关体积以及与相关体积对应的左眼特征图和右眼特征图,构建相关性特征;

23、将所述相关性特征、上下文特征以及预设的视差参数输入到所述视差更新模块中,得到所述远程左眼图像的视差场,并根据所述视差场,确定所述深度图像数据。

24、在本公开的一种示例性实施例中,所述深度图确定模型是通过如下方式得到的:

25、对双目深度估计模型中的特征编码器的第一权重值以及上下文编码器的权重值进行共享,得到所述深度图确定模型;或

26、对所述特征编码器的第一卷积核个数和/或上下文编码器的第二卷积核个数进行压缩,得到所述深度图确定模型;或

27、对所述特征编码器的第一卷积层数和/或上下文编码器的第二卷积层数进行压缩,得到所述深度图确定模型。

28、在本公开的一种示例性实施例中,所述图像矫正模型包括多层第一卷积层、多层第一下采样层以及多层第一上采样层,所述多层第一下采样层以及多层第一上采样层的层数相同;

29、其中,基于所述图像矫正模型对所述深度图投影结果进行图像矫正,得到所述远程用户的视点图,包括:

30、基于所述多层第一卷积层对所述深度图投影结果进行卷积处理,得到多个不同尺度的局部特征;

31、基于所述多层第一下采样层对所述多个不同尺度的局部特征进行下采样,得到多个局部区域的区域特征;

32、基于所述多层第一上采样层以及所述多个局部区域的区域特征对所述深度图投影结果进行图像矫正,得到所述远程用户的视点图。

33、在本公开的一种示例性实施例中,对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像,包括:

34、基于顶点着色器计算所述视点图的插值范围,并基于片段着色器计算所述视点图的插值内容;

35、基于所述插值范围以及插值内容,对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像。

36、在本公开的一种示例性实施例中,对所述目标全息图像进行显示,包括:

37、确定本地用户的第一用户人眼高度以及远程用户的第二用户人眼高度;

38、根据第一用户人眼高度以及第二用户人眼高度对所述目标全息图像在第一用户端的显示图像高度进行调整,并对高度调整后的目标全息图像进行显示。

39、在本公开的一种示例性实施例中,确定本地用户的第一用户人眼高度以及远程用户的第二用户人眼高度,包括:

40、基于与第一用户端关联的第一相机组采集本地用户的第一用户图像,并基于第一用户图像确定本地用户的第一左右眼关键点坐标;

41、根据第一左右眼关键点坐标确定本地用户的第一左右眼在第一用户端上的第一用户人眼高度;

42、根据所述目标全息图像确定远程用户的第二左右眼在目标全息图像上的第二像素坐标,并根据第二像素坐标确定所述远程用户在第一用户端上的第二用户人眼高度。

43、在本公开的一种示例性实施例中,根据第一用户人眼高度以及第二用户人眼高度对所述目标全息图像在第一用户端的显示图像高度进行调整,包括:

44、根据所述第一用户人眼高度以及第二用户人眼高度,确定所述目标全息图像的图像高度调整值,并根据所述图像高度调整至对所述目标全息图像在第一用户端的显示图像高度进行调整。

45、在本公开的一种示例性实施例中,所述原始图像处理模型是通过如下方式得到的:

46、获取本地用户的第一历史用户图像,并对所述第一历史用户图像进行预处理,得到第一目标用户图像;

47、将第一目标用户图像输入至待训练的网络模型中,得到第一预测结果,并根据与第一目标用户图像对应的视点标签图像以及第一预测结果构建损失函数;

48、基于所述损失函数对所述待训练的网络模型中的参数进行调整,得到所述原始图像处理模型。

49、在本公开的一种示例性实施例中,对所述第一历史用户图像进行预处理,得到第一目标用户图像,包括:

50、基于预设的人脸识别算法对第一历史用户图像进行人脸识别,得到与本地用户对应的第一历史人脸图像;

51、对所述第一历史人脸图像进行预处理,得到第一目标用户图像;其中,所述预处理的方式包括增加噪声、色彩转化、剪裁以及拉升中的至少一种。

52、在本公开的一种示例性实施例中,所述原始图像模型是通过如下方式进行参数更新的:

53、响应于第二用户端针对视频通话结束指令反馈的与目标全息图像对应的画面显示质量的反馈结果,确定是否需要对所述原始图像处理模型进行模型优化处理;

54、在确定需要对所述原始图像处理模型进行模型优化处理,基于第一相机组采集本地用户的本地图像数据,并基于所述本地图像数据对所述原始图像模型的当前本地模型参数进行优化处理,得到优化处理后的原始图像模型。

55、在本公开的一种示例性实施例中,原始图像模型还通过如下方式进行参数更新:

56、确定所述原始图像模型的自学习更新频率,并基于所述自学习更新频率以及第一相机组所采集的本地用户的本地图像数据,对所述原始图像模型的当前本地模型参数进行优化处理,得到优化处理后的原始图像模型。

57、根据本公开的一个方面,提供一种全息图像的显示装置,配置于本地用户所在的第一用户端,所述全息图像的显示装置包括:

58、远程模型参数确定模块,用于向与所述本地用户对应的远程用户所在的第二用户端发送视频通话请求,响应所述第二用户端反馈的与所述视频通话请求对应的通话接听消息,确定与所述远程用户对应的目标远程模型参数;

59、模型参数更新模块,用于基于所述目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型;

60、视点图确定模块,用于根据所述目标图像处理模型以及所述远程用户的远程图像数据,确定所述远程用户的视点图;

61、全息图像显示模块,用于对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像,并对所述目标全息图像进行显示。

62、根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的全息图像的显示方法。

63、根据本公开的一个方面,提供一种电子设备,包括:

64、处理器;以及

65、存储器,用于存储所述处理器的可执行指令;

66、其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的全息图像的显示方法。

67、本公开实施例提供的一种全息图像的显示方法,一方面,通过向与本地用户对应的远程用户所在的第二用户端发送视频通话请求,响应第二用户端反馈的与视频通话请求对应的通话接听消息,确定与远程用户对应的目标远程模型参数;然后基于目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型;进而根据目标图像处理模型以及远程用户的远程图像数据,确定远程用户的视点图;最后对视点图进行图像交织处理,得到远程用户的目标全息图像,并对目标全息图像进行显示,实现了基于目标远程模型参数为远程用户配置个性化的目标图像处理模型,提高了所得到的目标全息图像的精确度;另一方面,由于可以基于目标远程模型参数为远程用户配置个性化的目标图像处理模型,无需在第一用户端配置大模型,进而解决了现有技术中由于大模型所占用的内存较大,进而使得用户端的负担较大的问题,降低了第一用户的系统负担。

68、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。


技术特征:

1.一种全息图像的显示方法,其特征在于,配置于本地用户所在的第一用户端,所述全息图像的显示方法包括:

2.根据权利要求1所述的全息图像的显示方法,其特征在于,确定与所述远程用户对应的目标远程模型参数,包括:

3.根据权利要求1所述的全息图像的显示方法,其特征在于,基于所述目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型,包括:

4.根据权利要求1所述的全息图像的显示方法,其特征在于,所述目标图像处理模型包括深度图计算模型、深度融合模块、投影变换模块以及图像矫正模型;

5.根据权利要求4所述的全息图像的显示方法,其特征在于,所述深度图确定模型包括特征编码器、上下文编码器、关联金字塔以及视差更新模块;

6.根据权利要求4或5所述的全息图像的显示方法,其特征在于,所述深度图确定模型是通过如下方式得到的:

7.根据权利要求4所述的全息图像的显示方法,其特征在于,所述图像矫正模型包括多层第一卷积层、多层第一下采样层以及多层第一上采样层,所述多层第一下采样层以及多层第一上采样层的层数相同;

8.根据权利要求1所述的全息图像的显示方法,其特征在于,对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像,包括:

9.根据权利要求1所述的全息图像的显示方法,其特征在于,对所述目标全息图像进行显示,包括:

10.根据权利要求9所述的全息图像的显示方法,其特征在于,确定本地用户的第一用户人眼高度以及远程用户的第二用户人眼高度,包括:

11.根据权利要求9所述的全息图像的显示方法,其特征在于,根据第一用户人眼高度以及第二用户人眼高度对所述目标全息图像在第一用户端的显示图像高度进行调整,包括:

12.根据权利要求1所述的全息图像的显示方法,其特征在于,所述原始图像处理模型是通过如下方式得到的:

13.根据权利要求12所述的全息图像的显示方法,其特征在于,对所述第一历史用户图像进行预处理,得到第一目标用户图像,包括:

14.根据权利要求12所述的全息图像的显示方法,其特征在于,所述原始图像模型是通过如下方式进行参数更新的:

15.根据权利要求12所述的全息图像的显示方法,其特征在于,所述原始图像模型还通过如下方式进行参数更新:

16.一种全息图像的显示装置,其特征在于,配置于本地用户所在的第一用户端,所述全息图像的显示装置包括:

17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-15任一项所述的全息图像的显示方法。

18.一种电子设备,其特征在于,包括:


技术总结
本公开是关于一种全息图像的显示方法及装置、计算机可读存储介质、电子设备,涉及裸眼3D技术领域,该方法包括:向与所述本地用户对应的远程用户所在的第二用户端发送视频通话请求,响应所述第二用户端反馈的与所述视频通话请求对应的通话接听消息,确定与所述远程用户对应的目标远程模型参数;基于所述目标远程模型参数对第一用户端中的原始图像处理模型进行参数更新,得到目标图像处理模型;根据所述目标图像处理模型以及所述远程用户的远程图像数据,确定所述远程用户的视点图;对所述视点图进行图像交织处理,得到所述远程用户的目标全息图像,并对所述目标全息图像进行显示。本公开提高了目标全息图像的精确度。

技术研发人员:马思研,陈丽莉,李文宇,于静
受保护的技术使用者:京东方科技集团股份有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-25087.html

最新回复(0)