一种图像摘要生成方法、装置、设备及存储介质与流程

allin2026-02-07  4


本申请涉及图像摘要,尤其涉及一种图像摘要生成方法、装置、设备及存储介质。


背景技术:

1、图像摘要是一种强大的信息处理技术,其能够从大量图像数据中提取关键信息,并以简洁的形式进行展示。通过图像摘要,用户可以快速了解图像集合的主要内容,提高信息处理的效率。图像摘要在图像检索、多媒体内容管理和视觉数据分析等场景中发挥着重要的作用。具体的,在金融领域,可以通过图像摘要分析股票图像和相关新闻文本,生成股票走势的摘要;在医疗领域,可以通过图像摘要分析医学影像和病历文本,生成疾病诊断的摘要等。

2、相关技术一般只提取图像的单一特征,且容易忽略图像和文本的上下文关联性,导致生成摘要的准确性不高。


技术实现思路

1、本申请的主要目的在于提供一种图像摘要生成方法、装置、设备及存储介质,考虑了图像特征和文本信息的关联性,提高生成摘要的准确性。以医疗领域为例,通过本申请的图像摘要生成方法提取每个医学图像的图像特征向量,以及提取对应每个医学影像中有关于解析医学影像的文本信息的语义向量,加强了每个医学影像的图像特征向量和文本信息的语义向量的关联性,以生成准确性较高的疾病诊断的摘要,从而可以帮助医生更快速地做出医疗诊断。

2、第一方面,本申请提供一种图像摘要生成方法,包括:

3、获取待处理图像和所述待处理图像对应的文本信息;

4、基于特征提取模型,对所述待处理图像进行边缘检测、空间频域处理和像素点梯度方向统计,得到所述待处理图像的图像特征向量;

5、基于语义提取模型,提取所述待处理图像对应的文本信息的语义向量;

6、根据所述图像特征向量与所述语义向量,生成图像摘要。

7、第二方面,本申请还提供一种图像摘要生成装置,包括:

8、获取模块,用于获取待处理图像和所述待处理图像对应的文本信息;

9、特征提取模块,用于基于特征提取模型,对所述待处理图像进行边缘检测、空间频域处理和像素点梯度方向统计,得到所述待处理图像的图像特征向量;

10、语义提取模块,用于基于语义提取模型,提取所述待处理图像对应的文本信息的语义向量;

11、生成模块,用于根据所述图像特征向量与所述语义向量,生成图像摘要。

12、第三方面,本申请还提供一种计算机设备,所述计算机设备包括存储器和处理器;

13、所述存储器,用于存储计算机程序;

14、所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的图像摘要生成方法。

15、第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述的图像摘要生成方法的步骤。

16、本申请提供一种图像摘要生成方法、装置、设备及存储介质,其中,图像摘要生成方法包括:获取待处理图像和所述待处理图像对应的文本信息;基于特征提取模型,对所述待处理图像进行边缘检测、空间频域处理和像素点梯度方向统计,得到所述待处理图像的图像特征向量;基于语义提取模型,提取所述待处理图像对应的文本信息的语义向量;根据所述图像特征向量与所述语义向量,生成图像摘要。本申请先通过特征提取模型提取待处理图像的不同特征,以得到特征信息比较丰富的图像特征向量,再通过语义提取模型提取待处理图像对应的文本信息的语义向量,每个文本信息的语义向量和待处理图像对应,可以强化图像和上下文本信息的联系,最后结合待处理图像中的图像特征向量和文本信息的语义向量生成摘要,考虑了图像特征和文本信息的关联性,提高生成摘要的准确性。以医疗领域为例,通过本申请的图像摘要生成方法提取医学图像的不同特征,得到特征信息比较丰富的图像特征向量,以及提取对应每个医学影像中有关于解析医学影像的文本信息的语义向量,加强了每个医学影像的图像特征向量和文本信息的语义向量的关联性,以生成准确性较高的疾病诊断的摘要,从而可以帮助医生更快速地做出医疗诊断。



技术特征:

1.一种图像摘要生成方法,其特征在于,包括:

2.根据权利要求1所述的图像摘要生成方法,其特征在于,所述根据所述图像特征向量与所述语义向量,生成图像摘要,包括:

3.根据权利要求2所述的图像摘要生成方法,其特征在于,所述预设语言模型为单向时间循环神经网络,所述基于预设语言模型,按照不同时间步对所述图像特征向量与所述语义向量进行融合处理,以生成图像摘要,包括:

4.根据权利要求1所述的图像摘要生成方法,其特征在于,所述特征提取模型包括多模态预训练神经网络,所述基于特征提取模型,对所述待处理图像进行边缘检测、空间频域处理和像素点梯度方向统计,得到所述待处理图像的图像特征向量,包括:

5.根据权利要求4所述的图像摘要生成方法,其特征在于,相同类型的待处理图像的数量为多个,所述将所述待处理图像输入所述多模态预训练神经网络,对所述待处理图像进行边缘检测、空间频域处理、像素点梯度方向统计,得到边缘特征、恒常特征和方向梯度直方图特征,对所述边缘特征、所述恒常特征和所述方向梯度直方图特征进行降维,得到所述待处理图像的图像特征向量,包括:

6.根据权利要求1所述的图像摘要生成方法,其特征在于,所述语义提取模型包括中文预训练模型和双向长短期记忆网络,所述基于语义提取模型,提取所述待处理图像对应的文本信息的语义向量,包括:

7.根据权利要求1-6任意一项所述的图像摘要生成方法,其特征在于,所述获取所述待处理图像对应的文本信息,包括:

8.一种图像摘要生成装置,其特征在于,包括:

9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7中任意一项所述的图像摘要生成方法的步骤。


技术总结
本申请涉及图像摘要技术领域,提供一种图像摘要生成方法、装置、设备及存储介质,其中,方法包括:获取待处理图像和待处理图像对应的文本信息;基于特征提取模型,对待处理图像进行边缘检测、空间频域处理和像素点梯度方向统计,得到待处理图像的图像特征向量;基于语义提取模型,提取待处理图像对应的文本信息的语义向量;根据图像特征向量与语义向量,生成图像摘要。本申请考虑了图像特征和文本信息的关联性,以提高生成摘要的准确性。以医疗领域为例,通过本申请的方法提取医学图像的图像特征向量,以及提取每个医学影像中有关于解析医学影像的文本信息的语义向量,可以生成准确性较高的疾病诊断的摘要,从而帮助医生更快速地做出医疗诊断。

技术研发人员:刘羲,沈加锐,舒畅,陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-26315.html

最新回复(0)