一种图像处理方法、装置及电子设备与流程

allin2025-12-29  45


本技术涉及计算机视觉领域,尤其涉及一种图像处理方法、装置及电子设备。


背景技术:

1、图像分割技术是人工智能技术和计算机视觉领域中的重要分支,利用图像分割技术可以从图像中识别和提取出感兴趣的区域(目标区域)。例如,利用图像分割技术从肺部电子计算机断层扫描(computed tomography,ct)图像中分割出肺部病灶区域。

2、目前,图像分割技术往往利用卷积神经网络(convolutionalneuralnetworks,cnn)对图像进行卷积处理提取图像的特征,或者利用视觉转换块(visiontransformer,vit)对图像进行处理提取图像特征。然而,由于cnn固有的归纳偏移特性,导致只能提取图像的局部特征,而无法感知图像的全局特征。vit可以感知图像的全局特征,但vit由于缺乏归纳偏置和位移不变形,导致在感知图像的全局特征时会遗漏局部细节特征。即无论采用cnn进行图像特征提取,还是采用vit进行图像特征提取,都会存在图像分割效果差的问题。


技术实现思路

1、本技术实施例提供了一种图像处理方法、装置及电子设备,用于丰富提取出的图像特征,提高图像分割效果。

2、第一方面,本技术实施例提供了一种图像处理方法,所述方法包括:

3、获取待处理图像;所述待处理图像包括目标区域;

4、利用第一并行编码器对所述待处理图像进行全局特征映射得到第一全局特征图,以及利用所述第一并行编码器对所述待处理图像进行局部特征映射得到与所述目标区域对应的第一局部特征图;

5、利用所述第一并行编码器对所述第一局部特征图和所述第一全局特征图进行合并处理,得到第二全局特征图和第二局部特征图;所述第二全局特征图为所述第一局部特征图合并到所述第一全局特征图后得到的全局特征图,所述第二局部特征图为所述第二全局特征图合并到所述第一局部特征图后得到的局部特征图;

6、利用所述第一并行编码器对所述第二全局特征图和所述第二局部特征图进行处理,得到第一目标特征图,所述第一目标特征图包括所述待处理图像全局特征信息和所述目标区域的局部特征信息;

7、根据所述第一目标特征图,从所述待处理图像中分割出所述目标区域。

8、在一种具体实现中,所述第一并行编码器包括第一引导层,所述第一引导层包括第一全局特征块、第一局部特征块和第一双向引导注意模块;所述利用所述第一并行编码器对所述第一局部特征图和所述第一全局特征图进行合并处理,得到第二全局特征图和第二局部特征图,包括:

9、利用所述第一双向引导注意模块对所述第一局部特征图进行转换处理,得到第一中间特征图;利用所述第一全局特征块对第二中间特征图进行全局特征映射,得到所述第二全局特征图;所述第二中间特征图为所述第一中间全局特征图融合所述第一全局特征图后得到的特征图;

10、利用所述第一双向引导注意模块对所述第二全局特征图进行转换处理,得到第三中间特征图;利用所述第一局部特征块对所述第一局部特征图进行局部特征映射得到第四中间特征图;获取所述第二局部特征图,所述第二局部特征图为述第三中间特征图融合所述第四中间特征图获取的特征图。

11、可选地,所述第一双向引导注意模块包括第一注意子网络和第二注意子网络,所述利用所述第一双向引导注意模块对所述第一局部特征图进行转换处理,得到第一中间特征图;利用所述第一双向引导注意模块融合所述第一中间全局特征图和所述第一全局特征图,得到第二中间特征图,包括:

12、利用所述第一注意子网络对所述第一局部特征图进行转换处理,得到第一中间特征图;其中,所述第一注意子网络中的键为所述第一局部特征图对应的键,所述第一注意子网络中的值为所述第一局部特征图对应的值,所述第一注意子网络中的查询为所述第一全局特征图中查询映射矩阵;

13、所述利用所述第一双向引导注意模块对所述第二全局特征图进行转换处理,得到第三中间特征图;包括:

14、所述利用所述第二注意子网络对所述第二全局特征图进行转换处理,得到第三中间特征图;其中,所述第二注意子网络中的键为所述第二全局特征图中键映射矩阵,所述第二注意子网络中的值为所述第二全局特征图中值映射矩阵,所述第二注意子网络中的查询为所述中间局部特征图中的查询。

15、在另一种具体的实现中,所述第一并行编码器包括第一网络层,所述利用第一并行编码器对所述待处理图像进行全局特征映射得到第一全局特征图,以及利用所述第一并行编码器对所述待处理图像进行局部特征映射得到与所述目标区域对应的第一局部特征图,包括:

16、利用所述第一网络层中的图像块编码块对所述待处理图像进行全局特征映射得到所述第一全局特征图;利用所述第一网络层中的基础卷积块对所述待处理图像进行局部特征映射,得到所述第一局部特征图。

17、此外,所述第一并行编码器还包括融合层,所述利用所述第一并行编码器对所述第二全局特征图和所述第二局部特征图进行处理,得到第一目标特征图,包括:

18、所述融合层中的全局特征块对所述第二全局特征图进行全局特征映射,得到第三全局特征图;所述融合层中局部特征块对所述第二局部特征图进行局部特征映射,得到第三局部特征图;

19、所述融合层中卷积层对融合所述第三全局特征图和所述第三局部特征图的特征图进行特征提取,得到所述第一目标特征图。

20、在又一种具体实现中,所述第一并行编码器还包括第二引导层,所述第二引导层包括第二全局特征块、第二局部特征块和第二双向引导注意模块,所述利用所述第一并行编码器对所述第二全局特征图和所述第二局部特征图进行处理,得到第一目标特征图,包括:

21、利用所述第二双向引导注意模块对所述第二局部特征图进行转换处理,得到第五中间特征图;利用所述第二全局特征块对第六中间特征图进行全局特征映射,得到所述第三全局特征图;所述第六中间特征图为所述第五中间特征图融合所述第二全局特征图得到的特征图;

22、利用所述第二双向引导注意模块对所述第三全局特征图进行转换处理,得到第七中间特征图;利用所述第二局部特征块对所述第二局部特征图进行局部特征映射得到第八中间特征图;融合所述第七中间特征图和所述第八中间特征图,得到所述第三局部特征图;

23、利用所述第一并行编码器对所述第三全局特征图和所述第三局部特征图进行融合处理,得到所述第一目标特征图。

24、可选地,所述根据所述第一目标特征图,从所述待处理图像中分割出所述目标区域,包括:

25、对所述第一目标特征图进行投影,得到第一初始二维图、第二初始二维图和第三初始二维图;所述第一初始二维图为所述第一目标特征图在宽度方向的投影,所述第二初始二维图为所述第一目标特征图在高度方向的投影,所述第三初始二维图为所述第一目标特征图在深度方向的投影;并对所述第一目标特征图进行通道映射处理,得到初始四维特征图,所述初始四维特征图是指只有1个通道的特征图;

26、对所述第一初始二维图进行2d卷积处理,得到第一二维特征图;对所述第二初始二维图进行2d卷积处理,得到第二二维特征图;对所述第三初始二维图进行2d卷积处理,得到第三二维特征图;对所述初始四维特征图进行3d卷积处理得到四维特征图;

27、对所述第一二维特征图进行宽度方向的逆变换,得到第一三维特征图,对所述第二二维特征图进行高度方向的逆变换,得到第二三维特征图,对所述第三二维特征图进行深度方向的逆变换,得到第三三维特征图,对所述四维特征图进行通道映射的逆变换,得到第四三维特征图;

28、叠加所述第一三维特征图、所述第二三维特征图、所述第三三维特征图和所述第四三维特征图,得到维度映射特征图;对所述维度映射特征图进行解码处理,获取所述待处理图像中分割出的所述目标区域。

29、可选地,所述方法还包括:

30、利用第二并行编码器对所述第一目标特征图进行全局特征映射得到第四全局特征图,以及利用所述第二并行编码器对所述第一目标特征图进行局部特征映射得到所述目标区域的第四局部特征图,所述第四全局特征图的分辨率与所述第四局部特征图的分辨率相同;

31、利用所述第二并行编码器对所述第四局部特征图和所述第四全局特征图进行合并处理,得到第五全局特征图和第五局部特征图;所述第五全局特征图为所述第四局部特征图合并到所述第四全局特征图后得到的全局特征图,所述第五局部特征图为所述第五全局特征图合并后所述第四局部特征图后得到的局部特征图;所述第四全局特征图的分辨率和所述第五局部特征图的分辨率相同;

32、利用所述第二并行编码器对所述第五全局特征图和所述第五局部特征图进行处理,得到第二目标特征图,所述第二目标特征图包括所述第一目标特征图的全局特征信息和所述目标区域的局部特征信息;

33、对所述第一目标特征图和所述第二目标特征图进行聚合处理,得到聚合特征图;

34、对所述维度映射特征图进行解码处理,从所述待处理图像中分割出所述目标区域,包括:对所述维度映射特征图和所述聚合特征图进行通道拼接处理和卷积操作处理,从所述待处理图像中分割出所述目标区域。

35、可选地,所述对所述第一目标特征图和所述第二目标特征图进行聚合处理,得到聚合特征图,包括:

36、对所述第二目标特征图中第一特征进行上采样,得到与所述第一目标特征图的第二特征大小的第三特征;所述第一特征对应的目标像素值与所述第二特征对应的目标像素值相同;

37、对所述第三特征进行卷积操作和relu函数处理,得到权重;

38、将所述权重与所述第二特征相乘,得到特征对应的特征图为所述聚合特征图;

39、可选地,所述获取待处理图像,包括:

40、调整原始图像的图像像素值,使调整后的图像像素值在预设范围内;

41、对调整后的图像像素值进行归一化处理;

42、根据标注序列图像,裁剪归一化处理后的图像中包括所述目标区域的感兴趣区域,得到所述待处理图像。

43、可选地,所述第一全局特征图的分辨率与所述第一局部特征图的分辨率相同,和/或所述第二全局特征图的分辨率和所述第二局部特征图的分辨率相同。

44、第二方面,本技术实施例提供了一种图像处理装置,所述装置包括:

45、获取单元,用于获取待处理图像;所述待处理图像包括目标区域;

46、编码单元,用于利用第一并行编码器对所述待处理图像进行全局特征映射得到第一全局特征图,以及利用所述第一并行编码器对所述待处理图像进行局部特征映射得到所述目标区域的第一局部特征图;利用所述第一并行编码器对所述第一局部特征图和所述第一全局特征图进行合并处理,得到第二全局特征图和第二局部特征图;所述第二全局特征图为所述第一局部特征图合并到所述第一全局特征图后得到的全局特征图,所述第二局部特征图为所述第二全局特征图合并后所述第一局部特征图后得到的局部特征图;利用所述第一并行编码器对所述第二全局特征图和所述第二局部特征图进行处理,得到第一目标特征图,所述第一目标特征图包括所述待处理图像全局特征信息和所述目标区域的局部特征信息;

47、确定单元,用于根据所述第一目标特征图,从所述待处理图像中分割出所述目标区域。

48、第三方面,本技术实施例提供了一种电子设备,所述电子设备包括存储器和处理器;

49、所述存储器与所述处理器耦合;

50、所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行如第一方面任一项所述的方法。

51、有益效果:

52、本技术实施例提供了一种图像处理方法、装置及电子设备。该方法包括获取待处理图像,利用第一并行编码器对待处理图像进行全局特征映射得到第一全局特征图,以及利用第一并行编码器对待处理图像进行局部特征映射得到目标区域的第一局部特征图;利用第一并行编码器对第一局部特征图和第一全局特征图进行合并处理,得到第二全局特征图和第二局部特征图;第二全局特征图为第一局部特征图合并到第一全局特征图后得到的全局特征图,第二局部特征图为第二全局特征图合并后第一局部特征图后得到的局部特征图;利用第一并行编码器对第二全局特征图和第二局部特征图进行处理,得到第一目标特征图,第一目标特征图包括待处理图像全局特征信息和目标区域的局部特征信息;根据第一目标特征图,从待处理图像中分割出目标区域。由此,本技术实施例通过采用并行获取待处理图像的第一全局特征图和第一局部特征图,然后将第一局部特征图合并到第一全局特征图,提高局部特征图对局部细节信息的关注。将第二全局特征图合并到第一局部特征图,弥补局部特征图在全局语义方面信息的不足。由此通过强化全局特征和局部特征的交互表达,保证获取的第一目标特征图包含完整的全局语义信息和丰富的局部细节特征,进而提高了图像分割技术的分割效率。


技术特征:

1.一种图像处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述方法,其特征在于,所述第一并行编码器包括第一引导层,所述第一引导层包括第一全局特征块、第一局部特征块和第一双向引导注意模块;所述利用所述第一并行编码器对所述第一局部特征图和所述第一全局特征图进行合并处理,得到第二全局特征图和第二局部特征图,包括:

3.根据权利要求2所述方法,其特征在于,所述第一双向引导注意模块包括第一注意子网络和第二注意子网络,所述利用所述第一双向引导注意模块对所述第一局部特征图进行转换处理,得到第一中间特征图,包括:

4.根据权利要求1所述方法,其特征在于,所述第一并行编码器包括第一网络层,所述利用第一并行编码器对所述待处理图像进行全局特征映射得到第一全局特征图,以及利用所述第一并行编码器对所述待处理图像进行局部特征映射得到与所述目标区域对应的第一局部特征图,包括:

5.根据权利要求1-4任一项所述方法,其特征在于,所述第一并行编码器还包括融合层,所述利用所述第一并行编码器对所述第二全局特征图和所述第二局部特征图进行处理,得到第一目标特征图,包括:

6.根据权利要求2-4任一项所述方法,其特征在于,所述第一并行编码器还包括第二引导层,所述第二引导层包括第二全局特征块、第二局部特征块和第二双向引导注意模块,所述利用所述第一并行编码器对所述第二全局特征图和所述第二局部特征图进行处理,得到第一目标特征图,包括:

7.根据权利要求1所述方法,其特征在于,所述根据所述第一目标特征图,从所述待处理图像中分割出所述目标区域,包括:

8.根据权利要求7所述方法,其特征在于,所述方法还包括:

9.根据权利要求8所述方法,其特征在于,所述对所述第一目标特征图和所述第二目标特征图进行聚合处理,得到聚合特征图,包括:

10.一种图像处理装置,其特征在于,所述装置包括:

11.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;


技术总结
本申请实施例提供了一种图像处理方法、装置及电子设备。利用第一并行编码器对待处理图像映射得到第一全局特征图和第一局部特征图。利用第一并行编码器对第一局部特征图和第一全局特征图进行合并处理,得到第二全局特征图和第二局部特征图;第二全局特征图为第一局部特征图合并到第一全局特征图后得到的全局特征图,第二局部特征图为第二全局特征图合并到第一局部特征图后得到的局部特征图;利用第一并行编码器对第二全局特征图和第二局部特征图进行处理,得到第一目标特征图。由此通过强化全局特征和局部特征的交互表达,保证获取的第一目标特征图包含完整的全局语义信息和丰富的局部细节特征,进而提高了图像分割技术的分割效率。

技术研发人员:潘俊男,陈德彦,彭成宝,张霞
受保护的技术使用者:沈阳东软智能医疗科技研究院有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-25519.html

最新回复(0)