本发明涉及图像处理,具体涉及一种基于深度动态自调整的图像处理方法及装置。
背景技术:
1、随着医疗技术的持续进步和公众健康意识的日益增强,人们对医学图像的精确分析需求愈发严格,特别是对于ct(计算机断层扫描)图、核磁共振图等复杂医学图像的处理。为了获得更为精准的分割结果,医学图像分割技术与深度学习相结合,已成为行业发展的必然趋势。这种融合不仅提升了分割的准确性,而且为后续的病情评估和医学建议提供了坚实可靠的基础。尽管基于卷积神经网络(convolutional neural network ,cnn)和视觉变换器(vision transformer ,vit)设计的算法在医学图像分割领域占据了主导位置,并展现出显著的性能和巨大潜力,然而这些方法在有效提取上下文信息和缓解语义差异方面仍显不足。
2、因此,传统的分割方法忽略了特征通道与特征空间之间的相互关联,这限制了模型在表达复杂特征方面的能力。其次,卷积运算中固有的偏差,不能完全有效提取上下文信息。最后,由于编解码器之间存在不兼容的特征集,导致部分跳跃连接收到编解码器之间语义差异的影响,进而对分割性能产生负面作用,从而很难实现精准分割的任务。
技术实现思路
1、本发明的目的在于提供一种基于深度动态自调整的图像处理方法及装置,解决了现有技术中存在的技术问题。
2、本发明通过下述技术方案实现:
3、一方面,本发明提供一种基于深度动态自调整的图像处理方法,包括:
4、获取目标处理医学图像;其中,所述目标处理医学图像用于表征包含肿瘤的病灶部位图像;
5、通过基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络对目标处理医学图像进行多层次图像特征提取,以动态拟合边缘轮廓以及提取通道空间特征,得到与多层次图像分割网络的层数所对应的多个尺寸不同的下采样处理图像;
6、通过基于多尺度增强自注意力机制模块构成的多层次上采样网络对最后一个尺寸的下采样处理图像依次进行多层次上采样,得到多个尺寸不同的上采样处理图像;其中,多层次上采样网络与多层次图像分割网络的层数相同;
7、在多次上采样过程中,通过多个深度不同的语义缓解模块对下采样处理图像与上采样处理图像进行语义连接,自适应调整不同层跳跃连接上的语义差,以采用上一个尺寸的上采样处理图像生成下一个尺寸上采样过程的输入处理图像;
8、其中,第u个尺寸的下采样处理图像与第v个尺寸的上采样处理图像对应,且当 v=1,2,…,j-1时, u=i-1,i-2,…,1;i表示多层次图像分割网络的总层数,j表示上限为多层次上采样网络的总层数,i=j;
9、采用卷积替换最后一个尺寸上采样过程中的多尺度增强自注意力机制模块,以将倒数第二个尺寸上采样过程输出的上采样处理图像转换为输出处理图像,得到目标图像分割处理结果。
10、在一种可能的实施方式中,所述轻量可变形残差模块,包括:顺次连接的第二图像输入层、第六卷积层、第一最大池化层、第七卷积层、可变形卷积层、全连接层、偏置层、第八卷积层以及第二图像输出层;所述第六卷积层的输出与第八卷积层的输出残差连接,所述第七卷积层的输出与偏置层的输出残差连接;其中,所述第二图像输入层用于接收输入的轻量可变形残差模块的第二处理图像,所述第二图像输出层用于将轻量可变形残差模块处理过的第二处理图像输出。
11、在一种可能的实施方式中,所述多尺度增强自注意力机制模块,包括:
12、顺次连接的第一图像输入层、通道注意力层、分割层、多尺度全局特征提取子模块、第三卷积层、第一加法层以及第一图像输出层,且第一图像输入层还分别连接至多尺度全局特征提取子模块以及第一加法层;其中,第一图像输入层用于接收输入多尺度增强自注意力机制模块的第一处理图像,分割层用于将通道注意力层输出的第一处理图像沿通道维度划分为四组,第一加法层用于将第一图像输入层接收的特征图与第三卷积层输出的第一处理图像相加,第一图像输出层用于将多尺度增强自注意力机制模块处理过的第一处理图像输出;
13、所述多尺度全局特征提取子模块包括第一深度卷积层、第二深度卷积层、第三深度卷积层、第四深度卷积层、第一点乘层、第二点乘层、第三点乘层、第四点乘层、第五点乘层、第六点乘层、第一平均池化层、第一卷积层、双线性插值层、第一拼接层以及第二卷积层;
14、所述分割层的四个输出分别连接至第一深度卷积层、第二深度卷积层、第三深度卷积层以及第四深度卷积层;其中,所述第一深度卷积层、第二深度卷积层、第三深度卷积层以及第四深度卷积层的卷积核各不相同;
15、所述第一深度卷积层的输出以及第二深度卷积层的输出均连接至第一点乘层,所述第一深度卷积层的输出以及第三深度卷积层的输出均连接至第二点乘层,所述第一深度卷积层的输出以及第四深度卷积层的输出均连接至第三点乘层,所述第二深度卷积层的输出以及第三深度卷积层的输出均连接至第四点乘层,所述第二深度卷积层的输出以及第四深度卷积层的输出均连接至第五乘层,所述第三深度卷积层的输出以及第四深度卷积层的输出均连接至第六点乘层;其中,第一点乘层至第六乘层均用于将输入特征进行点乘;
16、所述第一点乘层至第六乘层的输出均连接至第一拼接层,所述第一图像输入层还分别连接至第一平均池化层以及第二卷积层,所述第一平均池化层的输出依次通过第一卷积层以及双线性插值层连接至第一拼接层,所述第二卷积层的输出连接至第一拼接层;其中,所述双线性插值层用于通过插值操作将第一卷积层输出的第一处理图像调至预设尺寸,第一拼接层用于将六个点乘层输出的第一处理图像、双线性插值层输出的第一处理图像以及第二卷积层输出的第一处理图像沿通道维度进行拼接。
17、在一种可能的实施方式中,所述基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络,包括:
18、构建顺次连接的第一轻量可变形残差模块以及第一多尺度增强自注意力机制模块,以形成第一层次特征提取过程;
19、构建顺次连接的第二轻量可变形残差模块以及第二多尺度增强自注意力机制模块,以形成第二层次特征提取过程;
20、构建顺次连接的第三轻量可变形残差模块以及第三多尺度增强自注意力机制模块,以形成第三层次特征提取过程;
21、构建顺次连接的第四轻量可变形残差模块以及第四多尺度增强自注意力机制模块,以形成第四层次特征提取过程;
22、构建顺次连接的第五轻量可变形残差模块以及第五多尺度增强自注意力机制模块,以形成第五层次特征提取过程;
23、将第一层次特征提取过程、第二层次特征提取过程、第三层次特征提取过程、第四层次特征提取过程以及第五层次特征提取过程对应的结构顺次拼接,得到多层次图像分割网络。
24、在一种可能的实施方式中,通过基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络对目标处理医学图像进行多层次图像特征提取,包括:
25、在每个层次特征提取过程中,通过轻量可变形残差模块扩大感受野以及动态拟合边缘轮廓,得到第一中间处理图像;
26、通过多层次图像分割网络中的多尺度增强自注意力机制模块提取第一中间处理图像的空间特征以及通道特征,得到每个层次特征提取过程对应的下采样处理图像,并将每个层次特征提取过程对应的下采样处理图像作为下一个层次特征提取过程的输入特征图,从而实现多层次图像特征提取;
27、其中,最后一个层次特征提取过程输出的下采样处理图像作为多层次上采样网络的输入。
28、在一种可能的实施方式中,基于多尺度增强自注意力机制模块构成的多层次上采样网络,包括:
29、构建顺次连接的第一上采样模块以及第六多尺度增强自注意力机制模块,以形成第一层次上采样过程;
30、构建顺次连接的第二上采样模块以及第七多尺度增强自注意力机制模块,以形成第二层次上采样过程;
31、构建顺次连接的第三上采样模块以及第八多尺度增强自注意力机制模块,以形成第三层次上采样过程;
32、构建顺次连接的第四上采样模块以及第九多尺度增强自注意力机制模块,以形成第四层次上采样过程;
33、构建顺次连接的第五上采样模块以及第十卷积层,以形成第五层次上采样过程;
34、将第一层次上采样过程、第二层次上采样过程、第三层次上采样过程、第四层次上采样过程以及第五层次上采样过程对应的结构顺次拼接,得到多层次上采样网络;
35、其中,第十卷积层为替换最后一个尺寸上采样过程中的多尺度增强自注意力机制模块的卷积。
36、在一种可能的实施方式中,第一上采样模块至第五上采样模块均包括顺次连接的第三输入层、第九卷积层、批归一化层、线性插值层、relu激活函数层以及第三输出层;其中,所述第三输入层用于接收输入上采样模块的第三处理图像,所述第三输出层用于将上采样模块处理过的第三处理图像输出。
37、在一种可能的实施方式中,通过基于多尺度增强自注意力机制模块构成的多层次上采样网络对最后一个尺寸的下采样处理图像依次进行多层次上采样,得到多个尺寸不同的上采样处理图像,包括:
38、在每个层次上采样过程中,通过上采样模块恢复特征图尺寸,得到第二中间处理图像;
39、通过多层次上采样网络中的多尺度增强自注意力机制模块提取第二中间处理图像的空间特征以及通道特征,得到每个层次上采样过程对应的上采样处理图像,并将每个层次上采样过程对应的上采样处理图像与对应的下采样处理图像跳跃连接之后,作为下一个层次上采样过程的输入特征图,从而实现多层次上采样,得到多个尺寸不同的上采样处理图像;
40、其中,最后一个层次上采样过程输出的上采样处理图像作为目标图像分割处理结果。
41、在一种可能的实施方式中,通过多个深度不同的语义缓解模块对下采样处理图像与上采样处理图像进行语义连接,包括:
42、针对第 v个尺寸的上采样处理图像与其对应的下采样处理图像,采用深度为 v的语义缓解模块进行跳跃连接;
43、其中, v=1,2,…,j-1,j表示上限为多层次上采样网络的总层数。
44、另一方面,本发明提供一种基于深度动态自调整的图像处理装置,包括:目标图像采集模块、编码器、解码器、语义连接模块以及目标图像分割处理结果获取模块;
45、所述目标图像采集模块,用于获取目标处理医学图像;其中,所述目标处理医学图像用于表征包含肿瘤的病灶部位图像;
46、所述第一采样单元,用于通过基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络对目标处理医学图像进行多层次图像特征提取,以动态拟合边缘轮廓以及提取通道空间特征,得到与多层次图像分割网络的层数所对应的多个尺寸不同的下采样处理图像;
47、所述第二采样单元,用于通过基于多尺度增强自注意力机制模块构成的多层次上采样网络对最后一个尺寸的下采样处理图像依次进行多层次上采样,得到多个尺寸不同的上采样处理图像;其中,多层次上采样网络与多层次图像分割网络的层数相同;
48、所述语义连接模块,用于在多次上采样过程中,通过多个深度不同的语义缓解模块对下采样处理图像与上采样处理图像进行语义连接,自适应调整不同层跳跃连接上的语义差,以采用上一个尺寸的上采样处理图像生成下一个尺寸上采样过程的输入处理图像;
49、其中,第u个尺寸的下采样处理图像与第v个尺寸的上采样处理图像对应,且当 v=1,2,…,j-1时, u=i-1,i-2,…,1;i表示多层次图像分割网络的总层数,j表示上限为多层次上采样网络的总层数,i=j;
50、所述目标图像分割处理结果获取模块,用于采用卷积替换最后一个尺寸上采样过程中的多尺度增强自注意力机制模块,以将倒数第二个尺寸上采样过程输出的上采样处理图像转换为输出处理图像,得到目标图像分割处理结果。
51、本发明提供的一种基于深度动态自调整的图像处理方法及装置,先通过基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络对目标处理医学图像进行多层次图像特征提取,然后通过基于多尺度增强自注意力机制模块构成的多层次上采样网络对最后一个尺寸的下采样处理图像依次进行多层次上采样,能够动态捕获浅层的轮廓信息,同时避免了过大的计算消耗以及不易训练的问题,避免了巨额计算开销的同时,有效缓解了特征信息的冗余; 最后通过多个深度不同的语义缓解模块对下采样处理图像与上采样处理图像进行语义连接,以简单高效的方式缓解语义差,提升了网络分割性能。
1.一种基于深度动态自调整的图像处理方法,其特征在于,包括:
2.根据权利要求1所述的基于深度动态自调整的图像处理方法,其特征在于,所述轻量可变形残差模块,包括:顺次连接的第二图像输入层、第六卷积层、第一最大池化层、第七卷积层、可变形卷积层、全连接层、偏置层、第八卷积层以及第二图像输出层;所述第六卷积层的输出与第八卷积层的输出残差连接,所述第七卷积层的输出与偏置层的输出残差连接;其中,所述第二图像输入层用于接收输入的轻量可变形残差模块的第二处理图像,所述第二图像输出层用于将轻量可变形残差模块处理过的第二处理图像输出。
3.根据权利要求2所述的基于深度动态自调整的图像处理方法,其特征在于,所述多尺度增强自注意力机制模块,包括:
4.根据权利要求1-3任一所述的基于深度动态自调整的图像处理方法,其特征在于,所述基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络,包括:
5.根据权利要求1所述的基于深度动态自调整的图像处理方法,其特征在于,通过基于轻量可变形残差模块以及多尺度增强自注意力机制模块构成的多层次图像分割网络对目标处理医学图像进行多层次图像特征提取,包括:
6.根据权利要求1所述的基于深度动态自调整的图像处理方法,其特征在于,基于多尺度增强自注意力机制模块构成的多层次上采样网络,包括:
7.根据权利要求6所述的基于深度动态自调整的图像处理方法,其特征在于,第一上采样模块至第五上采样模块均包括顺次连接的第三输入层、第九卷积层、批归一化层、线性插值层、relu激活函数层以及第三输出层;其中,所述第三输入层用于接收输入上采样模块的第三处理图像,所述第三输出层用于将上采样模块处理过的第三处理图像输出。
8.根据权利要求7所述的基于深度动态自调整的图像处理方法,其特征在于,通过基于多尺度增强自注意力机制模块构成的多层次上采样网络对最后一个尺寸的下采样处理图像依次进行多层次上采样,得到多个尺寸不同的上采样处理图像,包括:
9.根据权利要求8所述的基于深度动态自调整的图像处理方法,其特征在于,通过多个深度不同的语义缓解模块对下采样处理图像与上采样处理图像进行语义连接,包括:
10.一种基于深度动态自调整的图像处理装置,其特征在于,包括:目标图像采集模块、编码器、解码器、语义连接模块以及目标图像分割处理结果获取模块;