本发明属于医学图像分割,具体涉及一种多模态医学图像分割系统。
背景技术:
1、多模态医学图像分割对于提高各种临床环境中的诊断的准确性至关重要。然而,在实际临床环境中难以获得完整的数据,这严重限制了未配对多模态数据的使用。原因在于多模态非配对图像存在空间失调和模态差异,这既增加了图像信息的丰富度,也增加了对目标任务的干扰。特征提取器因此无法整合来自不同模态的信息,从而影响了模型性能。针对空间失调和模态差异问题,一些研究尝试利用无监督域自适应方法对源模态和目标模态的分布进行对齐,以缓解域偏移问题。目前主要出现了两种思路:一种是图像对齐,另一种是特征对齐。这些方法主要集中在解决由于空间不对齐和形态差异造成的模态信息不对齐的困难。分割任务的评估更侧重于对图像中特定结构或区域的准确识别和定位。从这个角度来看,现有的基于无监督域自适应的方法减轻了不同模态之间的错位和不配对问题,但这些方法对源域图像的分割效果并没有带来明显的改善。此外,模态转换后图像的视觉评价与分割任务的评价并不一定呈正相关。即使图像在视觉上不是最优的,但只要能准确地突出目标结构的边界和特征,对分割算法也是有价值。
技术实现思路
1、本发明旨在解决现有技术中,在实际临床环境中难以获得完整的数据,未配对和未标记的多模态数据的使用受到严重限制,导致未配对数据由于空间失调和形态差异而无法作为模型的同时输入的问题,提出一种多模态医学图像分割系统,将图像翻译和分割阶段无缝集成。
2、为实现上述目的,本发明提供了如下方案:一种多模态医学图像分割系统,包括:图像生成模块以及分割模块;
3、所述图像生成模块用于对非配对图像进行跨模态图像生成,得到生成图像;将得到的所述生成图像通过对比学习,得到配准图像;
4、所述分割模块用于采用分割模型对输入的所述配准图像与源图像进行分割操作,得到分割图像。
5、进一步优选地,所述图像生成模块采用翻译网络对非配对图像进行跨模态变换操作,得到所述生成图像;
6、所述翻译网络包括两个结构相同的对抗学习网络;每个对抗学习网络包括一个共享编码器、一个翻译解码器、一个判别器以及一个辅助分割解码器;
7、源图像经过所述共享编码器和所述翻译解码器,得到与源图像不同模态的所述生成图像;将所述生成图像和与所述生成图像相同模态的真实图像输入所述判别器中,使所述生成图像逼近与所述生成图像相同模态的真实图像;源图像通过所述共享编码器和所述辅助分割解码器,输出源图像的预测标签,将所述预测标签与源图像的真实标签计算混合分割损失,完成分割约束。
8、进一步优选地,所述翻译网络的总损失包括:
9、,
10、式中,ladv表示对抗损失;lsc表示区域感知分割损失;lcl表示对比一致性损失;λ1、λ2和λ3为权重系数。
11、进一步优选地,采用一种动态权重控制机制对所述权重系数进行调整;
12、对于λ1,调整机制如下:
13、,
14、式中,f(e)为非线性衰减函数;σ为超参数,用于调整衰减率;nep表示训练轮次epoch的数量;
15、对于λ2、λ3,调整机制如下:
16、,
17、,
18、式中,表示损失函数对参数向量θ的梯度;θi表示参数向量θ中的第i个参数。
19、进一步优选地,所述对抗损失包括:
20、,
21、式中,和分别表示真实的图像和生成的图像;dsyn表示判别器。
22、进一步优选地,所述区域感知分割损失包括:
23、,
24、式中,ldice表示dice损失;lce表示交叉熵损失;和分别表示源图像的标签和预测标签。
25、进一步优选地,所述对比一致性损失包括:
26、,
27、式中,和表示对比损失;
28、其中,
29、,
30、,
31、式中,表示对所有可能的样本集合{,,……}计算[ ]内的期望值; 表示固定的ma模态样本图像;表示由固定的ma模态的图像通过对抗学习网络转换得到的mb模态但语义相同的样本;是对应用三种不同的随机数据增强变换从而得到的模态相同但语义不同的多个样本;( )和( )分别表示两个编码器;τ表示温度系数。
32、进一步优选地,所述分割模型采用unet网络;所述unet网络的损失包括:
33、,
34、式中,ldice表示dice损失;lce表示交叉熵损失;p,y分别表示分割网络的预测标签和源图像的真实标签。
35、与现有技术相比,本发明的有益效果为:
36、(1)本发明为了解决传统静态权重分配方法在动态环境中缺乏灵活性,无法在整个训练过程中自适应调整以反映任务重要性变化的问题,提出了一种动态权重控制机制。
37、(2)本发明设计了一个区域感知约束lsc来将视觉质量与分割效用对齐。
38、(3)本发明将重点发在模态不变的结构特征上,在模态特定信息的独立视角下,将源域与目标域特征对齐。
1.一种多模态医学图像分割系统,其特征在于,包括:图像生成模块以及分割模块;
2.根据权利要求1所述一种多模态医学图像分割系统,其特征在于,所述翻译网络的总损失包括:
3.根据权利要求2所述一种多模态医学图像分割系统,其特征在于,采用一种动态权重控制机制对所述权重系数进行调整;
4.根据权利要求2所述一种多模态医学图像分割系统,其特征在于,所述对抗损失包括:
5.根据权利要求2所述一种多模态医学图像分割系统,其特征在于,所述区域感知分割损失包括:
6.根据权利要求2所述一种多模态医学图像分割系统,其特征在于,所述对比一致性损失包括:
7.根据权利要求1所述一种多模态医学图像分割系统,其特征在于,所述分割模型采用unet网络;所述unet网络的损失包括:
