一种腹部MRI合成CT的医学影像转换方法

allin2025-09-14  5


本发明涉及医学影像数据处理的,更具体地,涉及一种腹部mri合成ct的医学影像转换方法。


背景技术:

1、磁共振成像(magnetic resonance imaging,mri)和计算机断层扫描(computedtomography,ct)等医学成像技术已成为当今医疗诊断和治疗计划中不可或缺的一部分,其中mri以其优异的软组织对比度被广泛用于软组织和骨肿瘤的识别、分期和治疗计划,ct主要用于成像高电子密度的组织,例如骨骼或者肿瘤探查。不同的医学影像模式提供的信息互补,但也有各自局限性,比如mri的成像时间较长成本高,且幽闭恐怖症和心脏起搏器患者可能无法拍摄mri,而ct扫描会产生射线剂量对人体造成伤害,其使用频率有所限制。在临床实践中,尽管结合多模态医学影像能够进行更全面的疾病评估,由于时间、成本、辐射剂量等多种因素的影响,使用不同的成像技术收集同一患者的数据不切实际。在这种背景下,利用现代技术实现从一种模态到另一种模态的图像转换显示出巨大价值与潜力。

2、现有技术公开了一种基于深度学习的mri图像合成ct图像的方法及系统,基于深度学习的拟合能力,构建包括不同子模型的深度学习神经网络模型分别学习骨骼跟组织的分布,再进行融合集成,使得分布信息更加清晰;采用k-means聚类方法进行自适应分割,在原有mr-ct的数据集中,易于批量获取所需的骨骼掩膜数据;同时,针对不同部分的特性可选择不同的子模型进行合成,减小网络的复杂度,优化了骨骼与组织的接壤处的合成。然而,所述合成方法虽然能实现非配对数据集的图像生成,优化了骨骼与组织的接壤处的合成,但无法较好捕捉mri和ct对应模态信息差别较大的内容特征。


技术实现思路

1、为解决当前mr-ct医学影像转换过程无法较好捕捉对应模态信息差别较大的内容特征的问题,本发明提出一种腹部mri合成ct的医学影像转换方法,构建包含两阶段深度学习架构和训练策略的医学影像转换模型,通过增强缺失骨骼信息来提升腹部合成图像质量,生成更好的骨骼框架,以解决mri与ct域之间的信息不对称造成的内容与风格上细节丢失问题。

2、为了达到上述技术效果,本发明的技术方案如下:

3、一种腹部mri合成ct的医学影像转换方法,包括:

4、s1.采集多套人体腹部的mri和ct的影像数据样本;

5、s2.对mri影像数据和ct影像数据进行刚性配准,将配准得到的配对数据作为一阶段数据集;

6、s3.分别对步骤s2得到的mri影像数据和ct影像数据进行图像数据增强,包括:对mri影像数据进行n4矫正,对ct影像数据进行去挡板处理;

7、s4.提取ct影像数据的骨骼特征图,将提取的骨骼特征图融合至配对的mri影像数据中,得到二阶段数据集;

8、s5.基于cyclegan网络,构建医学影像转换模型,所述医学影像转换模型包括一阶段模型和二阶段模型;

9、利用一阶段数据集对一阶段模型进行训练,利用二阶段数据集对二阶段模型进行训练,将训练后的一阶段模型和二阶段模型融合,得到训练好的医学影像转换模型;

10、s6.将待转换的mri影像数据输入训练好的医学影像转换模型,输出对应的合成ct影像数据,完成医学影像数据的跨模态转换。

11、本技术方案采用创新的两阶段深度学习架构和训练策略,两阶段模型允许各阶段模型独立改进和优化,以有效支撑通过增强缺失骨骼信息来提升腹部合成图像质量,融合得到的医学影像转换模型能够更深入地学习和理解mri影像和ct影像间的复杂映射关系,使得模型生成外观上高度真实的图像,更有效保证医学影像的可靠性。

12、优选地,在步骤s1中,采集腹部mri和ct的影像数据样本,过程包括:筛选腹部区域的mri和ct的dicom影像数据,将mri影像数据保存为t1序列,将ct影像数据保存为静脉期序列。

13、优选地,步骤s2的过程包括:

14、s21.导入待配对的一个病例的mri和ct的影像数据样本;

15、s22.分别对mri影像数据和ct影像数据进行医学影像三维重建,保持ct影像数据的三维坐标不变,将mri影像数据的三维重建物体进行坐标平移,使得其与ct影像数据的三维重建腹部结构完全重叠;

16、s23.对mri影像数据和ct影像数据进行切片配准,输出并保存配准好的dicom格式的mri影像数据,得到切片数量和切片层面与ct影像数据一致的mri影像数据;

17、s24.判断是否完成对所有病例数据的刚性配准,若是,将配准后得到的所有mri影像数据和ct影像数据的配对数据保存为一阶段数据集,否则,返回步骤s21。

18、在此,通过对每个病人的mri和ct影像数据进行刚性配准,以确保跨模态的mri和ct影像数据的切片数一致,且每一张切片的器官在同一层面对齐。

19、优选地,步骤s4的过程包括:

20、s41.设置像素值阈值,提取所有ct影像中像素值大于阈值的像素点,保存为特征图;

21、s42.对阈值提取的特征图进行腐蚀膨胀和滤波处理去除噪点,得到ct影像数据的骨骼特征图;

22、s43.将从ct影像数据提取得到的骨骼特征图叠加至mri影像数据中,得到增强骨骼的mri数据集,作为模型的二阶段数据集。

23、优选地,将一阶段数据集和二阶段数据集分别划分为训练集、验证集和测试集;利用训练集对一阶段模型和二阶段模型进行训练,然后利用验证集对一阶段模型和二阶段模型进行评估,利用测试集测试一阶段模型和二阶段模型的有效性,得到训练好的一阶段模型和二阶段模型。

24、优选地,所述医学影像转换模型包括一阶段模型和二阶段模型,其中:

25、所述一阶段模型用于提取目标ct的骨骼框架,包括生成器gab1、gba1,判别器da1、db1和跨模态内容结构gfeature,所述gab1将输入的mri影像数据转换为ct影像数据,所述gba1将输入的ct转换为mri;所述da1用于判断输入的mri影像数据的真伪,所述db1用于判断输入的ct影像数据的真伪;所述gfeature设置在gab1与gba1之间,用于对gab1和gba1的中间特征层进行约束,实现跨模态的特征对齐;

26、所述二阶段模型用于增强骨骼框架风格,结合一阶段模型提取的骨骼框架内容生成质量更高的ct风格图像,包括生成器gab2、gba2和判别器da2、db2

27、所述gab2将输入的增强骨骼的mri影像数据转换为ct影像数据,所述gba2将输入的ct转换为mri影像数据;所述da2用于判断输入的mri影像数据的真伪,所述db2用于判断输入的ct影像数据的真伪。

28、在此,把mri和ct模态成像在骨骼框架上的弱点切入,将mri合成ct分为递进的两步,第一步着手提高模型学习骨骼框架等跨模态内容特征的能力以合成mri对齐的骨骼结构,第二步利用cyclegan在风格转换上的优势,结合第一步提取的框架内容生成质量更高的ct风格图像。

29、优选地,在步骤s5中,在对医学影像转换模型进行训练,分别利用一阶段数据集的训练集对一阶段模型进行训练,利用二阶段数据集的训练集对二阶段模型进行训练,过程包括:

30、s51.先冻结判别器的权重,训练生成器:将一阶段数据集和二阶段数据集中的真实mri影像数据和ct影像数据分别输入对应的生成器中,生成虚假的合成ct影像数据和mri影像数据,以及从真实mri影像数据和ct影像数据中提取的高维内容特征;

31、将虚假的合成ct影像数据和mri影像数据分别输入对应的生成器进行重建损失,分别生成合成ct影像数据和mri影像数据的重建影像数据,以及从合成ct影像数据和mri影像数据中提取的高维内容特征;

32、对真实mri影像数据和ct影像数据与对应的重建影像数据之间进行重建损失计算,将重建损失用于反向传播训练生成器参数;

33、对从真实mri影像数据和ct影像数据中提取的高维内容特征与从合成ct影像数据和mri影像数据中提取的高维内容特征之间进行内容损失计算,将内容损失用于优化生成器的参数;

34、s52.冻结生成器的权重,训练判别器:将真实mri影像数据和ct影像数据标记为true并输入对应的判别器中,将生成器生成的合成ct影像数据和mri影像数据标记为false并输入对应的判别器中,将计算得到的损失用于优化判别器的参数;

35、s53.重复步骤s51和s52,交替训练生成器和判别器,每次迭代更新相应的权重参数,得到训练好的一阶段模型和二阶段模型;

36、s54.将一阶段模型和二阶段模型融合,获得训练好的医学影像转换模型。

37、优选地,在步骤s5的迭代过程中,通过构建每个阶段模型的总体最小化混合损失函数进行参数回传,调整每个阶段模型的参数;所述总体最小化混合损失函数包括:对抗损失、循环一致性损失、内容约束损失、骨骼结构约束损失和vgg网络损失;

38、将配对数据中的mri影像数据集记为a域,ct影像数据集记为b域;将a域中的任意一张影像数据记为reala,即真实的mri影像数据,b域中的任意一张影像数据记为realb,即真实的ct影像数据;将reala通过生成器生成的合成ct影像数据记为fakeb,将realb通过生成器生成的合成mri影像数据记为fakea;将fakea通过生成器生成的ct重建影像数据记为recb,将fakeb通过生成器gba1和gba2生成的mri重建影像数据记为reca;

39、将生成器中间层输出的包含有reala在a域上的高维内容特征记作将包含有realb在b域上的高维内容特征记作将包含有fakea在a域高维度内容特征记作将包含有fakeb在b域高维度内容特征记作构建内容约束损失,所述内容约束损失公式如下:

40、

41、其中,表示与构成新的a域上的内容约束,所述表示与构成新的b域上的内容约束;

42、所述骨骼结构约束包括reala与fakea之间的l1范数距离约束,以及realb和fakeb之间的l2范数距离约束,公式如下:

43、

44、其中,∥1表示使用l1范数,∥2表示使用l2范数;

45、所述vgg网络约束对提取的特征图进行语义约束,公式如下:

46、

47、其中,φ表示vgg网络的某一层或多层的输出;

48、每个阶段模型的总体最小化混合损失函数公式如下:

49、

50、其中,n∈{1,2};和与cyclegan中的对抗损失一致;与cyclegan中的循环一致性损失一致;为l1范数距离约束,为l2范数距离约束,分别由λl1和λl2两个超参数进行调整;为vgg网络的距离约束损失,λvgg是调控vgg网络损失的超参数;为内容损失,λfeature是调整内容损失的超参数。

51、在此,通过设置内容约束和基于vgg网络的l1损失、l2损失约束来提升不同模态间通用特征表示的准确性,使得模型在一阶段能生成更好的骨骼框架,以有效解决mri与ct域之间的信息不对称造成的内容与风格上细节丢失问题。

52、优选地,步骤s5中,利用验证集对一阶段模型和二阶段模型进行评估,一阶段模型的评估指标包括结构相似性指数,二阶段模型的评估指标包括结构相似性指数、峰值信噪比、均方误差和感知损失。

53、优选地,步骤s6的具体过程包括:将待转换的mri影像数据输入训练好的医学影像转换模型,提取出一阶段模型生成的虚假ct的骨骼框架,将骨骼框架与输入的mri共同输入到二阶段模型的生成器中,通过二阶段模型的生成器进行mri和骨骼框架的融合以及ct风格的转换,输出对应的合成ct影像数据

54、与现有技术相比,本发明技术方案的有益效果是:

55、本发明提出一种腹部mri合成ct的医学影像转换方法,采集多套人体腹部的mri和ct样本并进行刚性配准,将得到的配对数据作为一阶段数据集;再对mri和ct进行图像数据增强,提取ct的骨骼特征图并融合至配对的mri中,得到二阶段数据集;基于cyclegan网络,构建包括一阶段模型和二阶段模型的医学影像转换模型,分别利用一阶段数据集和二阶段数据集对一阶段模型和二阶段模型进行训练,将训练后的一阶段模型和二阶段模型融合;最后将待转换的mri影像数据输入训练好的医学影像转换模型,输出对应的合成ct,完成医学影像跨模态转换,不仅有助于降低医疗成本,减少患者接受的辐射剂量,而且通过增强缺失骨骼信息来提升腹部合成图像质量,生成更好的骨骼框架,使得合成ct能与mri在结构内容上更加匹配,为肿瘤靶向区域的描绘提供更清晰的病理信息。


技术特征:

1.一种腹部mri合成ct的医学影像转换方法,其特征在于,包括:

2.根据权利要求1所述的腹部mri合成ct的医学影像转换方法,其特征在于,在步骤s1中,采集腹部mri和ct的影像数据样本,过程包括:筛选腹部区域的mri和ct的dicom影像数据,将mri影像数据保存为t1序列,将ct影像数据保存为静脉期序列。

3.根据权利要求2所述的腹部mri合成ct的医学影像转换方法,其特征在于,步骤s2的过程包括:

4.根据权利要求1所述的腹部mri合成ct的医学影像转换方法,其特征在于,步骤s4的过程包括:

5.根据权利要求1所述的腹部mri合成ct的医学影像转换方法,其特征在于,还包括:将一阶段数据集和二阶段数据集分别划分为训练集、验证集和测试集;利用训练集对一阶段模型和二阶段模型进行训练,然后利用验证集对一阶段模型和二阶段模型进行评估,利用测试集测试一阶段模型和二阶段模型的有效性,得到训练好的一阶段模型和二阶段模型。

6.根据权利要求5所述的腹部mri合成ct的医学影像转换方法,其特征在于,所述医学影像转换模型包括一阶段模型和二阶段模型,其中:

7.根据权利要求6所述的腹部mri合成ct的医学影像转换方法,其特征在于,在步骤s5中,在对医学影像转换模型进行训练,分别利用一阶段数据集的训练集对一阶段模型进行训练,利用二阶段数据集的训练集对二阶段模型进行训练,过程包括:

8.根据权利要求7所述的腹部mri合成ct的医学影像转换方法,其特征在于,在步骤s5的迭代过程中,通过构建每个阶段模型的总体最小化混合损失函数进行参数回传,调整每个阶段模型的参数;所述总体最小化混合损失函数包括:对抗损失、循环一致性损失、内容约束损失、骨骼结构约束损失和vgg网络损失;

9.根据权利要求5所述的腹部mri合成ct的医学影像转换方法,其特征在于,步骤s5中,利用验证集对一阶段模型和二阶段模型进行评估,一阶段模型的评估指标包括结构相似性指数,二阶段模型的评估指标包括结构相似性指数、峰值信噪比、均方误差和感知损失。

10.根据权利要求1所述的腹部mri合成ct的医学影像转换方法,其特征在于,步骤s6的具体过程包括:将待转换的mri影像数据输入训练好的医学影像转换模型,提取出一阶段模型生成的虚假ct的骨骼框架,将骨骼框架与输入的mri共同输入到二阶段模型的生成器中,通过二阶段模型的生成器进行mri和骨骼框架的融合以及ct风格的转换,输出对应的合成ct影像数据。


技术总结
本发明提出一种腹部MRI合成CT的医学影像转换方法,涉及医学影像数据处理的技术领域,采集多套人体腹部的MRI和CT样本并进行刚性配准,作为一阶段数据集;再对MRI和CT进行图像数据增强,提取CT的骨骼特征图并融合至配对的MRI中,得到二阶段数据集;构建包括一阶段模型和二阶段模型的医学影像转换模型,分别利用一阶段数据集和二阶段数据集对一阶段模型和二阶段模型进行训练,最后将待转换的MRI影像数据输入训练好的医学影像转换模型,输出对应的合成CT,通过增强缺失骨骼信息来提升腹部合成图像质量,生成更好的骨骼框架,使得合成CT能与MRI在结构内容上更加匹配,为肿瘤靶向区域的描绘提供更清晰的病理信息。

技术研发人员:谭军,柏亦琳,黎升,傅小勇
受保护的技术使用者:中山大学
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-23993.html

最新回复(0)