一种基于深度自校准的递进式三维生物医学图像配准方法

allin2024-06-13  100


shot配准策略中对位移场的平滑约束导致配准精度受限的缺陷,提供一种基于深度自校准的递进式三维生物医学图像配准方法来解决上述问题。
7.为了实现上述目的,本发明的技术方案如下:
8.一种基于深度自校准的递进式三维生物医学图像配准方法,包括以下步骤:
9.11)三维生物医学图像数据集的获取和预处理:获取单模态三维生物医学图像数据集,将其所有图像的尺寸采样到相同大小、像素值归一化到0-255,并将所有图像仿射预配准到同一个脑模板上,作为三维生物医学图像训练集;
10.12)配准模型的构建:利用python语言分别搭建低尺度卷积神经网络与原尺度卷积神经网络并将二者建立级联作为配准模型,设定低尺度卷积神经网络与原尺度卷积神经网络的损失函数;
11.13)配准模型的训练:设定配准模型训练的迭代次数以及分别设定低尺度卷积神经网络与原尺度卷积神经网络的递归次数,利用三维生物医学图像训练集对配准模型进行训练;
12.14)待配准图像与模板图像的获取与预处理:获取单模态三维生物医学待配准图像与模板图像,并进行预处理;
13.15)三维生物医学图像配准结果的获得:将预处理后的待配准图像对输入训练后的配准模型,得到配准后的结果。
14.所述配准模型的构建包括以下步骤:
15.21)设定构建的配准模型为低尺度卷积神经网络与原尺度卷积神经网络的级联;
16.22)设定配准模型的低尺度卷积神经网络为类u-net架构,其由编码器与解码器组成,低尺度卷积神经网络的输入是大小为(d/2,w/2,h/2)的目标图像与待配准图像;
17.23)设定配准模型的原尺度卷积神经网络为类u-net架构,其由编码器与解码器组成,原尺度卷积神经网络的输入是大小为(d,w,h)的目标图像与待配准图像;
18.24)设定低尺度配准网络模型与原尺度卷积神经网络的输出都为三个与相应输入图像相同大小与维度的位移场,此位移场表示由待配准图像到目标图像的变换关系,具体为配准结果图像上相应坐标点对应移动图像上某点的x方向、y方向、z方向的位移;
19.25)设定低尺度配准网络模型与原尺度卷积神经网络的损失函数都为配准结果与目标图像的相似性损失l
sim
和卷积神经网络输出位移场的平滑度约束损失l
smooth
,单次递归的总损失函数为l=l
sim
+λ*l
smooth
,其中λ为平衡两个分损失函数在总损失函数中占比的权重系数。
20.所述配准模型的训练包括以下步骤:
21.31)设定模型训练的迭代次数为n_iter,即每次迭代都从三维生物医学图像训练集中随机选取两张图像作为待配准图像与目标图像输入到配准模型中进行训练;
22.32)设定低尺度训练递归的次数为n_low,n_low》=0,原尺度训练递归的次数为n_original、n_original》=0;
23.33)低尺度网络第一次递归:将待配准图像、目标图像下采样两倍后进行级联输入低尺度卷积神经网络,得到第一次输出的位移场,并保存第一次输出的位移场;
24.34)低尺度网络第二次递归,假设设定的n_low》1:将第一次的配准结果作为新的待配准图像与原目标图像再次级联输入到低尺度卷积神经网络中,得到第二次输出的位移
场,保存第二次输出的位移场;
25.35)利用位移场整合方法,将保存卷积神经网络模型第二次输出的位移场与第一次输出的位移场整合为一个总位移场,利用总位移场将原始待配准图像经过一次形变插值操作得到第二次递归的配准结果,将此配准结果作为新的待配准图像再次与目标图像级联输入卷积神经网络进行优化;若设定的n_low》2,则在递归二次的基础上重复34)-35)步骤,即将每次递归输出的位移场与之前输出的位移场进行整合通过一次形变插值得到本次的配准结果,直至递归n_low次;
26.36)保存低尺度递归n_low次得到的总位移场作为先验信息与此次迭代训练未降采样的待配准图像与目标图像一并输入原尺度卷积神经网络;
27.37)利用低尺度递归n_low次得到的总位移场上采样两倍并数值扩大两倍得到的新位移场形变插值原尺寸的原待配准图像进行预形变,并将经过预形变的图像作为原尺寸的初次待配准图像;
28.38)原尺度网络第一次递归:将经过预形变的原尺度待配准图像与原尺寸的原目标图像进行级联输入到本方法所构建的原尺度的卷积神经网络模型,输出原尺度下的第一次位移场,并保存第一次输出的位移场;
29.39)原尺度网络第二次递归,假设设定的n_original》1:将第一次的配准结果作为新的待配准图像与原目标图像再次级联输入到卷积神经网络模型中,得到第二次输出的位移场,保存第二次输出的位移场;
30.310)利用位移场整合方法,将保存卷积神经网络第二次输出的位移场与第一次输出的位移场整合为一个总位移场,利用总位移场将原始待配准图像经过一次形变插值操作得到第二次递归的配准结果,将此配准结果作为新的待配准图像再次与目标图像级联输入卷积神经网络进行优化;若设定的n_original》2,则在递归二次的基础上重复39)-310)步骤,即将每次递归输出的位移场与之前输出的位移场进行整合通过一次形变插值得到本次的配准结果,直至递归n_original次;
31.311)在三维生物医学图像训练集中再随机选取两张图像作为待配准图像与目标图像,重复31)-310)步骤,直至配准模型训练结束。
32.所述位移场整合方法包括以下步骤:
33.41)设定位移场整合策略的输入为flow
(n)
与flow
(n+1)
(n》=0),flow
(n)
表示第n次递归时网络输出的位移场,flow
(n+1)
表示第n+1次递归时网络输出的位移场;
34.42)设flow_agg
(n,n+1)
表示将图像在第n次输出的位移场flow
(n)
与第n+1次输出的位移场flow
(n+1)
整合的总位移场,位移场整合原理如公式(1)所示,
[0035][0036][0037]
x

=x+i(x)
[0038][0039]
x

=x+in(x)
[0040]
[0041][0042]
上式中,
[0043]
故由上式得flow_agg
(n,n+1)
等于
[0044]
其中,f(x)表示为fixed图像位置为x的点,m(x)为moving图像上位置为x的点,m(x

)为moving图像上位置为x

的点,φ表示形变场,φn表示第n次递归网络时由flow
(n)
形成的形变场,φ
n+1
第n+1次递归网络时由flow
(n+1)
形成的形变场,表示warped操作,in表示第n次递归网络时输出的位移场,i(x)表示位移场中位置为x的点,(x)表示moving图像经过形变场warp操作得到的图像;
[0045]
将上式扩展为将前m次的位移场flow整合为一个位移场(flow
(0,

,m)
),得如下式(2),
[0046][0047][0048]

[0049][0050]
其中flow_agg
(0,

,m)
为将前m次的位移场flow整合的总位移场。
[0051]
有益效果
[0052]
本发明的一种基于深度自校准的递进式三维生物医学图像配准方法,与现有技术相比通过将前次配准结果递归输入网络进行自校准优化并记录与整合每次递归产生的位移场将空间中的大位移,通过递归网络分段完成从而在无信息泄露的前提下提高了三维生物医学图像的配准精度,并有效的节省了gpu资源。
[0053]
本发明利用非卷积降采样得到配准图像对的多尺度信息并在每个尺度上利用递归式自校准与位移场整合策略训练使网络学习到前次配准结果所丢失的利于配准的重要信息,解决现有技术中基于多尺度无监督学习深度配准算法粗级别产生误差而导致细级别无法恢复的缺陷与递归级联式网络配准过程中存在的信息泄露问题并且解决了对位移场整体平滑度约束与完成复杂形变之间存在的矛盾,同时也实现了动态的增广数据集的大小,以更好的适应网络训练所需要的数据集大小,避免出现数据集过大或过小导致网络欠拟合与过拟合的缺陷。
附图说明
[0054]
图1为本发明的方法顺序图;
[0055]
图2为本发明所涉及的总体深度网络配准框架图;
[0056]
图3为本发明的无信息泄露递进式配准示意图;
[0057]
图4a为选取的一张鼠脑三维fmost影像切片图,作为fixed图像;
[0058]
图4b为选取的一张鼠脑三维fmost影像切片图,作为moving图像;
[0059]
图4c为使用传统图像配准工具ants将图4b配准到图4a的结果图;
[0060]
图4d为使用现有深度配准算法voxelmorph将图4b配准到图4a的结果图;
[0061]
图4e为使用现有深度配准算法voxelmorph-diff将图4b配准到图4a的结果图;
[0062]
图4f为使用本发明所述方法将图4b配准到图4a的结果图;
[0063]
图5a为选取的一张人脑三维mri影像切片图,作为fixed图;
[0064]
图5b为选取的一张人脑三维mri影像切片图,作为moving图;
[0065]
图5c为使用传统图像配准工具ants将图5b配准到图5a的结果图;
[0066]
图5d为使用现有深度配准算法voxelmorph将图5b配准到图5a的结果图;
[0067]
图5e为使用现有深度配准算法voxelmorph-diff将图5b配准到图5a的结果图;
[0068]
图5f为使用本发明所述方法将图5b配准到图5a的结果图。
具体实施方式
[0069]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
[0070]
如图1所示,本发明所述的一种基于深度自校准的递进式三维生物医学图像配准方法,包括以下步骤:
[0071]
第一步,三维生物医学图像数据集的获取和预处理:获取单模态三维生物医学图像数据集,将其所有图像的尺寸采样到相同大小,像素值归一化到0-255,并将所有图像仿射预配准到同一个脑模板上,作为三维生物医学图像训练集。在实验环节,可以以随机划分的方式将以上数据集划分为训练集与测试集。
[0072]
第二步,配准模型的构建:利用python语言分别搭建低尺度卷积神经网络与原尺度卷积神经网络并将两个模型建立级联作为配准模型,设定低尺度卷积神经网络与原尺度卷积神经网络的损失函数。如图2所示,由于同一幅图像的不同尺寸在使用相同的大小的卷积核进行卷积时所得到的特征图的感受野是不同的,经过降采样的图像可以变相的增大特征图的感受野从而使低尺度网络学习到原尺度网络学习不到的大形变信息,并且经过缩减尺度的图像输入网络可以减少gpu资源的消耗同时提升配准的速度,我们可以将待配准图像的经过低尺度网络输出的信息融合到原尺度图像上,待图像输入原尺度配准网络前进行快速的区域性预配准,从而可以很好减少原尺度配准网络的压力。
[0073]
其具体步骤如下:
[0074]
(1)设定构建的配准模型为低尺度卷积神经网络与原尺度卷积神经网络的级联。
[0075]
(2)设定配准模型的低尺度卷积神经网络为类u-net架构,其由编码器与解码器组成,低尺度卷积神经网络的输入是大小为(d/2,w/2,h/2)的目标(模板)图像与待配准图像。
[0076]
(3)设定配准模型的原尺度卷积神经网络为类u-net架构,其由编码器与解码器组成,原尺度卷积神经网络的输入是大小为(d,w,h)的目标图像与待配准图像。
[0077]
(4)设定低尺度配准网络模型与原尺度卷积神经网络的输出都为三个与相应输入图像相同大小与维度的位移场,此位移场表示由待配准图像到目标图像的变换关系,具体为配准结果图像上相应坐标点对应移动图像上某点的x方向、y方向、z方向的位移。
[0078]
(5)设定低尺度配准网络模型与原尺度卷积神经网络的损失函数都为配准结果与目标图像的相似性损失l
sim
和卷积神经网络输出位移场的平滑度约束损失l
smooth
,单次递归
的总损失函数为l=l
sim
+λ*l
smooth
,其中λ为平衡两个分损失函数在总损失函数中占比的权重系数。
[0079]
第三步,配准模型的训练:设定配准模型训练的迭代次数以及分别设定低尺度卷积神经网络与原尺度卷积神经网络的递归次数,利用三维生物医学图像训练集对配准模型进行训练。
[0080]
传统基于深度学习的one-shot配准方法仅通过一次正向传播与反向传播学习一对图像的特征,本方法在传统基于深度学习one-shot配准方法的基础上,对输入的一对图像采取多次优化,将上次配准的结果作为新的待配准图像再次结合固定图像与位移场整合策略输入原网络递归优化,本方法与其他利用递归实现将上次配准结果的作为新的待配准图像做法区别是本方法是将每次递归优化输出的位移场保存,利用位移场整合策略将前次所有的位移场整合为一个总位移场,利用此总位移场形成形变场对原待配准图像经过一次插值形变操作下次递归优化的待配准图像,即每次输入网络进行递归的待配准图像都是原待配准图像经过前次递归产生的总形变场经过一次插值操作。
[0081]
这样可以通过每次递归输出的位移场校准前次配准出现的误差,同时可以以一种无信息泄露的方式完成大形变。另外,此方法也有增广数据集的效果,由于对一对配准图像对多次递归优化,每递归一次网络,都相当于产生一对新的待配准图像对,通过修改递归次数可以动态的控制增广数据集的大小,可以填补生物医学影像数据集数量过小的缺点。
[0082]
其具体步骤如下:
[0083]
(1)设定模型训练的迭代次数为n_iter,即每次迭代都从三维生物医学图像训练集中随机选取两张图像作为待配准图像与目标图像输入到配准模型中进行训练。
[0084]
(2)设定低尺度训练递归的次数为n_low,n_low》=0,原尺度训练递归的次数为n_original,n_original》=0。
[0085]
(3)低尺度网络第一次递归:将待配准图像、目标图像下采样两倍后进行级联输入低尺度卷积神经网络,得到第一次输出的位移场,并保存第一次输出的位移场。
[0086]
(4)低尺度网络第二次递归,假设设定的n_low》1:将第一次的配准结果作为新的待配准图像与原目标图像再次级联输入到低尺度卷积神经网络中,得到第二次输出的位移场,保存第二次输出的位移场。
[0087]
(5)利用位移场整合方法,将保存卷积神经网络模型第二次输出的位移场与第一次输出的位移场整合为一个总位移场,利用总位移场将原始待配准图像经过一次形变插值操作得到第二次递归的配准结果,将此配准结果作为新的待配准图像再次与目标图像级联输入卷积神经网络进行优化;若设定的n_low》2,则在递归二次的基础上重复(4)-(5)步骤,即将每次递归输出的位移场与之前输出的位移场进行整合通过一次形变插值得到本次的配准结果,直至递归n_low次。
[0088]
其中,位移场整合方法包括以下步骤:
[0089]
a1)设定位移场整合策略的输入为flow
(n)
与flow
(n+1)
(n》=0),flow
(n)
表示第n次递归时网络输出的位移场,flow
(n+1)
表示第n+1次递归时网络输出的位移场;
[0090]
a2)设flow_agg
(n,n+1)
表示将图像在第n次输出的位移场flow
(n)
与第n+1次输出的位移场flow
(n+1)
整合的总位移场,位移场整合原理如公式(1)所示,
[0091]
[0092][0093]
x

=x+i(x)
[0094][0095]
x

=x+in(x)
[0096][0097][0098]
上式中,
[0099]
故由上式得flow_agg
(n,n+1)
等于
[0100]
其中,f(x)表示为fixed图像位置为x的点,m(x)为moving图像上位置为x的点,m(x

)为moving图像上位置为x

的点,φ表示形变场,φn表示第n次递归网络时由flow
(n)
形成的形变场,φ
n+1
第n+1次递归网络时由flow
(n+1)
形成的形变场,表示warped操作,in表示第n次递归网络时输出的位移场,i(x)表示位移场中位置为x的点,(x)表示moving图像经过形变场warp操作得到的图像;
[0101]
将上式扩展为将前m次的位移场flow整合为一个位移场(flow
(0,

,m)
),得如下式(2),
[0102][0103][0104]

[0105][0106]
其中flow_agg
(0,

,m)
为将前m次的位移场flow整合的总位移场。
[0107]
(6)保存低尺度递归n_low次得到的总位移场作为先验信息与此次迭代训练未降采样的待配准图像与目标图像一并输入原尺度卷积神经网络。
[0108]
(7)利用低尺度递归n_low次得到的总位移场上采样两倍并数值扩大两倍得到的新位移场形变插值原尺寸的原待配准图像进行预形变,并将经过预形变的图像作为原尺寸的初次待配准图像。
[0109]
(8)原尺度网络第一次递归:将经过预形变的原尺度待配准图像与原尺寸的原目标图像进行级联输入到本方法所构建的原尺度的卷积神经网络模型,输出原尺度下的第一次位移场,并保存第一次输出的位移场。
[0110]
(9)原尺度网络第二次递归,假设设定的n_original》1:将第一次的配准结果作为新的待配准图像与原目标图像再次级联输入到卷积神经网络模型中,得到第二次输出的位移场,保存第二次输出的位移场。
[0111]
(10)利用位移场整合方法,将保存卷积神经网络第二次输出的位移场与第一次输出的位移场整合为一个总位移场,利用总位移场将原始待配准图像经过一次形变插值操作
得到第二次递归的配准结果,将此配准结果作为新的待配准图像再次与目标图像级联输入卷积神经网络进行优化;
[0112]
若设定的n_original》2,则在递归二次的基础上重复(9)-(10)步骤,即将每次递归输出的位移场与之前输出的位移场进行整合通过一次形变插值得到本次的配准结果,直至递归n_original次。
[0113]
(11)在三维生物医学图像训练集中再随机选取两张图像作为待配准图像与目标图像,重复(1)-(10)步骤,直至配准模型训练结束。
[0114]
第四步,待配准图像与模板图像的获取与预处理:获取单模态三维生物医学待配准图像与目标图像,并进行预处理,其预处理与三维生物医学图像训练集过程相同。
[0115]
第五步,三维生物医学图像配准结果的获得:将预处理后的待配准图像输入训练后的配准模型,得到配准后的结果。
[0116]
尽管现有的基于卷积的实现多尺度的医学图像配准可以实现由粗到细的精炼形变场从而处理图像对之间的显著差异和空间中的大位移,但是这些方法在如果在粗级别产生误差,则很可能无法在细级别中恢复,这个缺陷会随着尺度的增加而更加的严重。图3为经典的基于深度学习的医学图像配准算法,大多数基于深度学习的医学图像配准方法所用的spatial transformer networks中都是用规则网格点去定义与表示形变场,而利用规则网格点表示形变场无法体现大脑的解剖信息,在损失函数中只能对位移场施加整体的平滑度约束,如果整体的平滑度约束施加过大,这会导致某些脑区无法配准,如果整体的平滑度约束施加过小,这会导致某些脑区配准过度扭曲,故对位移场的平滑约束与完成大形变是矛盾的。
[0117]
图4a和图4b为鼠脑fmost影像,前者作为目标图像,后者作为待配准图像,目标是将4b配准到图4a上,图4c使用传统图像配准工具ants得到的配准结果,图4d使用经典深度学习算法voxelmorph得到的结果、图4e使用经典深度学习算法voxelmorph-diff得到的结果,图4f使用本发明得到的结果,通过对比,在图中方框标出的部位,本发明提出的方法配准效果更好,即用本方法得到的配准结果与图4a所示的目标图像在结构和亮度分布上更相似。本发明的提升效果同样能从人脑mri影像配准中看出:图5a和图5b为人脑mri影像,同样前者为固定图像、后者为浮动图像。图5c使用ants得到的配准结果,图5d使用voxelmorph得到的结果、图5e使用voxelmorph-diff得到的结果,图5f为使用本发明得到的结果,同样通过对比,在图中方框标出的部位,本发明提出的方法配准效果更好,即用本方法得到的配准结果与图5a所示的目标图像在结构和亮度分布上更相似。表1为本发明方法所提供的动态数据集增广效果表,
[0118]
表1本发明所述方法提供的动态数据集增广效果表
[0119][0120]
由表1可以看出不论在低尺度(low)还是原尺度(original)训练递归次数大于0的测试结果都比训练递归次数为0的测试结果要好,这表明了动态增广数据集确实可以给网络的配准精度带来提升。
[0121]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术特征:
1.一种基于深度自校准的递进式三维生物医学图像配准方法,其特征在于,包括以下步骤:11)三维生物医学图像数据集的获取和预处理:获取单模态三维生物医学图像数据集,将其所有图像的尺寸采样到相同大小、像素值归一化到0-255,并将所有图像仿射预配准到同一个脑模板上,作为三维生物医学图像训练集;12)配准模型的构建:利用python语言分别搭建低尺度卷积神经网络与原尺度卷积神经网络并将二者建立级联作为配准模型,设定低尺度卷积神经网络与原尺度卷积神经网络的损失函数;13)配准模型的训练:设定配准模型训练的迭代次数以及分别设定低尺度卷积神经网络与原尺度卷积神经网络的递归次数,利用三维生物医学图像训练集对配准模型进行训练;14)待配准图像与模板图像的获取与预处理:获取单模态三维生物医学待配准图像与模板图像,并进行预处理;15)三维生物医学图像配准结果的获得:将预处理后的待配准图像对输入训练后的配准模型,得到配准后的结果。2.根据权利要求1所述的一种基于深度自校准的递进式三维生物医学图像配准方法,其特征在于,所述配准模型的构建包括以下步骤:21)设定构建的配准模型为低尺度卷积神经网络与原尺度卷积神经网络的级联;22)设定配准模型的低尺度卷积神经网络为类u-net架构,其由编码器与解码器组成,低尺度卷积神经网络的输入是大小为(d/2,w/2,h/2)的目标图像与待配准图像;23)设定配准模型的原尺度卷积神经网络为类u-net架构,其由编码器与解码器组成,原尺度卷积神经网络的输入是大小为(d,w,h)的目标图像与待配准图像;24)设定低尺度配准网络模型与原尺度卷积神经网络的输出都为三个与相应输入图像相同大小与维度的位移场,此位移场表示由待配准图像到目标图像的变换关系,具体为配准结果图像上相应坐标点对应移动图像上某点的x方向、y方向、z方向的位移;25)设定低尺度配准网络模型与原尺度卷积神经网络的损失函数都为配准结果与目标图像的相似性损失l
sim
和卷积神经网络输出位移场的平滑度约束损失l
smooth
,单次递归的总损失函数为l=l
sim
+λ*l
smooth
,其中λ为平衡两个分损失函数在总损失函数中占比的权重系数。3.根据权利要求1所述的一种基于深度自校准的递进式三维生物医学图像配准方法,其特征在于,所述配准模型的训练包括以下步骤:31)设定模型训练的迭代次数为n_iter,即每次迭代都从三维生物医学图像训练集中随机选取两张图像作为待配准图像与目标图像输入到配准模型中进行训练;32)设定低尺度训练递归的次数为n_low,n_low>=0,原尺度训练递归的次数为n_original、n_original>=0;33)低尺度网络第一次递归:将待配准图像、目标图像下采样两倍后进行级联输入低尺度卷积神经网络,得到第一次输出的位移场,并保存第一次输出的位移场;34)低尺度网络第二次递归,假设设定的n_low>1:将第一次的配准结果作为新的待配准图像与原目标图像再次级联输入到低尺度卷积神经网络中,得到第二次输出的位移场,
保存第二次输出的位移场;35)利用位移场整合方法,将保存卷积神经网络模型第二次输出的位移场与第一次输出的位移场整合为一个总位移场,利用总位移场将原始待配准图像经过一次形变插值操作得到第二次递归的配准结果,将此配准结果作为新的待配准图像再次与目标图像级联输入卷积神经网络进行优化;若设定的n_low>2,则在递归二次的基础上重复34)-35)步骤,即将每次递归输出的位移场与之前输出的位移场进行整合通过一次形变插值得到本次的配准结果,直至递归n_low次;36)保存低尺度递归n_low次得到的总位移场作为先验信息与此次迭代训练未降采样的待配准图像与目标图像一并输入原尺度卷积神经网络;37)利用低尺度递归n_low次得到的总位移场上采样两倍并数值扩大两倍得到的新位移场形变插值原尺寸的原待配准图像进行预形变,并将经过预形变的图像作为原尺寸的初次待配准图像;38)原尺度网络第一次递归:将经过预形变的原尺度待配准图像与原尺寸的原目标图像进行级联输入到原尺度的卷积神经网络模型,输出原尺度下的第一次位移场,并保存第一次输出的位移场;39)原尺度网络第二次递归,假设设定的n_original>1:将第一次的配准结果作为新的待配准图像与原目标图像再次级联输入到卷积神经网络模型中,得到第二次输出的位移场,保存第二次输出的位移场;310)利用位移场整合方法,将保存卷积神经网络第二次输出的位移场与第一次输出的位移场整合为一个总位移场,利用总位移场将原始待配准图像经过一次形变插值操作得到第二次递归的配准结果,将此配准结果作为新的待配准图像再次与目标图像级联输入卷积神经网络进行优化;若设定的n_original>2,则在递归二次的基础上重复39)-310)步骤,即将每次递归输出的位移场与之前输出的位移场进行整合通过一次形变插值得到本次的配准结果,直至递归n_original次;311)在三维生物医学图像训练集中再随机选取两张图像作为待配准图像与目标图像,重复31)-310)步骤,直至配准模型训练结束。4.根据权利要求1所述的一种基于深度自校准的递进式三维生物医学图像配准方法,其特征在于,所述位移场整合方法包括以下步骤:41)设定位移场整合策略的输入为flow
(n)
与flow
(n+1)
(n>=0),flow
(n)
表示第n次递归时网络输出的位移场,flow
(n+1)
表示第n+1次递归时网络输出的位移场;42)设flow_agg
(n,n+1)
表示将图像在第n次输出的位移场flow
(n)
与第n+1次输出的位移场flow
(n+1)
整合的总位移场,位移场整合原理如公式(1)所示,整合的总位移场,位移场整合原理如公式(1)所示,x

=x+i(x)x

=x+i
n
(x)
上式中,故由上式得flow_agg
(n,n+1)
等于其中,f(x)表示为fixed图像位置为x的点,m(x)为moving图像上位置为x的点,m(x

)为moving图像上位置为x

的点,φ表示形变场,φ
n
表示第n次递归网络时由flow
(n)
形成的形变场,φ
n+1
第n+1次递归网络时由flow
(n+1)
形成的形变场,表示warped操作,i
n
表示第n次递归网络时输出的位移场,i(x)表示位移场中位置为x的点,表示moving图像经过形变场warp操作得到的图像;将上式扩展为将前m次的位移场flow整合为一个位移场(flow
(0,

,m)
),得如下式(2),),得如下式(2),

其中flow_agg
(0,

,m)
为将前m次的位移场flow整合的总位移场。

技术总结
本发明涉及一种基于深度自校准的递进式三维生物医学图像配准方法,与现有技术相比解决了递归级联配准策略中存在的信息泄露问题以及one-shot配准策略中对位移场的平滑约束导致配准精度受限的缺陷。本发明包括以下步骤:三维生物医学图像数据集的获取和预处理;配准模型的构建;配准模型的训练;待配准图像与模板图像的获取与预处理;三维生物医学图像配准结果的获得。本发明通过将前次配准结果递归输入网络进行自校准优化并记录与整合每次递归产生的位移场,将空间中的大位移通过递归网络分段完成从而在无信息泄露的前提下提高了三维生物医学图像的配准精度,并有效的节省了GPU资源。了GPU资源。了GPU资源。


技术研发人员:屈磊 孙锐 吴军 苗永春 韩婷婷 李圆圆
受保护的技术使用者:安徽大学
技术研发日:2022.01.14
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-14455.html

最新回复(0)