一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法

一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法
技术领域
1.本发明属于ct图像分类技术领域，具体地涉及一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法。


背景技术：

2.随着计算机断层扫描(computed tomography，ct)技术的发展，极大的提高了孤立型肺实性结节(solitary pulmonary solidnodule，spsn)的检出率。spsn是孤立型肺实性结节的英文缩写，pt是肺结核的英文缩写；la是肺腺癌的英文缩写，肺结核(pulmonary tuberculosis,pt)是良性spsn的一种典型组织病理学表现；另一方面，肺腺癌(lungadenocarcinomas,la)是肺癌中最常见的组织学类型。在临床中，la患者应采用更积极的治疗方案，以改善预后；而pt患者应避免不必要的治疗程序(如手术、化疗等)。因此，一旦发现spsn，必须评估其恶性风险，以确定适当的治疗计划。然而，由于spsn中的pt在放射影像学上的表现与la相似，从而给临床医生带来诊断困境。因此，开发一种准确，高效的方法术前鉴别spsn中的pt与la是非常有必要的。
3.近年来，随着医学影像技术和计算机技术的迅速发展，计算机辅助诊断受到广泛的关注。由于卷积神经网络(convolutional neural network，cnn)具有优异的特征学习能力，使得cnn在医学影像研究中得到了大量的应用。然而，医学领域数据集的规模往往较小，cnn在小样本的情况下容易发生过拟合的问题。为了改善cnn在小样本下的效果，学者们将迁移学习引入cnn中。在肺结节医学影像研究中，基于模型微调是常用的迁移学习策略。基于模型微调的方法首先在一个大型数据集(如imagenet)上训练一个源网络，然后将学到的权重作为目标网络的初始权重，并利用目标数据对目标网络进行微调。然而，当源域数据和目标域数据在语义上不相似时，基于模型微调的迁移学习模型在目标数据上仍然会出现过拟合。
4.为此，学者们提出异构迁移学习的方法。在异构迁移学习中，通过特征匹配的方式实现知识在不同领域之间的迁移，从而实现利用源域数据中学习到的知识帮助目标网络的训练。romero等提出一个教师-学生训练模式，通过计算教师特征与学生特征之间l2匹配损失，将知识从更深的教师网络迁移至更浅的学生网络。zagoruyko等和srinivas等分别提出注意力迁移和雅可比矩阵匹配方法，使用特征图或雅可比矩阵生成注意力图实现知识的迁移。
5.上述方法虽然使得模型在异构数据源的情况下具有一定的效果，但存在两个问题：
①
在一个源网络中，不同的特征对目标任务的重要性是不一样的，甚至有些特征是冗余的。当冗余特征迁移至目标网络时，可能会产生负迁移。
②
仅仅根据经验确定源网络中的特征如何迁移至目标网络，这将耗费大量的人力物力，且结果可能不是最优的。
6.此外，有研究表明，当源域数据与目标域数据更相近时，迁移学习的效果更好。在医学影像领域，一般将imagenet作为迁移学习的源域数据，因为imagenet训练的网络具有
丰富的基础纹理信息。然而，在医学影像中，与imagenet相比，相同组织的医学影像(如，肺的全视野数字切片图像(whole slide images，wsi)与肺的ct图像)在语义上更相近。肺的wsi被认为是肺部病理诊断的金标准，因为它能在显微镜下提供大量的肿瘤微观信息；相比之下，肺的ct图像可在宏观尺度上反映肿瘤的影像学信息。因此，利用ct图像对spsn患者进行辅助诊断时，结合imagenet和肺wsi的双源域异构迁移学习的效果可能会更好。


技术实现要素：

7.本发明针对上述现有技术存在的问题，本发明提出了一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，利用ct图像对spsn患者进行pt与la的术前辅助诊断。该方法包括两个部分：
①
基于自适应选择的双源域异构迁移学习的特征提取，
②
基于稀疏贝叶斯极限学习机(extreme learning machine，elm)的集成分类器构建。
8.首先，提出基于自适应选择的双源域异构迁移学习模型。该模型通过设计基于自适应选择的双源域特征匹配网络自适应确定源网络(基于imagenet的源网络1与基于肺wsi的源网络2)与目标网络之间每对特征图的匹配权重，以及源网络特征块和目标网络特征块之间的匹配权重。这两个权重可自动选择源网络中有利于目标任务学习的特征以及特征迁移的目的地，从而约束目标网络的训练，进而提高目标网络在小样本情况下的鲁棒性。
9.同时，提出基于多样化分支块(diverse branch block，dbb)结构的目标网络，使得目标网络具有不同的感受野和复杂性的路径，进一步提高目标网络的特征表达能力。训练好目标网络后，将目标网络中dbb结构等效转换为一个卷积核，这将使目标网络既具有丰富特征空间，又可以保持原有的推理时间成本。
10.然后，将目标网络的卷积核作为特征提取器提取特征。此外，将患者的临床特征与ct征象纳入分析，以对患者进行全面分析。之后，提出基于稀疏贝叶斯elm的集成分类器。该集成学习以基分类器的输出作为集成分类器隐藏层的输出，并可自动倾向于如何结合不同基分类器的输出来提高分类性能。最后，在两个医疗中心的数据上评估本文方法的效果。
11.为了实现上述目的，本发明所采用的技术方案如下：
12.一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，包括：
13.步骤1：获取原始肺部spsn的ct图像数据集、肺癌wsi数据集、自然图像的imagenet数据集；
14.步骤2：利用步骤1获取的肺癌wsi数据集训练resnet34，作为源网络1；利用步骤1获取的自然图像的imagenet数据集训练另一个resnet34，作为源网络2；
15.步骤3：在步骤2的基础上，利用步骤1获取的肺部spsn的ct图像数据集分别通过源网络1和源网络2得到源特征空间1和源特征空间2，源网络1和源网络2中每一个卷积核的输出分别作为源特征空间1和源特征空间2的某个特征图；
16.步骤4：在步骤3的基础上，利用肺部spsn的ct图像数据集训练基于自适应选择的双源域特征匹配模型以及基于多样化分支块结构的resnet18，作为目标模型；
17.步骤5：在步骤4的基础上，以肺部spsn的ct图像作为等效变换后的目标模型的输入数据，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；
18.步骤6：获取每个患者的临床特征、ct主观征像，并串联步骤5中的深度学习特征形成新的特征集；
19.步骤7：在步骤6的基础上，训练基于稀疏贝叶斯极限学习机的集成学习分类器，集成学习分类器中的基分类器和集成分类器都是基于稀疏贝叶斯的极限学习机，得到肺结节ct图像分类结果。
20.优选的，所述步骤4包括：
21.步骤4.1：在步骤3获取的源特征空间1和源特征空间2的基础上，基于自适应选择的双源域特征匹配网络自适应确定源特征空间1、源特征空间2与目标网络之间每对特征图的匹配权重，以及源网络1、源网络2特征块和目标网络每对卷积块之间的匹配权重，根据这两个匹配权重构建迁移损失函数，并结合目标网络的损失函数获得基于自适应选择的双源域异构迁移学习模型的损失函数；
22.步骤4.2：使用步骤4.1获得基于自适应选择的双源域异构迁移学习模型的损失函数，使用四阶段训练方法，进行基于自适应选择的双源域异构迁移学习中的特征匹配模型与基于多样化分支块结构的目标网络训练；
23.优选的，所述步骤4.1具体为：
24.步骤4.1.1：设x为基于多样化分支块结构的目标网络以及源网络1、源网络2的输入，表示源特征空间1的第m1块的特征图，表示源网络2第m2块的特征图，表示参数为θ的目标网络第n块的特征图，基于自适应选择的双源域特征匹配网络的目标是利用s1和s2中有利于目标任务学习的特征约束t
θ
的训练，定义一个与和之间的l2范数距离，通过最小化l2范数距离实现有利于目标任务学习的特征选择，该l2范数距离定义为：
[0025][0026]
其中，r
θ
(
·
)是逐点卷积，保证与源特征空间具有相同的通道数；
[0027]
步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：
[0028][0029][0030]
其中，h
×
w是和的特征图大小，为第c1个通道中和之间的待学习权重，为第c2个通道中(x)和之间的待学习权重，且待学习权重即一对特征图的匹配权重；
[0031]
步骤4.1.3：对步骤4.1.2中的和定义两个全连接神经网络和分别学习和的取值，和分别以和中每个特征图的全局均值池化为输入，以softmax形式作为网络的输出，则：
[0032]
[0033]
其中φ1和φ2分别是和的参数，对于给定的与与在每个输入图像中，针对中不同的特征图给予不同的可训练权重，越重要的特征图所对应的权重越大，这使得对应特征图的损失越受到关注；
[0034]
步骤4.1.4：分别以中的每个卷积块的输出为一个单位，分别为每队卷积块(m1,n)、(m2,n)引入一个可学习参数和和和分别表示对对的迁移程度，即一对卷积块的匹配权重，和越大，则表示该对卷积块的特征对目标任务的学习越有利；同样的，定义两个全连接神经网络和分别学习和的取值，和分别以和的全局均值池化为输入，网络的输出以relu6形式给出，以确保和的非负性，并防止和变得过大，即：
[0035][0036]
该网络自动学习源网络特征图对目标网络特征图的重要块对；
[0037]
步骤4.1.5：在得到相对于目标网络的每对特征图的匹配权重和以及每对卷积块的匹配权重和后，则迁移的损失被定义为：
[0038][0039]
其中，p1和p2分别是与与的候选卷积块对的集合；
[0040]
则基于自适应选择的双源域异构迁移学习模型的最终损失函数定义为：
[0041]
l
total
(θ|x,y,φ)＝l
org
(θ|x,y)+βl
wfm
(θ|x,φ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0042]
其中，l
org
(θ|x,y)为目标网络原始的损失函数，β是一个超参数。
[0043]
优选的，基于自适应选择的双源域异构迁移学习模型中的特征匹配网络以及基于多样化分支块的目标模型的训练方法，所述步骤4.2具体包括：
[0044]
步骤4.2.1：初始化θ和φ，定义θ为θ0；
[0045]
步骤4.2.2：针对当前参数θ0，利用肺部spsn的ct图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行t次更新，使l
wfm
(θx,φ)最小化，更新后的θ定义为θ
t
；
[0046]
步骤4.2.3：针对当前参数θ
t
，利用肺部spsn的ct图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行单步更新，使l
org
(θx,y)最小化，更新后的θ定义为θ
t+1
；
[0047]
步骤4.2.4：在步骤4.2.2-步骤4.2.3阶段使用的样本下，根据l
org
(θ
t
|x,y)到l
org
(θ
t+1
|x,y)的变化衡量目标网络适应目标任务的速度，最后，通过最小化l
org
(θ
t+1
|x,y)更新特征匹配网络的参数φ；
[0048]
步骤4.2.5：训练过程迭代重复步骤4.2.2至步骤4.2.4，直至满足目标网络的收敛条件，收敛条件为目标网络的损失趋于稳定或达到最大训练次数。
[0049]
优选的，当目标模型训练时，使用基于多样化分支块结构的目标网络，即将传统resnet18中的卷积核替换为多样化分支块结构，当目标模型训练好后，提取深度学习特征前，需将目标模型的多样化分支块结构等效变换为一个卷积核；所述步骤5具体包括：
[0050]
步骤5.1：设卷积核的输入为v是输入特征图的个数，h
×
w为输入特征图的大小，卷积核的参数为c为输入通道数，与输入特征图的个数相等，d为输出通道数，k
×
k为卷积尺寸；卷积核偏置的矩阵形式为卷积核输出为h
′×w′
是输出特征图的大小，卷积的齐次性和可加性分别为公式(6)和(7)所示：
[0051][0052][0053]
其中f1和f2分别是卷积核1和卷积核2的参数，p为实数；
[0054]
步骤5.2：根据步骤5.1卷积的齐次性和可加性，可得5个等效变换公式，以进行等价转换，最后使用5个等价变换公式将dbb结构转换为单个卷积核，提高特征表达能力。
[0055]
优选的，所述步骤5.2的5个等效变换公式包括：
[0056]
等价变换1：卷积核与批归一化的融合；
[0057]
卷积核和批归一化是成对出现，而两者根据卷积的齐次性可合并为一个卷积，设j是通道索引，μj和σj分别是批处理数据的均值和方差，γj和βj分别为批归一化的比例因子和偏差项，根据批归一化的原理，可得合并后第j个输出通道的输出为
[0058][0059]
根据卷积的齐次性，合并后的卷积核的参数为
[0060][0061]
等价变换2：卷积分支相加；
[0062]
当两个或多个具有相同参数的卷积核的输出相加时，根据卷积的可加性，上述卷积组合的输出可合并为一个卷积核的输出，合并后的卷积核参数为：
[0063]f′←
f1+f2,b
′←
b1+b2ꢀꢀꢀꢀꢀꢀ
(10)
[0064]
其中，f1和f2分别是卷积核1、2的参数，b1和b2分别是卷积核1、2的偏置；
[0065]
等价变换3：串联卷积的融合；
[0066]
对于1
×
1卷积串联k
×
k卷积，设1
×
1卷积的参数为k
×
k卷积的参数为可得两个卷积核的合并输出为：
[0067]
[0068]
其中rep(b1)表示偏置b1的矩阵形式，矩阵里的值全部为b1，矩阵大小跟随相应卷积核的大小；
[0069]
由于f1是一个1
×
1卷积，只进行逐通道的线性组合而不进行空间聚合，因此可将1
×
1卷积串联k
×
k卷积合并为一个新的卷积核即公式(11)可变换为：
[0070][0071]
式中，trans(f1)表示卷积核f1的转置，即将f1的输入通道个数的位置与输出通道个数的位置进行转置，如trans(f
1d
×c×1×1)＝fc×d×1×1，由于是一个常数矩阵，则
[0072][0073]
等价变换4：平均池化转换；
[0074]
核大小为k、步长为s的平均池化操作可等价于具有相同k和s的卷积核，这个卷积核被定义为：
[0075][0076]
与平均池化一样，当s》1时，表现为下采样；但当s＝1时，是平滑操作；
[0077]
等价变换5：多尺度卷积融合；
[0078]
对于零padding的尺寸为kh×kw
(kh≤k,kw≤k)的卷积核可等价变换为一个k
×
k的卷积核，如步长为1，零padding的卷积核可等价为步长为1，padding为k/2的卷积核b
′
∈rd为：
[0079][0080]
偏置b
′
＝b∈rd。
[0081]
优选的，所述步骤7包括：
[0082]
步骤7.1：使用曼-惠特尼u检验分别对步骤5提取的深度学习特征和6提取患者的临床特征与ct征象进行检验，选取对pt与la的诊断具有显著差异的深度学习特征、临床特征与ct征象；
[0083]
步骤7.2：将具有显著差异的深度学习特征、临床特征与ct征象串联起来，形成新的特征集，特征集的大小为n*k，总样本数为n表示样本数，k表示每个样本的特征数；
[0084]
步骤7.3：将n*k的特征集随机抽样，变成m个样本集(m1*k，m2*k
……mm
*k)；
[0085]
步骤7.4：利用m个样本集分别训练m个基分类器，基分类器为基于稀疏贝叶斯的极限学习机；
[0086]
步骤7.5：训练好m个基分类器后，将m个基分类器的输出作为集成分类器的隐藏层输出，集成分类器是基于稀疏贝叶斯的极限学习机；
[0087]
步骤7.6：训练集成分类器的隐藏层与输出层的权重，训练好隐藏层与输出层的权重后，集成分类器的结果即为肺结节ct图像分类结果。
[0088]
与现有技术相比，本发明的有益效果是：
[0089]
1.本发明提出基于自适应选择的双源域异构迁移学习模型。该模型通过设计基于自适应选择的双源域特征匹配网络自适应确定源网络(基于imagenet的源网络1与基于肺wsi的源网络2)与目标网络之间每对特征图的匹配权重，以及源网络特征块和目标网络特征块之间的匹配权重。这两个权重可自动选择源网络中有利于目标任务学习的特征以及特征迁移的目的地，从而约束目标网络的训练，进而提高目标网络在小样本情况下的鲁棒性；
[0090]
2.本发明提出基于多样化分支块(diverse branch block，dbb)结构的目标网络，使得目标网络具有不同的感受野和复杂性的路径，进一步提高目标网络的特征表达能力；
[0091]
3.本发明训练好目标网络后，将目标网络中dbb结构等效转换为一个卷积核，这将使目标网络既具有丰富特征空间，又可以保持原有的推理时间成本。
附图说明
[0092]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0093]
在附图中：
[0094]
图1为本发明的方法流程图；
[0095]
图2为本发明方法的框架图；
[0096]
图3为本发明基于自适应选择的双源域特征匹配网络，(a)为选择源网络中有利于目标任务学习的特征，(b)为两个源网络与目标网络之间卷积块的匹配；
[0097]
图4(a)为本发明基于dbb结构的目标网络，(b)为训练时的dbb结构；
[0098]
图5为本发明特征提取过程；
[0099]
图6为本发明基于稀疏贝叶斯elm的集成分类器。
具体实施方式
[0100]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0101]
实施例：
[0102]
参照附图1-6所示，一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，如图1所示，包含两个部分：
①
基于自适应选择的双源域异构迁移学习的特征提取、
②
基于稀疏贝叶斯elm的集成学习的分类器构建。具体包括：
[0103]
步骤1：从数据库中获取原始肺部spsn的ct图像数据集、肺癌wsi数据集、自然图像的imagenet数据集；
[0104]
步骤2：利用步骤1获取的肺癌wsi数据集训练resnet34，作为源网络1；利用步骤1获取的自然图像的imagenet数据集训练另一个resnet34，作为源网络2；
[0105]
步骤3：在步骤2的基础上，利用步骤1获取的肺部spsn的ct图像数据集分别通过源网络1和源网络2得到源特征空间1和源特征空间2，源网络1和源网络2中每一个卷积核的输出分别作为源特征空间1和源特征空间2的某个特征图；
[0106]
步骤4：在步骤3的基础上，利用肺部spsn的ct图像数据集训练基于自适应选择的双源域特征匹配模型以及基于多样化分支块结构的resnet18，作为目标模型，特征匹配模型的作用是选择源特征空间1和源特征空间2中有利于目标任务学习的特征约束基于多样化分支块结构的目标模型训练；
[0107]
本实施例提出基于dbb结构的resnet18作为目标网络，如图4所示，该网络将原始3
×
3卷积替换为dbb结构。dbb结构通过结合不同尺度以及不同复杂性的分支结构(包括多尺度卷积序列、序列卷积和平均池化)，使目标网络具有不同的感受野和不同复杂性的路径，提高网络的特征表达能力。同时在每个卷积核或平均池化后都跟随一个批归一化，以加快模型的收敛速度以及避免梯度消失。进一步的，根据卷积的齐次性和可加性，dbb结构可等价转换为单个卷积核。因此，在目标网络训练时使用基于dbb结构的网络结构，而在验证/推理时，使用等价转换后的网络结构。这使得目标网络既可以具有丰富特征空间，又可以保持原有的推理时间成本。
[0108]
因此，步骤4具体的包括：
[0109]
步骤4.1：在步骤3获取的源特征空间1和源特征空间2的基础上，基于自适应选择的双源域特征匹配网络自适应确定源特征空间1、源特征空间2与目标网络之间每对特征图的匹配权重，以及源网络1、源网络2特征块和目标网络每对卷积块之间的匹配权重，根据这两个匹配权重构建迁移损失函数，并结合目标网络的损失函数获得基于自适应选择的双源域异构迁移学习模型的损失函数；
[0110]
在给定源网络和目标网络的情况下，如图3所示，特征匹配网络决定了：
①
源网络中哪些特征应该被迁移以及迁移的权重(选择性源网络中有利于目标任务学习的特征)；
②
源网络和目标网络之间哪些块的特征应该匹配以进行迁移。图3中线条的粗细代表权重的大小，线条越粗代表权重越大。
[0111]
所述步骤4.1具体为：
[0112]
步骤4.1.1：设x为基于多样化分支块结构的目标网络以及源网络1、源网络2的输入，表示源特征空间1的第m1块的特征图，表示源网络2第m2块的特征图，表示参数为θ的目标网络第n块的特征图，基于自适应选择的双源域特征匹配网络的目标是利用s1和s2中有利于目标任务学习的特征约束t
θ
的训练，定义一个与和之间的l2范数距离，通过最小化l2范数距离实现有利于目标任务学习的特征选择，该l2范数距离定义为：
[0113][0114]
其中，r
θ
(
·
)是逐点卷积，保证与源特征空间具有相同的通道数；
[0115]
步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：
[0116][0117]
[0118]
其中，h
×
w是和的特征图大小，为第c1个通道中和之间的待学习权重，为第c2个通道中和之间的待学习权重，且待学习权重即一对特征图的匹配权重；
[0119]
步骤4.1.3：对步骤4.1.2中的和定义两个全连接神经网络和分别学习和的取值，和分别以和中每个特征图的全局均值池化为输入，以softmax形式作为网络的输出，则：
[0120][0121]
其中φ1和φ2分别是和的参数，对于给定的与与如图3(a)所示，在每个输入图像中，针对中不同的特征图给予不同的可训练权重，越重要的特征图所对应的权重越大，这使得对应特征图的损失越受到关注；
[0122]
步骤4.1.4：如图3(b)所示，分别以中的每个卷积块的输出为一个单位，分别为每队卷积块(m1,n)、(m2,n)引入一个可学习参数和和分别表示对对的迁移程度，即一对卷积块的匹配权重，和越大，则表示该对卷积块的特征对目标任务的学习越有利；同样的，定义两个全连接神经网络和分别学习和的取值，和分别以和的全局均值池化为输入，网络的输出以relu6形式给出，以确保和的非负性，并防止和变得过大，即：
[0123][0124]
该网络自动学习源网络特征图对目标网络特征图的重要块对；
[0125]
步骤4.1.5：在得到相对于目标网络的每对特征图的匹配权重和以及每对卷积块的匹配权重和后，则迁移的损失被定义为：
[0126][0127]
其中，p1和p2分别是与与的候选卷积块对的集合；
[0128]
则基于自适应选择的双源域异构迁移学习模型的最终损失函数定义为：
[0129]
l
total
(θ|x,y,φ)＝l
org
(θ|x,y)+βl
wfm
(θ|x,φ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0130]
其中，l
org
(θ|x,y)为目标网络原始的损失函数，β是一个超参数。
[0131]
步骤4.2：使用步骤4.1获得基于自适应选择的双源域异构迁移学习模型的损失函数，使用四阶段训练方法，进行基于自适应选择的双源域异构迁移学习中的特征匹配模型与基于多样化分支块结构的目标网络训练；基于自适应选择的双源域异构迁移学习模型中的特征匹配网络以及基于多样化分支块的目标模型的训练方法，所述步骤4.2具体包括：
[0132]
步骤4.2.1：初始化θ和φ，定义θ为θ0；
[0133]
步骤4.2.2：针对当前参数θ0，利用肺部spsn的ct图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行t次更新，使l
wfm
(θ|x,φ)最小化，更新后的θ定义为θ
t
；
[0134]
步骤4.2.3：针对当前参数θ
t
，利用肺部spsn的ct图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行单步更新，使l
org
(θ|x,y)最小化，更新后的θ定义为θ
t+1
；
[0135]
步骤4.2.4：在步骤4.2.2-步骤4.2.3阶段使用的样本下，根据lo
rg
(θ
t
|x,y)到lo
rg
(θ
t+1
|x,y)的变化衡量目标网络适应目标任务的速度，最后，通过最小化lo
rg
(θ
t+1
|x,y)更新特征匹配网络的参数φ；
[0136]
步骤4.2.5：训练过程迭代重复步骤4.2.2至步骤4.2.4，直至满足目标网络的收敛条件，收敛条件为目标网络的损失趋于稳定或达到最大训练次数。
[0137]
步骤5：图5展示了一个spsn患者的特征提取过程。在步骤4的基础上，以肺部spsn的ct图像作为等效变换后的目标模型的输入数据，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；深度学习特征提取的目的是寻找一组能够准确反映spsn内在属性且鲁棒性高的图像特征，是分类器具有高性能的保障。当目标模型训练时，使用基于多样化分支块结构(见图3)的目标网络，即将传统resnet18中的卷积核替换为多样化分支块结构，当目标模型训练好后，提取深度学习特征前，需将目标模型的多样化分支块结构等效变换为一个卷积核；所述步骤5具体包括：
[0138]
步骤5.1：设卷积核的输入为v是输入特征图的个数，h
×
w为输入特征图的大小，卷积核的参数为c为输入通道数，即与输入特征图的个数相等，d为输出通道数，k
×
k为卷积尺寸；卷积核偏置的矩阵形式为卷积核输出为h
′×w′
是输出特征图的大小，卷积的齐次性和可加性分别为公式(6)和(7)所示：
[0139][0140][0141]
其中f1和f2分别是卷积核1和卷积核2的参数，p为实数；
[0142]
步骤5.2：根据步骤5.1卷积的齐次性和可加性，可得5个等效变换公式，以进行等价转换，最后使用5个等价变换公式将dbb结构转换为单个卷积核，提高特征表达能力。
[0143]
优选的，所述步骤5.2的5个等效变换公式包括：
[0144]
等价变换1：卷积核与批归一化的融合；
[0145]
卷积核和批归一化是成对出现，而两者根据卷积的齐次性可合并为一个卷积，设j是通道索引，μj和σj分别是批处理数据的均值和方差，γj和βj分别为批归一化的比例因子和偏差项，根据批归一化的原理，可得合并后第j个输出通道的输出为
[0146]
[0147]
根据卷积的齐次性，合并后的卷积核的参数为
[0148][0149]
等价变换2：卷积分支相加；
[0150]
当两个或多个具有相同参数的卷积核的输出相加时，根据卷积的可加性，上述卷积组合的输出可合并为一个卷积核的输出，合并后的卷积核参数为：
[0151]f′←
f1+f2,b
′←
b1+b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0152]
其中，f1和f2分别是卷积核1、2的参数，b1和b2分别是卷积核1、2的偏置；
[0153]
等价变换3：串联卷积的融合；
[0154]
对于1
×
1卷积串联k
×
k卷积，设1
×
1卷积的参数为k
×
k卷积的参数为可得两个卷积核的合并输出为：
[0155][0156]
其中rep(b1)表示偏置b1的矩阵形式，矩阵里的值全部为b1，矩阵大小跟随相应卷积核的大小；
[0157]
由于f1是一个1
×
1卷积，只进行逐通道的线性组合而不进行空间聚合，因此可将1
×
1卷积串联k
×
k卷积合并为一个新的卷积核即公式(11)可变换为：
[0158][0159]
式中，trans(f1)表示卷积核f1的转置，即将f1的输入通道个数的位置与输出通道个数的位置进行转置，如trans(f
1d
×c×1×1)＝fc×d×1×1，由于是一个常数矩阵，则
[0160][0161]
等价变换4：平均池化转换；
[0162]
核大小为k、步长为s的平均池化操作可等价于具有相同k和s的卷积核，这个卷积核被定义为：
[0163][0164]
与平均池化一样，当s》1时，表现为下采样；但当s＝1时，是平滑操作；
[0165]
等价变换5：多尺度卷积融合；
[0166]
对于零padding的尺寸为kh×kw
(kh≤k,kw≤k)的卷积核可等价变换为一个k
×
k的卷积核，如步长为1，零padding的卷积核可等价为步长为1，padding为k/2的卷积核b
′
∈rd为：
[0167][0168]
偏置b
′
＝b∈rd。
[0169]
最后，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；图5展示了一个spsn患者的特征提取过程。
[0170]
步骤6：获取每个患者的临床特征、ct主观征像，并串联步骤5中的深度学习特征形成新的特征集；临床特征包括性别、年龄。ct征象是放射科医生根据spsn的ct图像读取的特征，主要包括：肺结节的均径，毛刺征、分叶征以及形状征等。
[0171]
步骤7：在步骤6的基础上，训练基于稀疏贝叶斯极限学习机的集成学习分类器，集成学习分类器中的基分类器和集成分类器都是基于稀疏贝叶斯的极限学习机，得到肺结节ct图像分类结果。包括：
[0172]
步骤7.1：使用曼-惠特尼u检验分别对步骤5提取的深度学习特征和6提取患者的临床特征与ct征象进行检验，选取对pt与la的诊断具有显著差异的深度学习特征、临床特征与ct征象；曼-惠特尼u检验是一种非参数秩和假设检验，目的是检验两个样本的均值是否有显著的差别。当曼-惠特尼u检验的p值小于0.05时，代表该特征在spsn的肺结核与肺腺癌诊断中具有显著作用。
[0173]
步骤7.2：将具有显著差异的深度学习特征、临床特征与ct征象串联起来，形成新的特征集，特征集的大小为n*k，总样本数为n表示样本数，k表示每个样本的特征数；
[0174]
步骤7.3：将n*k的特征集随机抽样，变成m个样本集(m1*k，m2*k
……mm
*k)；
[0175]
步骤7.4：利用m个样本集分别训练m个基分类器，基分类器为基于稀疏贝叶斯的极限学习机；
[0176]
步骤7.5：训练好m个基分类器后，将m个基分类器的输出作为集成分类器的隐藏层输出，集成分类器是基于稀疏贝叶斯的极限学习机；
[0177]
步骤7.6：训练集成分类器的隐藏层与输出层的权重，训练好隐藏层与输出层的权重后，集成分类器的结果即为肺结节ct图像分类结果。
[0178]
如图6所示，基于稀疏贝叶斯elm分别作为集成学习的基分类器与集成分类器，其中，基分类器与集成分类器隐藏层和输出层之间的参数通过下面的稀疏贝叶斯进行求解。
[0179]
在elm中引入l1范数对模型进行约束，使模型具有稀疏解，然而，引入l1范数不可避免的引入了超参数。因此，本文提出基于稀疏贝叶斯的elm，既避免使用耗时的交叉验证求解超参数，又具有良好的泛化性能。
[0180]
基于稀疏贝叶斯的elm的目标函数为
[0181][0182]
其中t表示样本的真实标签；表示隐藏层和输出层之间的权重；l是隐藏层神经元的个数；λ＞0表示约束项的系数。x表示隐藏层的输出，当输入层与隐含层之间的连接权值、隐含层的偏置被随机确定后，x是确定的。
[0183]
关于公式(16)中参数的求解，本文提出一种基于稀疏贝叶斯学习和自动相关确定的求解方法。将高斯共轭稀疏先验引入经典经验贝叶斯线性模型中，得到稀疏贝叶斯模型。
即，假设是逆方差为β的零均值高斯随机变量，标签t被建模为具有加性高斯噪声的线性组合。针对训练样本(x,t)，其中n表示样本数，将权重向量w的似然性写成多元高斯分布
[0184]
p(t|x,w,β)＝n(t|x
t
w,β-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0185]
为了得到w的后验概率，引入一个关于w的具有零均值和对角协方差矩阵的多元高斯分布的稀疏先验。该稀疏先验可表达为
[0186][0187]
从公式(18)看出，稀疏先验为每个权重向量ωi设置单独的超参数αi，从而产生超参数向量α＝(αi,
…
,αd)
t
，该向量即是w协方差矩阵的对角元素。由于高斯先验对高斯似然(相对于均值)的共轭性，可知w后验概率是一个封闭形式的高斯解。w的后验概率可以表示为：
[0188]
p(w|t,x,α,β)＝n(w|m,∑)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0189]
然后，通过最大化后验概率可以求得最有可能的w值，w后验概率分布的均值m和协方差∑定义为
[0190]
m＝β∑x
t
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)
[0191]
∑-1
＝a+βx
t
x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0192]
其中，a＝diag(α)。超参数α和β可使用最大边际似然方法进性计算，通过对输出权重w进行积分得到边际似然p(tα,β)，即
[0193]
p(t|α,β)＝∫p(t|w，β)p(w|α)dw
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)
[0194]
然后通过对指数的平方，利用高斯函数的标准化系数的标准形式，可得到对数似然
[0195][0196]
将对超参数α和β的对数似然的偏导数设为零，可得到超参数的极大似然估计，可得
[0197][0198][0199]
其中，mi是后验均值m的第i个分量；γi定义
[0200]
γi＝1-αi∑
ii
，i∈{1,2,
…
,d}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)
[0201]
其中，∑
ii
是后验分布协方差∑的第i个对角线分量。在自动相关确定中，当最大化关于α的边际似然时，α中的一些元素趋于无穷，相应的权值具有集中于零的后验分布。因此，与这些权值相关的特征在模型的预测中不起作用，形成一个稀疏模型。
[0202]
为了使对数似然最大化，使用一种迭代训练方案：
①
初始化超参数α和β；
②
然后根据公式(20)和(21)计算后验分布的超参数m和∑；
③
检查对数似然或权重w的收敛性，如果不满足收敛准则，则根据公式(24)、(25)和(26)更新超参数α和β，再返回第二步；如果满足
收敛准则，则有
[0203]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：包括：步骤1：获取原始肺部spsn的ct图像数据集、肺癌wsi数据集、自然图像的imagenet数据集；步骤2：利用步骤1获取的肺癌wsi数据集训练resnet34，作为源网络1；利用步骤1获取的自然图像的imagenet数据集训练另一个resnet34，作为源网络2；步骤3：在步骤2的基础上，利用步骤1获取的肺部spsn的ct图像数据集分别通过源网络1和源网络2得到源特征空间1和源特征空间2，源网络1和源网络2中每一个卷积核的输出分别作为源特征空间1和源特征空间2的某个特征图；步骤4：在步骤3的基础上，利用肺部spsn的ct图像数据集训练基于自适应选择的双源域特征匹配模型以及基于多样化分支块结构的resnet18，作为目标模型；步骤5：在步骤4的基础上，以肺部spsn的ct图像作为等效变换后的目标模型的输入数据，将目标模型等效变换后的卷积核作为特征提取器提取深度学习特征；步骤6：获取每个患者的临床特征、ct主观征像，并串联步骤5中的深度学习特征形成新的特征集；步骤7：在步骤6的基础上，训练基于稀疏贝叶斯极限学习机的集成学习分类器，集成学习分类器中的基分类器和集成分类器都是基于稀疏贝叶斯的极限学习机，得到肺结节ct图像分类结果。2.根据权利要求1所述的一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：所述步骤4包括：步骤4.1：在步骤3获取的源特征空间1和源特征空间2的基础上，基于自适应选择的双源域特征匹配网络自适应确定源特征空间1、源特征空间2与目标网络之间每对特征图的匹配权重，以及源网络1、源网络2特征块和目标网络每对卷积块之间的匹配权重，根据这两个匹配权重构建迁移损失函数，并结合目标网络的损失函数获得基于自适应选择的双源域异构迁移学习模型的损失函数；步骤4.2：使用步骤4.1获得基于自适应选择的双源域异构迁移学习模型的损失函数，使用四阶段训练方法，进行基于自适应选择的双源域异构迁移学习中的特征匹配模型与基于多样化分支块结构的目标网络训练。3.根据权利要求2所述的一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：所述步骤4.1具体为：步骤4.1.1：设x为基于多样化分支块结构的目标网络以及源网络1、源网络2的输入，表示源特征空间1的第m1块的特征图，表示源网络2第m2块的特征图，表示参数为θ的目标网络第n块的特征图，基于自适应选择的双源域特征匹配网络的目标是利用s1和s2中有利于目标任务学习的特征约束t
θ
的训练，定义一个与和之间的l2范数距离，通过最小化l2范数距离实现有利于目标任务学习的特征选择，该l2范数距离定义为：
其中，r
θ
(
·
)是逐点卷积，保证与源特征空间具有相同的通道数；步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：步骤4.1.2：定义源网络1、源网络2中的每个特征图的加权特征匹配损失为：其中，h
×
w是和的特征图大小，为第c1个通道中和之间的待学习权重，为第c2个通道中和之间的待学习权重，且之间的待学习权重，且待学习权重即一对特征图的匹配权重；步骤4.1.3：对步骤4.1.2中的和定义两个全连接神经网络和分别学习和的取值，和分别以和中每个特征图的全局均值池化为输入，以softmax形式作为网络的输出，则：其中φ1和φ2分别是和的参数，对于给定的与与与在每个输入图像中，针对中不同的特征图给予不同的可训练权重，越重要的特征图所对应的权重越大，这使得对应特征图的损失越受到关注；步骤4.1.4：分别以中的每个卷积块的输出为一个单位，分别为每队卷积块(m1,n)、(m2,n)引入一个可学习参数和和和和分别表示对对对的迁移程度，即一对卷积块的匹配权重，和越大，则表示该对卷积块的特征对目标任务的学习越有利；同样的，定义两个全连接神经网络和分别学习和的取值，和分别以和的全局均值池化为输入，网络的输出以relu6形式给出，以确保和的非负性，并防止和变得过大，即：该网络自动学习源网络特征图对目标网络特征图的重要块对；步骤4.1.5：在得到相对于目标网络的每对特征图的匹配权重和以及每对卷积块的匹配权重和后，则迁移的损失被定义为：其中，p1和p2分别是与与与的候选卷积块对的集合；则基于自适应选择的双源域异构迁移学习模型的最终损失函数定义为：
l
total
(θ|x,y,φ)＝l
org
(θ|x,y)+βl
wfm
(θ|x,φ)
ꢀꢀꢀꢀꢀꢀꢀ
(5)其中，l
org
(θ|x,y)为目标网络原始的损失函数，β是一个超参数。4.根据权利要求3所述的一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：基于自适应选择的双源域异构迁移学习模型中的特征匹配网络以及基于多样化分支块的目标模型的训练方法，所述步骤4.2具体包括：步骤4.2.1：初始化θ和φ，定义θ为θ0；步骤4.2.2：针对当前参数θ0，利用肺部spsn的ct图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行t次更新，使l
wfm
(θ|x,φ)最小化，更新后的θ定义为θ
t
；步骤4.2.3：针对当前参数θ
t
，利用肺部spsn的ct图像数据集对基于自适应选择的双源域异构迁移学习中的目标网络进行单步更新，使l
org
(θ|x,y)最小化，更新后的θ定义为θ
t+1
；步骤4.2.4：在步骤4.2.2-步骤4.2.3阶段使用的样本下，根据l
org
(θ
t
|x,y)到l
org
(θ
t+1
|x,y)的变化衡量目标网络适应目标任务的速度，最后，通过最小化l
org
(θ
t+1
|x,y)更新特征匹配网络的参数φ；步骤4.2.5：训练过程迭代重复步骤4.2.2至步骤4.2.4，直至满足目标网络的收敛条件，收敛条件为目标网络的损失趋于稳定或达到最大训练次数。5.根据权利要求4所述的一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：当目标模型训练时，使用基于多样化分支块结构的目标网络，即将传统resnet18中的卷积核替换为多样化分支块结构，当目标模型训练好后，提取深度学习特征前，需将目标模型的多样化分支块结构等效变换为一个卷积核；所述步骤5具体包括：步骤5.1：设卷积核的输入为v是输入特征图的个数，h
×
w为输入特征图的大小，卷积核的参数为c为输入通道数，与输入特征图的个数相等，d为输出通道数，k
×
k为卷积尺寸；卷积核偏置的矩阵形式为卷积核输出为h
′×
w
′
是输出特征图的大小，卷积的齐次性和可加性分别为公式(6)和(7)所示：示：其中f1和f2分别是卷积核1和卷积核2的参数，p为实数；步骤5.2：根据步骤5.1卷积的齐次性和可加性，可得5个等效变换公式，以进行等价转换，最后使用5个等价变换公式将dbb结构转换为单个卷积核，提高特征表达能力。6.根据权利要求5所述的一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：所述步骤5.2的5个等效变换公式包括：等价变换1：卷积核与批归一化的融合；卷积核和批归一化是成对出现，而两者根据卷积的齐次性可合并为一个卷积，设j是通道索引，μ
j
和σ
j
分别是批处理数据的均值和方差，γ
j
和β
j
分别为批归一化的比例因子和偏差项，根据批归一化的原理，可得合并后第j个输出通道的输出为
根据卷积的齐次性，合并后的卷积核的参数为等价变换2：卷积分支相加；当两个或多个具有相同参数的卷积核的输出相加时，根据卷积的可加性，上述卷积组合的输出可合并为一个卷积核的输出，合并后的卷积核参数为：f
′←
f1+f2,b
′←
b1+b2ꢀꢀꢀꢀꢀꢀ
(10)其中，f1和f2分别是卷积核1、2的参数，b1和b2分别是卷积核1、2的偏置；等价变换3：串联卷积的融合；对于1
×
1卷积串联k
×
k卷积，设1
×
1卷积的参数为k
×
k卷积的参数为可得两个卷积核的合并输出为：其中rep(b1)表示偏置b1的矩阵形式，矩阵里的值全部为b1，矩阵大小跟随相应卷积核的大小；由于f1是一个1
×
1卷积，只进行逐通道的线性组合而不进行空间聚合，因此可将1
×
1卷积串联k
×
k卷积合并为一个新的卷积核即公式(11)可变换为：式中，trans(f1)表示卷积核f1的转置，即将f1的输入通道个数的位置与输出通道个数的位置进行转置，如trans(f
1d
×
c
×1×1)＝f
c
×
d
×1×1，由于是一个常数矩阵，则等价变换4：平均池化转换；核大小为k、步长为s的平均池化操作可等价于具有相同k和s的卷积核，这个卷积核被定义为：与平均池化一样，当s>1时，表现为下采样；但当s＝1时，是平滑操作；等价变换5：多尺度卷积融合；对于零padding的尺寸为k
h
×
k
w
(k
h
≤k,k
w
≤k)的卷积核可等价变换为一个k
×
k的卷积
核，如步长为1，零padding的卷积核可等价为步长为1，padding为k/2的卷积核b
′
∈r
d
为：偏置b
′
＝b∈r
d
。7.根据权利要求6所述的一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法，其特征在于：所述步骤7包括：步骤7.1：使用曼-惠特尼u检验分别对步骤5提取的深度学习特征和6提取患者的临床特征与ct征象进行检验，选取对pt与la的诊断具有显著差异的深度学习特征、临床特征与ct征象；步骤7.2：将具有显著差异的深度学习特征、临床特征与ct征象串联起来，形成新的特征集，特征集的大小为n*k，总样本数为n表示样本数，k表示每个样本的特征数；步骤7.3：将n*k的特征集随机抽样，变成m个样本集(m1*k，m2*k
……
m
m
*k)；步骤7.4：利用m个样本集分别训练m个基分类器，基分类器为基于稀疏贝叶斯的极限学习机；步骤7.5：训练好m个基分类器后，将m个基分类器的输出作为集成分类器的隐藏层输出，集成分类器是基于稀疏贝叶斯的极限学习机；步骤7.6：训练集成分类器的隐藏层与输出层的权重，训练好隐藏层与输出层的权重后，集成分类器的结果即为肺结节ct图像分类结果。

技术总结
本发明属于CT图像分类技术领域，具体地涉及一种基于自适应选择的双源域异构迁移学习的肺结节CT图像分类方法。本发明方法利用CT图像对SPSN患者进行PT与LA的术前辅助诊断。该方法包括两个部分：


技术研发人员：崔恩铭 冯宝 陈业航 龙晚生 马长宜 陆森良 侍江峰 刘昱 何婧 胡子建
受保护的技术使用者：桂林航天工业学院
技术研发日：2022.03.22
技术公布日：2022/7/5