本发明涉及图像处理，具体来说，涉及一种基于多模态对比学习的医学图像预测方法。
背景技术：
1、肺癌是一种起源于肺部组织的恶性肿瘤，肺癌早期病变区域称为肺结节，有很大可能恶化为恶性肿瘤，尽早诊断出肺结节对于肺癌的治疗有决定性作用。低剂量计算机断层扫描(ldct)在临床实践中作为检测肺结节的关键，为肺结节的准确分割和形态、大小、病理等特征的深入评估提供大量医学图像数据，然而，肺结节的多样性与复杂性会给放射科医生的精力和经验带来巨大的考验。
2、肺结节是医学影像学中表现维直径≤3cm的局部高密度、类圆形的实性或亚实性肺部阴影，按照不同种类对肺结节进行分类：按数量分类将肺结节分为孤立肺结节和多发肺结节；按大小分类将肺结节分为微小结节和小结节；按密度分类将肺结节分为实性结节和亚实性结节(其中，亚实性结节又包括纯磨玻璃结节、磨玻璃密度和实性密度均有的混杂性结节)。孤立性肺结节为边界清楚、密度增高、直径≤3cm且周围被含气肺组织包绕的软组织影；而多发性肺结节常表现为单一肺结节伴有一个或多个小结节。
3、在目前的临床实践中，大部分放射科医生都是通过观察肺结节的各种形态特征来诊断肺结节的良恶性，上述方法在区分具有相似外观的肺结节仍然面临挑战，不仅难以区分具有相邻等级标签的相似肺结节，且难以高效利用放射科医生的文本注释。
4、针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本发明提供了基于多模态对比学习的医学图像预测方法，具备优化图像特征提取网络，提高对相似肺结节的区分能力的优点，进而解决难以区分具有相邻等级标签的相似肺结节的问题。
3、(二)技术方案
4、为实现上述具备优化图像特征提取网络，提高对相似肺结节的区分能力的优点，本发明采用的具体技术方案如下：
5、一种基于多模态对比学习的医学图像预测方法，该基于多模态对比学习的医学图像预测方法包括以下步骤：
6、s1、获取肺结节图像数据集并为图像数据集配对文本嵌入数据；分别对肺结节图像数据集和文本嵌入数据进行预处理；
7、s2、基于预处理后的肺结节图像数据集和文本嵌入数据构建多模态对比学习模型，并对多模态对比学习模型进行初次训练；
8、s3、调整初次训练后的多模态对比学习模型参数并进行二次训练，对训练完成后的多模态对比学习模型依次进行性能测试和性能评估；
9、s4、利用性能评估达标后的多模态对比学习模型对肺结节图像数据集进行预测，得到肺结节良恶性预测结果。
10、优选的，获取肺结节图像数据集并为图像数据集配对文本嵌入数据；分别对肺结节图像数据集和文本嵌入数据进行预处理包括以下步骤：
11、s11、获取包含肺结节图像的肺结节图像数据集，对各肺结节图像中的肺结节位置进行中心标注，并将标注中心作为裁剪中心对肺结节图像进行区域提取；
12、s12、对肺结节图像数据集中的各肺结节图像进行属性标注，并定义属性标注内容与肺结节位置的对应关系；
13、s13、基于属性标注内容与肺结节位置的对应关系创建子数据集，并在子数据集中嵌入类别标签文本；
14、s14、将属性标注内容及类别标签文本输入至预训练的文本编码器中，得到肺结节分类特征属性。
15、优选的，子数据集包括数据集parts-a、数据集parts-b及数据集parts-c；
16、子数据集parts-a的训练集和测试集中均包含良性结节、恶性结节和不确定结节；
17、子数据集parts-b的训练集中包含良性结节、恶性结节和不确定结节，子数据集parts-b的测试集包含良性结节和恶性结节；
18、子数据集parts-c的训练集和测试集同时包含良性结节和恶性结节。
19、优选的，基于预处理后的肺结节图像数据集和文本嵌入数据构建多模态对比学习模型，并对多模态对比学习模型进行初次训练包括以下步骤：
20、s21、利用图像分割处理技术构建肺结节图像分割模块，并基于图像前景和图像背景的概率预测结果对肺结节图像进行分割；
21、s22、从分割后的肺结节图像中提取肺结节特征，对肺结节特征依次进行优化和分类，并提取肺结节分类特征的文本嵌入集合和属性嵌入集合；
22、s23、利用肺结节属性加权模块对文本嵌入集合和属性嵌入集合中的词嵌入元素进行权重计算，得到特征辨识信息；
23、s24、利用注意力池化特征映射模块对特征辨识信息进行映射处理，得到对比学习特征；
24、s25、将分割后的肺结节图像按照肺结节分类特征排列，并基于对比学习特征训练多模态对比学习模型。
25、优选的，利用图像分割处理技术构建肺结节图像分割模块，并基于图像前景和图像背景的概率预测结果对肺结节图像进行分割包括以下步骤：
26、s211、由预处理模块、上采样模块及下采样模块组成肺结节图像分割模块，将肺结节图像输入至预处理模块中增加肺结节图像的肺结节特征信息；
27、s212、将经预处理模块处理后的肺结节图像依次输送至上采样模块及下采样模块中进行下采样处理和上采样处理；
28、s213、将经下采样处理和上采样处理后的肺结节图像输入至前后景预测模块中整合肺结节特征信息，并利用归一化函数输出肺结节图像前景和结节图像背景的概率分布，以此实现对肺结节图像的分割。
29、优选的，从分割后的肺结节图像中提取肺结节特征，对肺结节特征依次进行优化和分类，并提取肺结节分类特征的文本嵌入集合和属性嵌入集合包括以下步骤：
30、s221、利用图像编码器对分割后的肺结节图像进行特征提取，并将提取的肺结节特征经注意力池化模块生成特征映射；
31、s222、将属性嵌入集合输入至文本解码器中生成肺结节属性特征，并将属性标注内容输入至文本解码器中生成肺结节分类特征的文本嵌入集合。
32、优选的，利用注意力池化特征映射模块对特征辨识信息进行映射处理，得到对比学习特征包括以下步骤：
33、s241、将肺结节图像特征经注意力池化模块生成的特征映射重塑打平为特征向量；
34、s242、对特征向量进行全池化处理，并将学习位置参数嵌入至全池化处理后的特征向量中得到嵌入特征向量；
35、s243、将嵌入特征向量经多头注意力机制生成特征映射向量，并将特征映射向量作为对比学习特征。
36、优选的，将分割后的肺结节图像按照肺结节分类特征排列，并基于对比学习特征训练多模态对比学习模型包括以下步骤：
37、s251、结合肺结节图像与图像类别的对齐损失函数、肺结节图像与图像属性的对齐损失函数及类别与属性对齐的损失函数生成对比学习模块的损失函数；
38、s252、将加权二元交叉熵损失函数与dice系数的损失函数组合生成肺结节图像分割模块的损失函数；
39、s253、将对比学习模块的损失函数、肺结节图像分割模块的损失函数结合分类解码器的损失函数计算总体损失函数，并基于总体损失函数训练多模态对比学习模型。
40、优选的，调整初次训练后的多模态对比学习模型参数并进行二次训练，对训练完成后的多模态对比学习模型依次进行性能测试和性能评估包括以下步骤：
41、s31、基于预设的训练周期对多模态对比学习模型进行训练，并在多模态对比学习模型的训练过程中更新模型参数；
42、s32、分析训练过程中多模态对比学习模型的损失曲线和性能指标是否符合预设条件，当达到预设条件式时，则将当前的多模态对比学习模型作为最终的多模态对比学习模型；
43、s33、获取平均值及标准偏差，结合图像编码器及分类解码器生成肺结节图像的最终分类结果，并基于最终分类结果对多模态对比学习模型的性能进行评价。
44、优选的，权重计算公式为：
45、
46、式中，ωm为权重向量；
47、vm表示对应肺结节属性αm的评分；
48、m为第m个样本；
49、m为肺结节属性嵌入总数。
50、(三)有益效果
51、与现有技术相比，本发明提供了基于多模态对比学习的医学图像预测方法，具备以下
52、有益效果：
53、1、本发明通过引入肺结节预分割模块、基于通道的属性提取模块、肺结节属性加权模块以及文本知识引导的对比学习，实现了图像和文本在潜在语义空间中的精确对齐，有效地提高了分类模型识别真阳性结节的能力，在图像理解、文本生成、多模态交互以及肺结节检测等任务上展现出巨大的潜力和价值。
54、2、本发明通过肺结节预分割模块，不仅增加图像的特征信息，减小肺结节图像特征映射的大小，并且增加接收域，逐步修复特征图像的细节和空间维度，减少肺结节背景所带来的干扰，并为后续模型专注肺结节图像提供了便利；通过基于通道的属性提取模块，将肺结节图像信息与复杂属性注释建立潜在一致性关系，为关注临床特征的注意力图提供了可解释性；通过肺结节属性加权模块将对若干个肺结节复杂属性不同表现程度给出的不同评分以权重的形式对肺结节复杂属性特征产生影响，调整模型的注意力，进而提高预测准确性。
55、3、本发明通过对比学习方法深度探索肺结节中ct图像、肺结节复杂属性、良恶性三者之间的潜在关系，并利用其相似性与差异性优化多模态对比学习模型中的图像特征提取网络，提高其对相似肺结节的区分能力，同时通过肺结节文本知识引导图像优化的对比，实现肺结节的图像特征、复杂属性特征、良恶性特征跨模态的特征对齐以及相似度学习，帮助模型快速学习正确类别的同时，更好地捕获肺结节的边界信息和细节。
1.一种基于多模态对比学习的医学图像预测方法，其特征在于，该基于多模态对比学习的医学图像预测方法包括以下步骤：
2.根据权利要求1所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述获取肺结节图像数据集并为图像数据集配对文本嵌入数据；分别对肺结节图像数据集和文本嵌入数据进行预处理包括以下步骤：
3.根据权利要求2所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述子数据集包括数据集parts-a、数据集parts-b及数据集parts-c；
4.根据权利要求3所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述基于预处理后的肺结节图像数据集和文本嵌入数据构建多模态对比学习模型，并对多模态对比学习模型进行初次训练包括以下步骤：
5.根据权利要求4所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述利用图像分割处理技术构建肺结节图像分割模块，并基于图像前景和图像背景的概率预测结果对肺结节图像进行分割包括以下步骤：
6.根据权利要求5所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述从分割后的肺结节图像中提取肺结节特征，对肺结节特征依次进行优化和分类，并提取肺结节分类特征的文本嵌入集合和属性嵌入集合包括以下步骤：
7.根据权利要求6所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述利用注意力池化特征映射模块对特征辨识信息进行映射处理，得到对比学习特征包括以下步骤：
8.根据权利要求7所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述将分割后的肺结节图像按照肺结节分类特征排列，并基于对比学习特征训练多模态对比学习模型包括以下步骤：
9.根据权利要求8所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述调整初次训练后的多模态对比学习模型参数并进行二次训练，对训练完成后的多模态对比学习模型依次进行性能测试和性能评估包括以下步骤：
10.根据权利要求9所述的一种基于多模态对比学习的医学图像预测方法，其特征在于，所述权重计算公式为：
