本发明属于免疫细胞信息获取,尤其涉及基于深度学习的免疫细胞空间地形图生成方法及系统。
背景技术:
1、在不良细胞微环境的研究和临床诊断中,准确识别和分析免疫细胞的空间分布、密度、群落结构以及与不良细胞的相互作用,对于理解发病细胞的生物行为、预测疾病进展和制定个性化治疗策略至关重要。然而,发明人发现,现有技术面临几个挑战:
2、(1)细胞数量巨大,难以完整注释:病变组织切片中包含大量的免疫细胞和不良细胞,手动标注这些细胞的类型、状态和分布非常耗时耗力,难以实现快速准确的大规模分析。
3、(2)生成的免疫地形图质量不够精确:对免疫细胞的空间分布、密度、群落结构等空间信息的识别不够精确,导致最终的分析结构不够准确。
4、(3)免疫地形图解读的复杂性:即便能够生成高质量的免疫地形图,如何从中提取出有意义的生物医学信息,并生成易于理解的解读报告,也是一大技术挑战。
技术实现思路
1、为克服上述现有技术的不足,本发明提供了基于深度学习的免疫细胞空间地形图生成方法及系统,对数字图像中的少量细胞进行标注,基于多维语义对抗网络生成精度更高的免疫细胞空间地形图,并基于图优化器重新预测每个细胞的优化标签,利用优化标签更新免疫细胞空间地形图,整体标注量小且能够提升空间地形图的生成精度。
2、为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
3、本发明第一方面提供了基于深度学习的免疫细胞空间地形图生成方法。
4、基于深度学习的免疫细胞空间地形图生成方法,包括以下步骤:
5、获取多张包含不良细胞和免疫细胞的病变组织切片的数字图像,对数字图像进行预处理;
6、对每一数字图像中的部分细胞进行类型和分布标注,得到部分标注的数字图像,利用部分标注的数字图像对多维语义对抗网络进行训练;
7、将部分标注的数字图像输入至训练好的多维语义对抗网络中,得到包含多维语义信息的免疫细胞空间地形图,所述多维语义信息包括免疫细胞和不良细胞的类型、状态和分布;
8、使用预训练的图优化器,以免疫细胞空间地形图中各个细胞为节点,在相邻的细胞中间生成边,形成图网络,聚合图网络中邻近节点的信息,学习细胞之间的高维表示,重新预测未标注细胞的属性,得到每个细胞的优化标签;
9、以每个细胞的优化标签为基准,同步更新免疫细胞空间地形图;
10、基于更新后的免疫细胞空间地形图,生成免疫细胞空间分布报告。
11、本发明第二方面提供了基于深度学习的免疫细胞空间地形图生成系统。
12、基于深度学习的免疫细胞空间地形图生成系统,包括:
13、图像预处理模块,被配置为:获取多张包含不良细胞和免疫细胞的病变组织切片的数字图像,对数字图像进行预处理;
14、训练模块,被配置为:对每一数字图像中的部分细胞进行类型和分布标注,得到部分标注的数字图像,利用部分标注的数字图像对多维语义对抗网络进行训练;
15、空间地形图生成模块,被配置为:将部分标注的数字图像输入至训练好的多维语义对抗网络中,得到包含多维语义信息的免疫细胞空间地形图,所述多维语义信息包括免疫细胞和不良细胞的类型、状态和分布;
16、优化标签生成模块,被配置为:使用预训练的图优化器,以免疫细胞空间地形图中各个细胞为节点,在相邻的细胞中间生成边,形成图网络,聚合图网络中邻近节点的信息,学习细胞之间的高维表示,重新预测未标注细胞的属性,得到每个细胞的优化标签;
17、同步更新模块,被配置为:以每个细胞的优化标签为基准,同步更新免疫细胞空间地形图;
18、报告生成模块,被配置为:基于更新后的免疫细胞空间地形图,生成免疫细胞空间分布报告。
19、本发明第三方面提供了计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的基于深度学习的免疫细胞空间地形图生成方法中的步骤。
20、本发明第四方面提供了电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的基于深度学习的免疫细胞空间地形图生成方法中的步骤。
21、以上一个或多个技术方案存在以下有益效果:
22、本发明提供了一种基于深度学习的免疫细胞空间地形图生成方法及系统,对数字图像中的少量细胞进行标注,并利用少量标注细胞去训练多维语义对抗网络,利用训练好的多维语义对抗网络对数字图像中的未标注细胞的种类、状态和分布进行预测,得到免疫细胞空间地形图;之后利用图网络的形式表达免疫细胞空间地形图,并基于图优化器重新预测每个细胞的优化标签,利用优化标签更新免疫细胞空间地形图,能够提升空间地形图的生成精度,同时注释量、标注量小,多维语义对抗网络模型以及图结构允许注释和标注的空缺,可以通过少量标注的细胞完成整体的免疫地形图生成。
23、本发明中的图优化器基于标注细胞的类型和分布,重新预测未标注细胞的属性,所述属性包括细胞的类型、可能的状态和与其他细胞的关系,得到每个细胞的优化标签。基于一次标注信息,能够对多维语义对抗网络和图优化器进行训练,提升训练效率。
24、在多维语义对抗网络模型的训练中,生成器负责生成免疫细胞空间地形图,判别器则负责评估生成的地形图的质量和真实性,最终得到的模型生成器能够生成精度更高的免疫细胞空间地形图。
25、本发明完善了免疫地形图解读,通过多模态的生成式预训练变换器完成免疫地形图解读报告,并保留多模态的生成式预训练变换器的输入作为参考选项,结果明确,可以完成个性化的分析报告。
26、本发明对数字图像进行预处理时,采用变分自编码重构器恢复或增强数字图像质量,能够优化图像质量,有利于后续的图像分析和处理。
27、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.基于深度学习的免疫细胞空间地形图生成方法,其特征在于,包括以下步骤:
2.如权利要求1所述的基于深度学习的免疫细胞空间地形图生成方法,其特征在于对数字图像进行预处理,包括:
3.如权利要求1所述的基于深度学习的免疫细胞空间地形图生成方法,其特征在于,利用部分标注的数字图像对多维语义对抗网络进行训练,具体包括:
4.如权利要求1所述的基于深度学习的免疫细胞空间地形图生成方法,其特征在于,在形成图网络之后,所述图优化器基于标注细胞的类型和分布,重新预测未标注细胞的属性,所述属性包括细胞的类型、可能的状态和与其他细胞的关系,得到每个细胞的优化标签。
5.如权利要求1所述的基于深度学习的免疫细胞空间地形图生成方法,其特征在于,生成免疫细胞空间分布报告,具体包括:
6.如权利要求5所述的基于深度学习的免疫细胞空间地形图生成方法,其特征在于,还包括:
7.如权利要求2所述的基于深度学习的免疫细胞空间地形图生成方法,其特征在于,采用变分自编码重构器恢复或增强数字图像质量,具体包括:
8.基于深度学习的免疫细胞空间地形图生成系统,其特征在于:包括:
9.计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的基于深度学习的免疫细胞空间地形图生成方法中的步骤。
10.电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于深度学习的免疫细胞空间地形图生成方法中的步骤。
