本发明涉及计算机视觉和医学图像处理领域，特别涉及基于深度学习的口腔全景x射线图像多病理实例分割方法。
背景技术：
1、口腔疾病普遍存在，对人类健康构成重大威胁。在医学图像处理领域，口腔全景x射线图像是一种重要的诊断工具，用于评估和诊断各种口腔疾病，如智齿、龋齿、残根等。
2、传统的诊断方法主要依赖于牙医的经验和直观判断，通过观察x射线图像来识别和分析病理特征。然而，这种方法具有一定的局限性，如主观性强、效率低、准确性受限等。随着深度学习技术的发展，自动化的医学图像分析方法逐渐成为研究的热点。这些方法通过训练深度神经网络来识别和分割图像中的病理区域，有望提高诊断的准确性和效率。
3、然而，现有的深度学习方法在处理口腔全景x射线图像时仍面临挑战。口腔全景x射线图像中可能同时存在多种病理情况，现有的方法往往只能处理单一病理的识别和分割，在多病理识别方面存在不足。而且传统的卷积神经网络在提取特征时可能会丢失重要的上下文信息，这也会影响对复杂病理情况的识别。因此，迫切需要一种准确性强、效率高的多病理分割方法。
技术实现思路
1、为了克服现有技术中的不足，本发明提供基于深度学习的口腔全景x射线图像多病理实例分割方法，旨在提高诊断的准确性、效率，并减少对牙医个人经验的依赖问题。
2、为了达到上述发明目的，解决其技术问题所采用的技术方案如下：
3、基于深度学习的口腔全景x射线图像多病理实例分割方法，包括以下步骤：
4、步骤1、模型数据预处理：对输入的全景片数据进行灰度值标准化、尺寸统一化、数据增强化处理；
5、步骤2、模型网络结构设计：构建口腔全景x射线图像多病理实例分割网络模型；
6、步骤3、模型评价体系构建：采用检测框的平均精度值bbox map及分割区域的平均精度值segm map作为评价模型性能评价指标；
7、步骤4、模型训练阶段：对主副骨干网络部分的单个网络参数采用其网络在大型公开图像数据集imagenet上预训练好的参数做初始化，颈部网络部分和头部网络部分的参数均采用随机初始化，输入的口腔全景x射线图像数据经过步骤1所述预处理后进入模型，采用梯度下降算法对模型进行迭代训练以取得最优解，根据验证集在步骤3所述评价体系中的bbox map和segm map值来确定模型的最优参数；
8、步骤5、模型网络推理：采用步骤4中所述最优参数作为模型网络的参数载入，输入一张口腔全景x射线图像数据经过步骤1所述预处理后进入模型，完成病理分类、边界框回归和掩模分割。
9、进一步的，步骤2中，所述实例分割网络模型包括主副骨干网络、颈部网络和头部网络；所述主副骨干网络部分由主干网络和辅助网络两个模块组成，每个模块负责提取不同尺度的特征图；所述颈部网络部分包含特征候选区域生成和映射模块；所述头部网络部分包含注意头结构、分类器结构、回归器结构、分割器结构。
10、进一步的，所述主副骨干网络采用由两个swin transformer组成的laab网络结构，主干网络与辅助网络连接采用concat拼接和1x1卷积模块，具体过程如下：
11、阶段(i-1)中主干和辅助骨干的两个大小为h×w×c的特征图在通道上连接，之后，组合后的特征图大小变为h×w×2c，然后通过1×1卷积层其通道数变为c，组合后的特征图用作主干第i阶段的输入，该操作在数学上表示为：
12、
13、其中，h(·)表示连接，函数w(·)表示1×1卷积层，c(.)表示卷积操作，f(·)通过卷积后接批量归一化和relu激活函数实现特征聚合机制，表示主干网络第i阶段的输出，由于swin transformer共有4个阶段，2≤i≤4，对于后续的分割过程，只有主干网络的输出特征被输入到下一部分，而辅助网络的输出则被转发到主干网络。
14、进一步的，步骤2中，所述颈部网络特征候选区域生成采用rpn模块。
15、进一步的，步骤2中，所述颈部网络特征映射采用ro1align模块。
16、进一步的，步骤2中，所述头部网络中的注意头结构采用se模块；
17、所述se模块的结构包括一个squeeze块和一个excitation块，所述squeeze块将全局空间信息压缩为通道描述符，通过全局平均池化生成基于通道的统计数据，形式上，通过将u缩小其空间维度h×w来生成统计数据因此，z的第c个元素通过以下方式获得：
18、
19、为了利用挤压操作中聚合的信息，se模块使用sigmoid激活的简单门控机制，如下所示：
20、s＝fex(z，w)＝σ(g(z,w))＝σ(w2δ(w1z))，
21、其中，δ表示relu函数，
22、se模块通过在非线性周围形成具有两个完全连接层fc的瓶颈来参数化门控机制，即具有缩减比率r的降维层、relu，然后是返回到变换输出u的通道维度的增维层，se模块的最终输出是通过使用激活s重新缩放u获得的，即：
23、x′c＝fscale(uc，sc)＝scuc，
24、其中，x′＝[x′1，x′2，...，x′c]和fscale(uc，sc)表示标量sc与特征图之间的通道乘法；
25、通过所述se模块，头部具有注意机制，可与骨干提取的全局特征图相呼应。
26、进一步的，步骤2中，所述头部网络中的分类器结构和回归器结构采用全连接层fc实现类别的分类和目标框的回归。
27、进一步的，步骤2中，所述分割器结构采用fcn模块完成掩模分割。
28、进一步的，步骤4中，所述随机初始化的方法为：he_normal、lecun_uniform、glorot_normal、glorot_uniform或者lecun_normal。
29、进一步的，步骤4中，所述梯度下降算法的方法为：adam、sgd、msprop或者adadelta。
30、本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
31、1、本发明的多病理实例分割模型通过主副骨干网络的多尺度特征提取及颈部网络的特征转化，对大小目标的病理区域都可精准分割，且效率更高；
32、2、本发明考虑到多病理分割的复杂性，分割网络的头部还需要理解上下文信息。因此，本发明在网络模型中加入一种改进的注意力头，其中添加的se模块可以在固定大小的特征图上执行全局特征重新校准，以更好的完成对象分类、边界框回归和掩模分割；
33、3、本发明实现了对多病理的同时分割，具有效率高、精度高、客观性好、可重复性稳定等优点；
34、4、根据本发明的技术方案，基于计算机视觉与医学图像处理技术，能够自动化地分割和识别口腔全景x射线图像中的多种病理情况，与传统的依赖于牙医经验和直观判断的诊断方法相比，更加高效、准确。
1.基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤2中，所述实例分割网络模型包括主副骨干网络、颈部网络和头部网络；所述主副骨干网络部分由主干网络和辅助网络两个模块组成，每个模块负责提取不同尺度的特征图；所述颈部网络部分包含特征候选区域生成和映射模块；所述头部网络部分包含注意头结构、分类器结构、回归器结构、分割器结构。
3.根据权利要求2所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，所述主副骨干网络采用由两个swin transformer组成的laab网络结构，主干网络与辅助网络连接采用concat拼接和1x1卷积模块，具体过程如下：
4.根据权利要求2所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤2中，所述颈部网络特征候选区域生成采用rpn模块。
5.根据权利要求2所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤2中，所述颈部网络特征映射采用roialign模块。
6.根据权利要求2所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤2中，所述头部网络中的注意头结构采用se模块；
7.根据权利要求2所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤2中，所述头部网络中的分类器结构和回归器结构采用全连接层fc实现类别的分类和目标框的回归。
8.根据权利要求2所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤2中，所述分割器结构采用fcn模块完成掩模分割。
9.根据权利要求1所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤4中，所述随机初始化的方法为：he_normal、lecun_uniform、glorot_normal、glorot_uniform或者lecun_normal。
10.根据权利要求1所述的基于深度学习的口腔全景x射线图像多病理实例分割方法，其特征在于，步骤4中，所述梯度下降算法的方法为：adam、sgd、msprop或者adadelta。
