1.本发明涉及舌诊图像识别技术领域，具体涉及一种基于注意力增强双线性卷积网络的舌诊图像识别方法。
背景技术：2.双线性网络：双线性卷积神经网络模型由不同通道的特征提取器组成，对图片的每个位置上的不同通道的特征进行外积计算获得图像的空间特征。
3.注意力机制：注意力机制在近些年的研究中吸引越来越多的注意力，因为它大大提高了感兴趣的特征表示，聚焦于关键的特征从而忽视不重要的特征信息。
4.目前的注意力机制主要包括两大类：通道注意力和空间注意力。它们通过不同的聚合策略，转换方式，强化函数等增强原始特征图的特征表达能力。
5.由于双线性卷积神经网络模型只计算不同通道同一位置的特征，忽略了不同位置特征对识别的贡献，因此引入注意力机制。
6.双线性卷积神经网络通过计算不同网络通道的特征的外积获得图像的空间特征，这种特征高度局部化，适用于对旋转姿态位置无关的特征进行细粒度差异性识别。双线性卷积神经网络最后得到的不同通道的特征没有对进行区分。使得细粒度识别的过程中出现特征冗余。
7.sgenet网络结构是计算图片在不同空间位置的特征在不同特征分组里面的重要性，对细粒度分类特征有用的高度局部特征有放大作用，同时降低了背景及噪声的影响。因此综合利用不同网络结构的双线性卷积神经网络和强调空间局部特征的sgenet进行结合，本方法有利于舌诊数据细粒度分类的准确率的提高。
技术实现要素：8.本发明的目的在于一种基于注意力增强双线性卷积网络的舌诊图像识别方法，以解决上述背景技术中提出的问题。
9.为实现上述目的，本发明提供如下技术方案：
10.一种基于注意力增强双线性卷积网络的舌诊图像识别方法，包括以下步骤：
11.步骤一：将双线性卷积神经网络应用于舌诊图像的细粒度识别；
12.步骤二：将seg-net嵌入到双线性卷积神经网络中，加强局部特征的注意力，提高双线性卷积神经网络在舌诊图像的识别准确率；
13.步骤三：加入注意力机制的双线性卷积神经网络的系统流程应用于舌诊识别,输出多类型标签。
14.优选地，所述舌诊图像识别方法为了计算舌诊图像的细粒度特征，使用嵌入segnet结构的res18，将网络的最后一层作为双线性层的输入为了计算舌诊图像的细粒度特征。
15.优选地，所述细粒度特征具体操作步骤为：
16.将sgenet的结构嵌入到res18中，网络中将c通道的h*w的卷积特征向量划分成g个组，每个组里面的子特征在每个位置可以表示为：χ＝{x
1...m
},m＝h
×
w 17.由于噪声和相似特征很难有良好的特征分布，因此，使用全局信息来加强对关键区域的语义特征的学习。整个空间特征不受噪声的影响，对所有的特征求均值压缩成一维度描述符，表征在空间位置上的相应分布，计算公式如下：使用点积计算全局语义特征和局部特征的相似度，因此每个位置的注意力ci＝g
·
xi，为了防止样本之间的系数存在偏差，对样本注意力在空间上进行归一化，其中ε＝0.0005；
18.对每个系数使用参数γ,β进行缩放平移的归一化最后使用归一化后的样本注意力ai进行sigmoid运算后与原始的样本特征进行点积计算得到增强的特征向量所有特征分组里面增强的特征向量组可以表示为
19.通过计算不同通道的特征对形成双线性池化操作，双线性池化分解成对的特征关系，用于获得细粒度特征向量，令x∈rh×w×c表示特征，其中h,w,c分别表述特征通道的高度，宽度和通道数。xi∈rc表示特征空间位置为i的特征向量，则特征空间位置为[1,hw]的特征描述矩阵为x∈rc×
hw
x＝[x1x2...x
hw
].对于空间位置为i的点，计算其外积xix
it
为对应的特征矩阵。zi＝xix
it
双线性池化模型通过计算特征通道之间的成对相关性获取双线性池化，将全局空间信息压缩到通道描述中，以捕获与通道的依赖关系。
[0020]
与现有技术相比，本发明的有益效果是
[0021]
本发明解决舌诊图像整体相似，关于舌的区分性能差问题，使用带有注意力增强机制的双线性卷积神经网络实现对舌诊图像进行细粒度识别。
附图说明
[0022]
图1为本发明的流程图。
[0023]
图2为本发明图1中sgenet stream a部分的放大图。
[0024]
图3为本发明图2中部分区域的放大图。
[0025]
图4为本发明图1中sgenet stream b部分的放大图。
[0026]
图5为本发明图4中部分区域的放大图。
[0027]
图6为本发明图1中右侧区域的放大图。
具体实施方式
[0028]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0029]
如图1-图6，本发明一种基于注意力增强双线性卷积网络的舌诊图像识别方法，包括以下步骤：
[0030]
步骤一：将双线性卷积神经网络应用于舌诊图像的细粒度识别；
[0031]
步骤二：将seg-net嵌入到双线性卷积神经网络中，加强局部特征的注意力，提高双线性卷积神经网络在舌诊图像的识别准确率；
[0032]
步骤三：加入注意力机制的双线性卷积神经网络的系统流程应用于舌诊识别,输出多类型标签。
[0033]
优选地，所述舌诊图像识别方法为了计算舌诊图像的细粒度特征，使用嵌入segnet结构的res18，将网络的最后一层作为双线性层的输入为了计算舌诊图像的细粒度特征。
[0034]
优选地，所述细粒度特征具体操作步骤为：
[0035]
将sgenet的结构嵌入到res18中，网络中将c通道的h*w的卷积特征向量划分成g个组，每个组里面的子特征在每个位置可以表示为：χ＝{x
1...m
},m＝h
×
w [0036]
由于噪声和相似特征很难有良好的特征分布，因此，使用全局信息来加强对关键区域的语义特征的学习。整个空间特征不受噪声的影响，对所有的特征求均值压缩成一维度描述符，表征在空间位置上的相应分布，计算公式如下：使用点积计算全局语义特征和局部特征的相似度，因此每个位置的注意力ci＝g
·
xi，为了防止样本之间的系数存在偏差，对样本注意力在空间上进行归一化，其中ε＝0.0005；
[0037]
对每个系数使用参数γ,β进行缩放平移的归一化最后使用归一化后的样本注意力ai进行sigmoid运算后与原始的样本特征进行点积计算得到增强的特征向量所有特征分组里面增强的特征向量组可以表示为
[0038]
通过计算不同通道的特征对形成双线性池化操作，双线性池化分解成对的特征关系，用于获得细粒度特征向量，令x∈rh×w×c表示特征，其中h,w,c分别表述特征通道的高度，宽度和通道数。xi∈rc表示特征空间位置为i的特征向量，则特征空间位置为[1,hw]的特征描述矩阵为x∈rc×
hw x＝[x1x2...x
hw
].对于空间位置为i的点，计算其外积xix
it
为对应的特征矩阵。zi＝xix
it
双线性池化模型通过计算特征通道之间的成对相关性获取双线性池化，将全局空间信息压缩到通道描述中，以捕获与通道的依赖关系。
[0039]
双线性seg-net网络流程
[0040]
algorithm：
[0041][0042][0043]
对分组注意力进行归一化。化。
[0044][0045]
对比实验效果：
[0046]
舌诊数据涉及舌诊特征包括苔色，瘀点，舌老嫩在内的7种特征共计21维特征标签，训练数据使用11814张标注了21维特征的舌诊数据，使用2967张舌诊数据进行验证。
[0047]
对比未使用本方法的双线性卷积神经网路方法的识别结果，多次交叉标注的平均准确率如下表所示。
[0048] bilinearcnnoursaccuracy69.800+3.737472.1+2.4456
[0049]
对比仅仅使用seg-net单网络结构的识别结果
[0050] seg-netours
accuracy64.700+2.164572.1+2.4456
[0051]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0052]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
技术特征：1.一种基于注意力增强双线性卷积网络的舌诊图像识别方法，其特征在于，包括以下步骤：步骤一：将双线性卷积神经网络应用于舌诊图像的细粒度识别；步骤二：将seg-net嵌入到双线性卷积神经网络中，加强局部特征的注意力，提高双线性卷积神经网络在舌诊图像的识别准确率；步骤三：加入注意力机制的双线性卷积神经网络的系统流程应用于舌诊识别,输出多类型标签。2.根据权利要求1所述的一种基于注意力增强双线性卷积网络的舌诊图像识别方法，所述舌诊图像识别方法为了计算舌诊图像的细粒度特征，使用嵌入segnet结构的res18，将网络的最后一层作为双线性层的输入为了计算舌诊图像的细粒度特征。3.根据权利要求2所述的一种基于注意力增强双线性卷积网络的舌诊图像识别方法，所述细粒度特征具体操作步骤为：将sgenet的结构嵌入到res18中，网络中将c通道的h*w的卷积特征向量划分成g个组，每个组里面的子特征在每个位置可以表示为：χ＝{x
1...m
},m＝h
×
w由于噪声和相似特征很难有良好的特征分布，因此，使用全局信息来加强对关键区域的语义特征的学习，整个空间特征不受噪声的影响，对所有的特征求均值压缩成一维度描述符，表征在空间位置上的相应分布，计算公式如下：使用点积计算全局语义特征和局部特征的相似度，因此每个位置的注意力c
i
＝g
·
x
i
，为了防止样本之间的系数存在偏差，对样本注意力在空间上进行归一化，其中ε＝0.0005.4.根据权利要求3所述的一种基于注意力增强双线性卷积网络的舌诊图像识别方法，所述细粒度特征还包括：对每个系数使用参数γ,β进行缩放平移的归一化最后使用归一化后的样本注意力a
i
进行sigmoid运算后与原始的样本特征进行点积计算得到增强的特征向量所有特征分组里面增强的特征向量组可以表示为通过计算不同通道的特征对形成双线性池化操作，双线性池化分解成对的特征关系，用于获得细粒度特征向量，令x∈r
h
×
w
×
c
表示特征，其中h,w,c分别表述特征通道的高度，宽度和通道数。x
i
∈r
c
表示特征空间位置为i的特征向量，则特征空间位置为[1,hw]的特征描述矩阵为x∈r
c
×
hw
x＝[x1x2...x
hw
]，对于空间位置为i的点，计算其外积为对应的特征矩阵。双线性池化模型通过计算特征通道之间的成对相关性获取双线性池化，将全局空间信息压缩到通道描述中，以捕获与通道的依赖关系。
技术总结本发明提供了一种基于注意力增强双线性卷积网络的舌诊图像识别方法，包括以下步骤：步骤一：将双线性卷积神经网络应用于舌诊图像的细粒度识别。本发明解决舌诊图像整体相似，关于舌的区分性能差问题，使用带有注意力增强机制的双线性卷积神经网络实现对舌诊图像进行细粒度识别。行细粒度识别。行细粒度识别。
技术研发人员：胡素黎 李力 鲍新平 刘则军
受保护的技术使用者：来康生命科技有限公司
技术研发日：2022.02.12
技术公布日：2022/7/5
