本发明属于中药材的自动化处理,特别是涉及一种基于神经网络的中药材真伪高光谱检测方法。
背景技术:
1、目前中药真伪检测主要为基于理化分析的方法,但该方法存在鉴定时间长、对中药具有破坏性的痛点。因此,无损和高效的进行中药真伪检测已成为亟待解决的问题。为了实现中药真伪的高效、精确和无损检测,本方法采用高光谱成像系统进行中药数据采集,然后采用一种基于双分支注意力和特征交叉融合网络进行高效、准确和自动化分割检测。
2、中药真伪检测的目的在于将伪品和正品进行分离。基于rgb图像的中药真伪检测方法是利用resnet50等深度神经网络对中药rgb图像进行特征提取,然后进行检测分析,该方法在面对检测样品特征差异小的真伪检测任务时往往难以达到较好的结果。近年来,高光谱成像技术的迅速发展提高了人类认识世界的能力,将高光谱成像技术和语义分割结合的中药质量检测方法,具有检测精度高、检测速度快和检测范围广的优点,成为一种非常具有潜力的方法。1dcnn通过将高光谱图像的光谱数据作为像素级谱向量输入,通过对光谱信息进行特征提取,以完成对图像的分类任务。r-pca-cnn在1dcnn的基础上,融入了空间信息提取模块。通过在cnn前引入随机住成分分析(r-pca),以便将高光谱图像的空间和光谱特征结合起来。最近,基于transformer的方法sert将注意力机制引入分割检测,通过注意力机制捕获图像的上下文信息,以达到更精确的分割分类。
3、在中药真伪检测领域,基于高光谱图像的真伪检测方法已经取得了广泛的应用,能够对中药进行无损和高效的检测。但目前中药高光谱检测方法仍然存在一些问题,包括对中药高光谱图像的空间信息和光谱信息利用效率低,导致在面对仅有细微光谱特征差异的真伪中药检测时,难以达到较高的检测精度。同时在对不同尺度的空间特征和光谱特征进行特征融合时,目前的方法主要为加权求和,没有考虑到两种不同尺度特征的差异性,导致部分特征丢失。
技术实现思路
1、针对以上技术问题,本发明提供一种基于神经网络的中药材真伪高光谱检测方法。
2、本发明解决其技术问题采用的技术方案是:
3、一种基于神经网络的中药材真伪高光谱检测方法,所述方法包括以下步骤:
4、s100:获取待检测的中药高光谱图像并添加标签,得到原始的中药高光谱数据集;
5、s200:对原始的中药高光谱数据集进行预处理,得到预处理后的数据集;
6、s300:搭建高光谱检测神经网络模型,包括多级卷积层、双分支注意力网络、特征交叉融合网络和预测模块,多级卷积层用于进行局部特征学习得到中间特征,双分支注意力网络用于基于中间特征提取空间特征和光谱特征,得到深层空间特征和深层光谱特征,特征交叉融合网络用于将特征空间特征和特征光谱特征进行融合,得到深层特征,深层特征经过预测模块得到每个像素点的类别标签预测;
7、s400:基于预处理后的数据集和预设的损失函数对高光谱检测神经网络模型进行训练,反向传播更新网络参数,得到训练好的高光谱检测神经网络模型,基于训练好的高光谱检测神经网络模型完成中药材的真伪检测。
8、优选地,s200包括:
9、利用白板校正和黑板校正对原始的中药高光谱图像进行校正处理,消除光照变化和数据采集设备电压波动对数据采集的影响,具体为:
10、;
11、其中,为原始的中药高光谱图像,为全黑图像,为全部白图像,为校正后的数据。
12、优选地,s300包括:
13、s310:将中药高光谱图像通过多级卷积层进行局部特征学习和降低特征图空间分辨率,得到中间特征;
14、s320:将中间特征分别沿空间维度和光谱维度展开,得到原始空间特征序列和原始光谱特征序列,再将原始空间特征序列通过空间注意力分支进行空间上下文信息学习,得到深层空间特征,将原始光谱特征序列通过光谱注意力分支进行光谱上下文信息学习,得到深层光谱特征;
15、s330:将深层空间特征、深层光谱特征两者经过特征交叉融合网络进行特征融合得到深层特征;
16、s340:再将深层特征通过特征上采样层得到全局深层特征,并将全局特征向量通过线性层映射为类别分数向量,经过softmax层激活得到每个像素点的预测标签。
17、优选地,s310中多级卷积层包括卷积层和下采样层,卷积层用于从输入高光谱图像中提取局部特征,下采样层对输入的局部特征应用最大池化后得到融合全局特征的原始低分辨率特征,对原始低分辨率特征应用2d卷积进行特征增强,通过残差连接将增强后的低分辨率特征和原始低分辨率进行拼接得到新的低分辨率特征。
18、优选地,s310具体为:
19、;
20、其中,为中间特征,为输入高光谱图像,表示多级卷积层。
21、优选地,s320包括:
22、s321:将中间特征分别沿空间维度和光谱维度展开,得到原始空间特征序列和原始光谱特征序列,具体为:
23、;
24、;
25、其中,为中间特征,为原始空间特征序列,为原始光谱特征序列,为形状变化操作;
26、s322:将原始空间特征序列通过空间注意力分支进行空间上下文信息学习,得到深层空间特征,具体为:
27、;
28、其中, 为深层空间特征,为原始空间特征序列,表示空间注意力分支,且有:
29、;
30、;
31、;
32、;
33、;
34、其中,分别为注意力的查询、键和值,为激活函数,,分别为对输入特征经线性层学习得到的权重参数,表示线性层,为空间注意力分支的输出,为输入特征,对应为,,;
35、s323:将原始光谱特征序列通过光谱注意力分支进行光谱上下文信息学习,得到深层光谱特征,具体为:
36、;
37、其中,为深层光谱特征,为原始光谱特征序列,表示光谱注意力分支,且有:
38、;
39、;
40、;
41、;
42、;
43、其中,分别为注意力的查询、键和值,为激活函数,,分别为对输入特征经线性层学习得到的权重参数,表示线性层,为光谱注意力分支的输出,为输入特征,对应为,,。
44、优选地,s330具体为:
45、;
46、其中,为特征融合后的深层特征,为深层空间特征,为深层光谱特征,表示特征交叉融合网络,其中:
47、;
48、;
49、;
50、;
51、;
52、其中,为深层空间特征,为深层光谱特征,为最大池化操作,为卷积操作,为激活操作,为深层空间特征权重,深层光谱特征权重,为增强后的深层空间特征,为增强后的深层光谱特征,为特征交叉融合后的深层特征。
53、优选地,s340中的特征上采样层利用双线性插值将输入的深层特征空间分辨率恢复到输入高光谱图像同等大小。
54、优选地,s400包括:
55、s410:将预处理后的数据输入高光谱检测神经网络模型,得到输入数据对应的类别标签预测概率;
56、s420:对网络模型的类别标签预测概率和真实标签中的类别标签应用预设的损失函数,计算模型预测与真实标签之间的差异;
57、s430:根据模型预测与真实标签之间的差异值,计算差异值对每层网络中每个参数的梯度,具体公式如下:
58、;
59、其中,l是预设的损失函数,为计算得到的差异值,是激活函数的导数,为该层网络的输出值,为求导;
60、s440:更新网络权重,具体公式如下:
61、;
62、其中为第层网络的原始权重,为第层网络的原始权重对损失函数的求导,为预设的学习率,其值为0.02;
63、s450:重复以上步骤300轮,训练完成。
64、优选地,预设的损失函数具体为:
65、;
66、其中l为损失值,为真实标签中第个像素的值,如真品取值为1,伪品取值为2;为模型对第个像素预测为每个类别标签的概率;表示求和;损失值l越小,表示模型预测与真实标签之间的差异越小。
67、上述一种基于神经网络的中药材真伪高光谱检测方法,搭建了高光谱检测神经网络模型,提出了双分支注意力网络和特征交叉融合网络,通过将卷积和注意力相结合,更好的提取中药高光谱图像中空间和光谱的局部特征和上下文特征,使得神经网络模型获得更多空间和光谱维度的特征,对中药高光谱图像的空间和光谱特征进行高效特征提取和特征交叉融合,有效提高了中药真伪检测的准确率。
1.一种基于神经网络的中药材真伪高光谱检测方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,s200包括:
3.根据权利要求2所述的方法,其特征在于,s300包括:
4.根据权利要求3所述的方法,其特征在于,s310中多级卷积层包括卷积层和下采样层,卷积层用于从输入高光谱图像中提取局部特征,下采样层对输入的局部特征应用最大池化后得到融合全局特征的原始低分辨率特征,对原始低分辨率特征应用2d卷积进行特征增强,通过残差连接将增强后的低分辨率特征和原始低分辨率进行拼接得到新的低分辨率特征。
5.根据权利要求4所述的方法,其特征在于,s310具体为:
6.根据权利要求4所述的方法,其特征在于,s320包括:
7.根据权利要求6所述的方法,其特征在于,s330具体为:
8.根据权利要求7所述的方法,其特征在于,s340中的特征上采样层利用双线性插值将输入的深层特征空间分辨率恢复到输入高光谱图像同等大小。
9.根据权利要求8所述的方法,其特征在于,s400包括:
10.根据权利要求9所述的方法,其特征在于,预设的损失函数具体为: