本发明属于自动对焦，具体涉及一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法及系统。
背景技术：
1、液晶显示器具有低功耗、体积轻薄、大幅面显示、全色显示等特点，被广泛应用于智能手机、医疗影像、工业控制等场景。基板玻璃作为液晶显示器的核心基础部件，其性能决定了显示设备的分辨率、透光度、可视角度等关键指标。基板玻璃厚约5cm，缺陷可能会出现在玻璃的不同厚度上，只有将面阵相机镜头调整到合适的距离，才能清晰地对玻璃缺陷进行成像。
2、自动对焦任务大多基于清晰度评价函数进行，清晰度评价函数会在物距最合适的位置产生最大的响应值，从而找到最清晰的图像。清晰度评价函数通常利用梯度、频率和信息熵等进行构造，例如brenner算法计算相邻像素差的平方和，tenengrad算法采用sobel算子分别提取水平和垂直方向的梯度值，laplacian算法计算图像的二阶梯度，fft、dct和小波变换计算图像的频率特性，像素方差、香农熵分析图像的统计特性。目前，基于清晰度评价函数的自动对焦工作在自然图像中已经有了很成熟的应用，但是在基板玻璃图像上表现不佳。最近，利用深度学习处理自动对焦任务已经有了初步进展，这类方法将该任务视为分类或回归任务，直接利用网络预测出最清晰的图像，但针对的场景依然是自然图像，无法适应明、暗场交叉成像下的基板玻璃图像。
3、综上，传统的基于图像梯度、频率、信息熵的清晰度评价函数大多是针对自然图像所设计，并不适用于明场和暗场成像下的基板玻璃。因此，如何高效精准地选择最清晰的基板玻璃缺陷图像已成为亟待解决的问题。
技术实现思路
1、本发明的目的是针对目前大多数自动对焦算法是针对自然图像所设计，无法适用于明、暗场交叉成像下的基板玻璃，无法找到最清晰的基板玻璃缺陷明场、暗场图像的问题，本发明技术方案提出基于深度学习框架下的序数回归技术，提出一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法及系统，旨在找到最清晰的基板玻璃缺陷明场、暗场图像。该方法同时利用明场、暗场图像，采用双分支特征交叉融合网络交换明场图像序列和暗场图像序列的特征信息，实现高通量、精准地缺陷图像自动对焦，能够在预测精度和时间复杂度方面表现出优异的性能。
2、为此，本发明提供如下技术方案：
3、一方面，本发明提供一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法，包括以下步骤：
4、获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列；
5、提取所述明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图；
6、利用若干个串接的cim模块，再连接全局平均池化和1*1卷积层构建出双分支特征交叉融合网络，前一个cim模块的输出作为下一个cim模块的输入，所述cim模块为2输入2输出的空间、通道注意力交叉融合模块；
7、将所述明场特征图、暗场特征图输入所述双分支特征交叉融合网络得到明场、暗场对应的网络输出向量、，并利用网络输出向量、确定最清晰的明场图像和暗场图像，实现对焦；
8、其中，利用相机拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，并利用其中最清晰的明场图像、暗场图像制作真值标签，然后与训练样本的对焦结果进行比对完成网络训练。
9、进一步可选的，每个cim模块的处理过程均为：
10、首先，利用卷积通道注意力机制cam获取输入的明场、暗场特征图分别对应的通道自注意力向量以及通道跨注意力向量；
11、然后，将明场对应的通道自注意力向量与明场特征图逐通道相乘得到，暗场对应的通道自注意力向量与暗场特征图逐通道相乘得到，暗场对应的通道跨注意力向量与明场特征图逐通道相乘得到，明场对应的通道跨注意力向量与暗场特征图逐通道相乘得到；
12、接着，针对、、、均使用卷积空间注意力机制sam获取空间自注意力矩阵和和空间跨注意力矩阵、；
13、最后，将、、、一一对应与、、、逐元素相乘得到、、、，进而与相加得到，与相加得到，向量、为cim模块的输出。
14、进一步可选的，所述卷积通道注意力机制cam是由沿空间维度的最大池化层、沿空间维度的平均池化层、多层感知机mlp、sigmoid函数构成，得到的明场的通道自注意力向量以及通道跨注意力向量相等；得到的暗场的通道自注意力向量以及通道跨注意力向量相等；
15、所述卷积空间注意力机制sam是由沿通道维度的最大池化层、沿通道维度的平均池化层、卷积层、sigmoid函数构成。
16、进一步可选的，获取相机拍摄的基板玻璃暗场图像得到暗场图像序列之后，该方法还包括对所述暗场图像序列进行梯度引导，再将梯度引导后的暗场图像序列输入特征图提取网络得到暗场特征图；
17、梯度引导操作如下：
18、首先，针对暗场图像序列，使用拉普拉斯算子逐通道计算二阶梯度，并将低于梯度阈值的梯度置0，最终得到梯度图序列；
19、接着，依次计算每张梯度图的方差得到方差向量；
20、然后，设计双层全连接编码网络，并对所述方差向量进行编码，编码公式如下：
21、,
22、,
23、式中，和为第一层网络训练参数，和为第二层网络训练参数，为第一层输出，是编码网络的输出向量，v为方差向量；
24、最后，将输出向量中的元素与暗场图像序列相乘得到梯度引导后的暗场图像序列。
25、进一步可选的，获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列之后，提取明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图之前，该方法还包括：获取相机拍摄的明场图像序列、暗场图像序列后，使用gamma变换增强明场图像序列的图像，以及使用中值滤波算法依次处理暗场图像序列的图像。
26、进一步可选的，相机采用交叉成像方式拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，选择物距调整的偶数次拍摄明场图像、奇数次拍摄暗场图像；或者选择物距调整的奇数次拍摄暗场图像、偶数次拍摄明场图像；
27、进而从训练样本中查找的最清晰的明场图像和暗场图像为相邻图像，并记录最清晰的明场图像、暗场图像的序列号和，再利用序列号和确定各个明场图像序列号与的距离、各个暗场图像序列号j与的距离：
28、,
29、,
30、式中，为明场图像序列号i与的距离，为暗场图像序列号j与的距离再基于分布类型对应的函数将距离向量、转换为软标签，用于训练网络模型参数，、为明场图像序列、暗场图像序列构成的距离向量；
31、其中，若是选择laplace分布，则通过归一化指数函数和距离向量、构造的软标签和表示为：
32、,
33、,
34、式中，表示归一化指数函数，为明场的真值软标签，为暗场的真值软标签。
35、进一步可选的，网络训练时，使用kl散度作为训练损失，adam为优化器，并使用函数处理和得到明场、暗场对应的向量、，使得满足非负和一约束。向量、中最大元素值所对应的索引对应明场、暗场图像为最清晰的明场图像、暗场图像；
36、整体损失loss表示为：
37、,
38、,
39、,
40、式中，表示，表示，n为向量元素的个数，i为向量索引，、为明场分类损失和暗场分类损失的权重。
41、二方面，本发明还提供一种基于上述基于明暗场融合的基板玻璃缺陷图像自动对焦方法的系统，包括：
42、图像获取模块，用于获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列；
43、特征提取模块，用于提取所述明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图；
44、融合模块，用于利用若干个串接的cim模块，再连接全局平均池化和1*1卷积层构建出双分支特征交叉融合网络，前一个cim模块的输出作为下一个cim模块的输入，所述cim模块为2输入2输出的空间、通道注意力交叉融合模块；
45、对焦模块，用于将所述明场特征图、暗场特征图输入所述双分支特征交叉融合网络得到明场、暗场对应的网络输出向量、，并利用网络输出向量、确定最清晰的明场图像和暗场图像，实现对焦；
46、其中，利用相机拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，并利用其中最清晰的明场图像、暗场图像制作真值标签，然后与训练样本的对焦结果进行比对完成网络训练。
47、三方面，本发明还提供一种电子终端，包括：
48、一个或多个处理器；
49、存储了一个或多个计算机程序的存储器；
50、其中，所述处理器调用所述计算机程序以实现：
51、上述基于明暗场融合的基板玻璃缺陷图像自动对焦方法的步骤。
52、四方面，本发明还提供一种计算机可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以实现：
53、上述基于明暗场融合的基板玻璃缺陷图像自动对焦方法的步骤。
54、有益效果
55、与现有方法相比，本发明的优点有：
56、1、本发明技术方案提出了一种基于双分支特征交叉融合的模型，设计双分支特征交叉融合模块，可以交换明场图像序列和暗场图像序列的特征信息，使得神经网络能够同时提取、融合明场序列和暗场序列特征。本发明提供的双分支特征交叉融合模块由空间注意力和通道注意力两部分组成，分别用于提取空间特征和序列特征。应当理解，在基板玻璃拍摄时，有些缺陷在明场光源照射下成像不清晰但暗场成像很明显，但有些缺陷恰恰相反甚至直接在暗场下不成像，因此同时利用明场特征和暗场特征是必要的。然而，若是简单的将明场图像和暗场图像按通道堆叠在一起，然后送入网络，并不采用本发明提出的双分支的策略，预测精度会很低。因此，本发明技术方案可以有效提高了基板玻璃缺陷图像的自动对焦准确率。
57、2.本发明进一步优选方案中提出了图像梯度引导，通过求取暗场图像序列的二阶梯度的方差来引导网络理解图像清晰度。图像梯度可以反应图像的边缘锐利程度，清晰的图像往往存在很锐利的边缘，因此通过梯度来引导网络预测是合理的。在基板玻璃缺陷场景下，研究发现部分图像并没有很好的满足上面的规律，因此优选添加了编码网络对梯度先进行编码再引入网络，让网络自适应地处理梯度信息。通过实验分析，如果不引入梯度引导模块，在测试集上的预测精度为92.1%，同时训练轮数要在60轮以上（添加后训练30轮网络即可收敛）。综上可知，使用梯度引导，可以提升网络的预测准确率、泛化性、降低训练轮数，有效提升了基板玻璃缺陷图像的自动对焦准确率。在构建的明场、暗场数据集上准确率达到96.5%，远远高于现有的自动对焦方法。
58、3、本发明优选明场图像和暗场图像交叉产生，因此二者最佳图像必定相邻，本发明充分利用这非常重要的先验信息，应当理解，如果分开处理明场序列和暗场序列则没有利用该先验会出现二者预测结果不相邻，与事实相悖。
59、4、本发明还提出了将自动对焦问题转化为序数回归问题，通过拉普拉斯分布构建软标签，使用kl散度作为训练损失，保证了网络训练精度。
1.一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的方法，其特征在于：每个cim模块的处理过程均为：
3.根据权利要求2所述的方法，其特征在于：所述卷积通道注意力机制cam是由沿空间维度的最大池化层、沿空间维度的平均池化层、多层感知机mlp、sigmoid函数构成，得到的明场的通道自注意力向量以及通道跨注意力向量相等；得到的暗场的通道自注意力向量以及通道跨注意力向量相等；
4.根据权利要求1所述的方法，其特征在于：获取相机拍摄的基板玻璃暗场图像得到暗场图像序列之后，所述方法还包括对所述暗场图像序列进行梯度引导，再将梯度引导后的暗场图像序列输入特征图提取网络得到暗场特征图；
5.根据权利要求1所述的方法，其特征在于：获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列之后，提取明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图之前，所述方法还包括：获取相机拍摄的明场图像序列、暗场图像序列后，使用gamma变换增强明场图像序列的图像，以及使用中值滤波算法依次处理暗场图像序列的图像。
6.根据权利要求1所述的方法，其特征在于：相机采用交叉成像方式拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，选择物距调整的偶数次拍摄明场图像、奇数次拍摄暗场图像；或者选择物距调整的奇数次拍摄暗场图像、偶数次拍摄明场图像；
7.根据权利要求6所述的方法，其特征在于：网络训练时，使用kl散度作为训练损失，adam为优化器，并使用函数处理和得到明场、暗场对应的向量、，使得满足非负和一约束；向量、中最大元素值所对应的索引对应明场、暗场图像为最清晰的明场图像、暗场图像；
8.一种基于权利要求1-7任一项所述方法的系统，其特征在于，包括：
9.一种电子终端，其特征在于：包括：
10.一种计算机可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以实现：
