本发明涉及计算机视觉、机器学习以及电力工业领域,具体涉及一种自适应表盘量程读数识别方法。
背景技术:
1、中国作为21世纪的农业、工业和科研大国,广泛应用各类仪器仪表进行测量、采集、分析和控制,为人们提供关键数据,如长度、温度和压力等。仪器仪表制造业因此蓬勃发展,成为市场需求巨大的重要领域。根据国家统计局最新数据显示,2017年,中国仪器仪表制造业总产值达9995亿元,同比增长2.60%,比2012年增长了47%。几十年的发展使得中国已成为全球第二大仪器仪表制造国,产品种类多样化,产业规模显著扩展。随着生活水平的提高,水和电普及至千家万户,使得仪器仪表成为日常生活的重要组成部分。在工业生产、航空航天、机械制造和医疗卫生等领域,仪器仪表的应用也日益广泛。这些行业对仪器仪表识别服务的需求逐年增加,要求服务具备更高的时效性、准确性和数字化水平。主要类型包括压力表、电压表、电流表、测速表、万用表和水表等,分为数字式和指针式两种。
2、最初,数据读取依赖于人工抄表,这种方式效率低且容易出错。操作者可能受到疲劳、视力问题和环境条件等多种因素影响。随着技术进步,智能表开始普及,通过安装智能表实现数据读取,效率高且错误率低于人工抄表。然而,智能表在稳定性和耐用性上不如传统的机械表,在更换时也面临挑战,特别是在农村和城市郊区等地区,需要耗费大量人力、资金和时间。摄像直读作为另一种表数据读取方式,通过摄像头拍摄表盘,并利用图像处理技术读取数据。相比其他方式,摄像直读效率高且无需更换原有表具,同时保留了传统机械表的耐用可靠特性,适应各种环境条件。这种方法只需在机械表盘上增加数据采集设备,即可高效获取数字信息并实时处理。然而,对于高精度仪器,摄像直读可能需要人工处理图像信息,有些甚至需要全天候监测,因此可能需要大量人力进行重复工作,且错误率波动较大。由于人工读取表盘数据存在着诸多不可控因素,因此业界学者基于传统机器学习算法研究了一批针对表盘的自动读取算法,例如:霍夫变换[2]、分水岭算法[3]、自适应迭代算法[4]等。这类算法通常依赖于人工设计的特征,用于从固定数据中提取表盘和指针信息,但其检测能力在很大程度上受到限制。这些数据通常基于在固定环境和特定光线条件下拍摄的同类表盘。然而,在自然环境中,表盘可能因天气、光照、环境等因素而出现模糊、遮挡或歪斜,这些因素对传统机器学习算法构成挑战。随着全球工业化进程的推进,一些国家开始研究针对自动表盘读数的相关技术。2000年,corraalegriae等人[5]提出了一种自动校准系统。该系统利用霍夫变换定位图像中的指针,并通过指针交点确定中心点位置,然后使用相关分析算法自动计算仪表读数。在模拟仪器中,该系统能以比人眼分辨能力更精确的方式检测指针位置,但其识别能力仅限于特定数值的表盘。2009年金京犬等人[6]进行了基于嵌入式arm的指针式仪表研究,通过差影法和最小二乘法拟合表盘直线的方法,主要适用于特定类型的表盘研究,对于多种样式的表盘则缺乏足够的适应性和鲁棒性,因为不同类型的表盘可能具有不同的特征和形状,需要更灵活和多样化的算法来有效地处理。2014年bin sun等人[7]进行了基于逻辑电路的指针表盘视觉检测研究,该研究探索了双线性插值和高斯差分滤波等算法,还提出了一种利用水平和垂直端点搜索交点的方法。这些算法被用于压力指针表盘图像的分割、提取和编号识别,以实现仪表的智能读数。2016年wasiqkhan等人[8]针对自然环境对表盘的影响,提出了一种基于卷积神经网络的表盘指针检测方法。该方法适用于固定位置拍摄的表盘图像,要求表盘特征清晰可辨。2019年李巍[9]等人在检测仪表位置中使用了全卷积神经网络进行表盘图像提取工作,霍夫变化查找直线,该方法对光照和阴影的干扰具有良好的鲁棒性,但针对的表盘数据很有限。深度学习在计算机视觉和自然语言处理等领域的应用越来越广泛,特别是在目标检测和图像分割方面,已经取得了显著的成果。针对当前仪表识别领域存在的各种挑战,深度图像处理技术可以提供一种解决方案,可以使检测速度更快、精度更高,并且减少错误率。因此,开发一种通用的自动识别读数算法,能够有效地读取指针式仪表的数据,显得尤为紧迫和重要。
技术实现思路
1、本发明提供一种自适应表盘量程读数识别方法、介质,以实现能够有效地读取指针式仪表的数据。
2、本发明通过下述技术方案实现:
3、一种自适应表盘量程读数识别方法,包括:
4、优化原始deeplabv3+模型得到新deeplabv3+模型并训练;
5、将预处理后的表盘图像数据输入至所述新deeplabv3+模型中得到表盘刻度和指针已经分割的第一图像数据;
6、将所述第一图像数据中的表盘刻度区域进行颜色处理,然后对颜色处理后的所述第一图像数据的表盘刻度区域和指针区域进行坐标转换,结合识别出的所述表盘图像数据中的刻度量程,从而识别出指针所指向的表盘刻度。
7、作为优化,所述新deeplabv3+模型包括mobilenetv2+网络和新assp模块,所述预处理后的表盘图像数据输入至mobilenetv2+网络中进行浅层特征提取第一浅层特征,所述第一浅层特征输入至所述新assp模块后再通过第一连接层进行拼接融合得到第一深层特征,同时,所述第一浅层特征通过第一卷积层进行1x1卷积得到第二浅层特征,所述第一深层特征通过第二卷积层进行1x1卷积和第一上采样层进行上采样得到第二深层特征,所述第二深层特征和第二浅层特征分别通过第二连接层进行拼接融合得到中间特征,所述中间特征依次通过第三卷积层进行3x3卷积以及第二上采样层进行上采样得到第一图像数据。
8、作为优化,所述mobilenetv2+网络的残差结构为倒残差结构,具体包括:
9、沿数据输入方向依次设置的3x3的第一深度可分离卷积层、第一逐点卷积层、第二逐点卷积层、第二深度可分离卷积层,且所述第一深度可分离卷积层的输入端直接与所述第二深度可分离卷积层的输出连接。
10、作为优化,所述新assp模块包括1x1的第一子卷积层、3x3的第二子卷积层、3x3的第三子卷积层、3x3的第四子卷积层、池化层和坐标注意力机制层,且所述第一连接层依次将所述第一子卷积层、第二子卷积层、第三子卷积层、第四子卷积层、池化层和坐标注意力机制层进行融合拼接。
11、作为优化,所述第二子卷积层的空洞率为6,所述第三子卷积层的空洞率为12,所述第四子卷积层的空洞率为18。
12、作为优化,对所述表盘图像数据预处理具体为对所述表盘图像数据进行亮度调节、对比度调节、锐度调节和颜色增强。
13、作为优化,将所述第一图像数据中的表盘刻度区域进行颜色处理具体为将所述第一图像数据中的表盘刻度区域和指针区域进行灰度化处理。
14、作为优化,对颜色处理后的所述第一图像数据的表盘刻度区域和指针区域进行坐标转换具体为:
15、将表盘刻度区域和指针区域的坐标转换为极坐标。
16、作为优化,识别出指针所指向的表盘刻度的具体方式为:
17、根据指针所指的所述表盘刻度的相对位置,结合识别到的所述表盘图像数据中的量程,即可得到指针所指向的表盘刻度。
18、作为优化,所述第一图像数据中表盘刻度区域和指针区域的文本数据通过pgnet网络识别得到。
19、本发明还公开了一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现前述的一种自适应表盘量程读数识别方法。
20、本发明与现有技术相比,具有如下的优点和有益效果:
21、1)本发明通过引入新deeplabv3+模型,通过在原始deeplabv3+模型的基础上进行改进,具体的,通过改进特征提取网络以及在解码过程中加入通道注意力机制来提高表盘指针和刻度区域的分割效果。
22、2)在表盘刻度指针分割效果提升的基础上,引进pgnet网络对表盘字符信息进行识别,与传统文本检测+文本识别的两阶段ocr算法相比,pgnet网络仅需一步直接识别任意形状文本,从而得到表盘量程,再通过距离法获取读数,最终达到一种自适应表盘量程读数识别结果。
1.一种自适应表盘量程读数识别方法,其特征在于,包括:
2.根据权利要求1所述的一种自适应表盘量程读数识别方法,其特征在于,所述新deeplabv3+模型包括mobilenetv2+网络和新assp模块,所述预处理后的表盘图像数据输入至mobilenetv2+网络中进行浅层特征提取第一浅层特征,所述第一浅层特征输入至所述新assp模块后再通过第一连接层进行拼接融合得到第一深层特征,同时,所述第一浅层特征通过第一卷积层进行1x1卷积得到第二浅层特征,所述第一深层特征通过第二卷积层进行1x1卷积和第一上采样层进行上采样得到第二深层特征,所述第二深层特征和第二浅层特征分别通过第二连接层进行拼接融合得到中间特征,所述中间特征依次通过第三卷积层进行3x3卷积以及第二上采样层进行上采样得到第一图像数据。
3.根据权利要求2所述的一种自适应表盘量程读数识别方法,其特征在于,所述mobilenetv2+网络的残差结构为倒残差结构,具体包括:
4.根据权利要求3所述的一种自适应表盘量程读数识别方法,其特征在于,所述新assp模块包括1x1的第一子卷积层、3x3的第二子卷积层、3x3的第三子卷积层、3x3的第四子卷积层、池化层和坐标注意力机制层,且所述第一连接层依次将所述第一子卷积层、第二子卷积层、第三子卷积层、第四子卷积层、池化层和坐标注意力机制层进行融合拼接。
5.根据权利要求4所述的一种自适应表盘量程读数识别方法,其特征在于,所述第二子卷积层的空洞率为6,所述第三子卷积层的空洞率为12,所述第四子卷积层的空洞率为18。
6.根据权利要求1所述的一种自适应表盘量程读数识别方法,其特征在于,对所述表盘图像数据预处理具体为对所述表盘图像数据进行亮度调节、对比度调节、锐度调节和颜色增强。
7.根据权利要求1所述的一种自适应表盘量程读数识别方法,其特征在于,将所述第一图像数据中的表盘刻度区域进行颜色处理具体为将所述第一图像数据中的表盘刻度区域和指针区域进行灰度化处理。
8.根据权利要求1所述的一种自适应表盘量程读数识别方法,其特征在于,对颜色处理后的所述第一图像数据的表盘刻度区域和指针区域进行坐标转换具体为:
9.根据权利要求1所述的一种自适应表盘量程读数识别方法,其特征在于,所述第一图像数据中表盘刻度区域和指针区域的文本数据通过pgnet网络识别得到。
10.一种存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的一种自适应表盘量程读数识别方法。