本发明涉及电力行业图像识别,具体地,涉及一种电力设备铭牌文本检测方法及装置。
背景技术:
1、近年来电力系统规模日益扩大,电力设备种类越来越多,对电网数据的管理日趋重要,其中电力设备铭牌信息是电力数据的重要组成部分,电力设备铭牌信息包括电力设备的名称、额定容量、额定电压、额定频率等重要数据,通过这些数据,来区分不同的电力设备,从而进行精准管理、维护和维修。
2、目前,大多数电力设备铭牌信息是手动记录,耗时较长,且设备繁多,巡检人员很难保证高准确率,因此人工巡检会存在效率低和差错率高等问题,在使用这些电力设备时,人们对电力设备信息的错误判断可能会导致电路故障或功率消耗过大,出现火灾等伤害,威胁到工人的人身安全和工厂的财产安全。随着人工智能技术和图像分割技术的快速发展,基于分割的文本检测方法取得了一定程度的进步,降低了对多方向复杂背景文本的检测难度,但后处理过程比较复杂,降低了文本检测模型的速度,且大多数文本检测算法适用于自然场景,没有专门检测电力设备铭牌的算法。
技术实现思路
1、针对现有技术中的缺陷,本发明的目的在于提供一种电力设备铭牌文本检测方法及装置,解决了电力设备铭牌密集文本检测问题,弥补了电力设备铭牌文本检测研究的空缺,在电网发展中具有实际意义。
2、为解决上述问题,本发明的技术方案为:
3、一种电力设备铭牌文本检测方法,包括以下步骤:
4、对电力设备铭牌图片进行收集、标注和预处理,构建电力设备铭牌数据集并区分训练数据集与测试数据集;
5、构建特征提取网络,同时在inception模块中集成注意力机制,以减少冗余信息干扰,提高多尺度特征提取的准确性;
6、引入特征注意力融合模块,将浅层与深层特征相融合;
7、采用db算法,对融合后的特征进行分类,避免文本间的错误分割,获取最终的文本检测框;
8、使用电力设备铭牌测试数据集测试模型性能。
9、优选地,所述对电力设备铭牌图片进行收集、标注和预处理,构建电力设备铭牌数据集并区分训练数据集与测试数据集的步骤,具体包括:
10、s11:以公共场景数据集icdar2017的7514张图片作为模型的预训练数据集;
11、s12:选取icdar2015数据集、mtwi2018数据集、自制电力设备铭牌数据集作为模型的训练数据集;
12、s13:icdar2015、mtwi2018数据集按官方的训练集、测试集比例划分,自制的电力设备铭牌数据集的训练集图片为1000张,测试集为500张。
13、优选地,所述步骤s13具体包括:
14、s131:电力设备铭牌数据集由两部分构成,一部分为从网络爬取的电力设备铭牌图片,另一部分为icdar2017数据集中金属材质背景的广告牌、交通标志牌;
15、s132:电力设备铭牌图片中的文本长短不一,既有弯曲文本也有水平文本,采用labelme进行标签标注,标注完成后生成.json格式文件,用于后续训练;
16、s133:由于模型仅识别.txt文件,通过python代码将json文件格式进行转换;
17、s134:电力设备铭牌图片的数量有限,通过给图片添加随机噪声、椒盐噪声扩充数据集数量。
18、优选地,所述构建特征提取网络,同时在inception模块中集成注意力机制,以减少冗余信息干扰,提高多尺度特征提取的准确性的步骤,具体包括:
19、s21:利用inception模块通过并行使用不同大小的卷积核来提取不同尺度的特征;
20、s22:在inception模块之间引入残差连接,有助于解决深度神经网络中的梯度消失问题,加速训练过程;
21、s23:使用一个深度卷积来处理输入,然后使用一个1x1的点卷积来组合输出;
22、s24:利用se注意力机制实现squeeze和excitation操作,将生成的权重应用于原始特征图,以增强重要特征并抑制不相关特征。
23、优选地,所述步骤s21具体包括以下步骤:
24、s211:将数据集的图片经过预处理后调整为640x640的大小输入到网络模型中,通过特征提取模块提取出图像的多尺度特征,浅层提取文本的位置信息,深层提取文本;
25、s212:图片特征经过加入se注意力机制的inception模块,自适应关注图像特征,减少冗余信息影响,在不丢失特征的情况下减少了卷积核的数量;
26、s213:根据residual模块可以避免模型训练时梯度消失的问题,且当模型达到饱和时,可以使网络更快的收敛。
27、优选地,所述步骤s24具体包括以下步骤:
28、s241:根据squeeze操作对特征图进行全局平均池化,将每个通道的空间维度压缩为一个标量值;
29、s242:根据excitation操作通过全连接层和激活函数来建模通道间的依赖关系,并为每个通道生成一个权重。
30、优选地,所述引入特征注意力融合模块,将浅层与深层特征相融合的步骤,具体包括:
31、s31:在特征融合阶段,将前面网络提取的深层特征与浅层特征经过fam融合注意力模块;
32、s32:深层特征与浅层特征先经过自适应卷积核的1维卷积后与原始特征相乘,再输入到空间注意力模块中经过最大池化和平均池化,得到两个[1,h,w]的权重向量;
33、s33:将得到的两张特征图进行堆叠,再经过一个卷积层,得到空间权重[1,h,w]与原特征图再次相乘。
34、优选地,所述采用db算法,对融合后的特征进行分类,避免文本间的错误分割,获取最终的文本检测框的步骤,具体包括:采用db算法,对融合后的特征进行分类,经过特征提取网络和特征融合网络生成特征层f,特征层f通过预测得到概率图和阈值图,再经过db操作使网络进行可微计算,从而得到最终的文本检测框。
35、优选地,所述采用db算法,对融合后的特征进行分类,避免文本间的错误分割,获取最终的文本检测框的步骤,具体包括:
36、s41:将提取的特征层f输入到db网络中,特征层f通过预测得到概率图p和阈值图t;
37、s42:db网络采用自适应阈值方法,每一个像素点通过卷积网络学习后设定不同的阈值,其公式为:其中,p为概率图,t为阈值图,b为近似二值图,(i,j)为像素点的位置,k设置为50;
38、s43:计算概率图、阈值图、近似二值图的损失函数:
39、l=lp+α×lb+β×lt,其中,α设置为1,β设置为10,lp、lb、lt分别表示概率图、近似二值图、阈值图,概率图和近似二值图用dice损失和交叉熵损失混合监督训练,阈值图用l1损失训练;
40、s44:进一步解释概率图损失,ldice为dice loss,lce为交叉熵损失,
41、lp=ldice+lce
42、dice loss损失为:
43、
44、gi,x,y为标签的真实结果,si,x,y为预测的mask结果;
45、阈值图损失如下:yi*为阈值图在i点的标签值,xi*为i位置的预测值,rd为预测文本框中像素点的个数,
46、
47、s45:根据自适应阈值生成的阈值图和概率图,计算出最终文本区域,得到文本检测框。
48、进一步地,本发明还提供一种电力设备铭牌文本检测装置,包括处理器以及用于存储所述处理器的可执行指令的存储器,所述处理器配置为经由执行所述可执行指令来执行如上所述的电力设备铭牌文本检测方法。
49、与现有技术相比,本发明具有以下的有益效果:与现有技术相比,本发明具有以下优点:
50、1、本发明方法设计一个基于注意力机制的特征融合模块,特征融合模块通过关注图像的内容以及位置引导模型关注文本特征,为后处理过程提供保证,准确判断出长密集文本;
51、2、本发明方法采用基于db算法的网络架构,利用db算法中的后处理模块实现文本与复杂电力背景的分割和长密集文本的检测,从而提高文本检测的精度;
52、3、提出一种电力设备铭牌文本检测网络dbir-sea,使用inception-resnetv2作为主干网络进行文本检测,该网络首次引入文本检测领域,采用不同大小卷积核提取不同尺度特征,浅层提取文本的纹理(获取文本位置),深层提取语义信息(文本检测),有效辨别出文本与其他干扰物的区别,提高检测精度。
1.一种电力设备铭牌文本检测方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的电力设备铭牌文本检测方法,其特征在于,所述对电力设备铭牌图片进行收集、标注和预处理,构建电力设备铭牌数据集并区分训练数据集与测试数据集的步骤,具体包括:
3.根据权利要求2所述的电力设备铭牌文本检测方法,其特征在于,所述步骤s13具体包括:
4.根据权利要求1所述的电力设备铭牌文本检测方法,其特征在于,所述构建特征提取网络,同时在inception模块中集成注意力机制,以减少冗余信息干扰,提高多尺度特征提取的准确性的步骤,具体包括:
5.根据权利要求4所述的电力设备铭牌文本检测方法,其特征在于,所述步骤s21具体包括以下步骤:
6.根据权利要求4所述的电力设备铭牌文本检测方法,其特征在于,所述步骤s24具体包括以下步骤:
7.根据权利要求1所述的电力设备铭牌文本检测方法,其特征在于,所述引入特征注意力融合模块,将浅层与深层特征相融合的步骤,具体包括:
8.根据权利要求1所述的电力设备铭牌文本检测方法,其特征在于,所述采用db算法,对融合后的特征进行分类,避免文本间的错误分割,获取最终的文本检测框的步骤,具体包括:采用db算法,对融合后的特征进行分类,经过特征提取网络和特征融合网络生成特征层f,特征层f通过预测得到概率图和阈值图,再经过db操作使网络进行可微计算,从而得到最终的文本检测框。
9.根据权利要求8所述的电力设备铭牌文本检测方法,其特征在于,所述采用db算法,对融合后的特征进行分类,避免文本间的错误分割,获取最终的文本检测框的步骤,具体包括:
10.一种电力设备铭牌文本检测装置,其特征在于,所述装置包括处理器以及用于存储所述处理器的可执行指令的存储器,所述处理器配置为经由执行所述可执行指令来执行如权利要求1至9中任意一项所述的电力设备铭牌文本检测方法。
