一种建立液晶显示屏视觉缺陷检测模型方法、缺陷检测方法

allin2025-06-05  85


本发明涉及一种建立液晶显示屏视觉缺陷检测模型方法、缺陷检测方法,属于工业产品视觉识别领域。


背景技术:

1、tft-lcd是目前最畅销的显示器产品之一,并在平板电视、计算机显示器、智能手机和平板电脑等电子产品中被广泛采用,附着在液晶层两侧的聚合物偏振片由于具有光路调节作用因此是tft-lcd面板的重要组成部分。然而,即使在无尘车间流水线上进行偏振板的生产,仍然无法避免由灰尘等产生的气泡、划痕等mura缺陷。这些缺陷具有局部亮度不均匀、对比度低、边缘模糊、尺寸不确定、背景不均匀等特点,由此降低了tft-lcd面板的质量,更加影响用户的感官体验。因此,在偏振集成到液晶面板之前,对其中的任何mura缺陷进行准确的检测和定位已经成为厂商保证显示器质量检测的关键问题。

2、有鉴于此,特提出本发明。


技术实现思路

1、本发明提供了一种建立液晶显示屏视觉缺陷检测模型方法,以用于构建用于液晶显示屏视觉缺陷检测模型,进一步地提供一种液晶显示屏视觉缺陷检测方法,以用于液晶显示屏缺陷检测,再进一步提供了一种液晶显示屏视觉缺陷检测分拣系统,为流水线上带缺陷检测的液晶显示屏分拣提供支撑。

2、本发明的技术方案是:

3、根据本发明的第一方面,提供了一种建立液晶显示屏视觉缺陷检测模型方法,依据依次连接的主干网络模块、颈部模块和解耦头模块建立;所述颈部模块增加改进的cbam模块、同时引入细粒度可分离卷积模块替换位于csplayer模块与concat模块之间的cbs模块;将液晶显示屏图像输入主干网络模块中提取各级特征;将各级特征输入颈部模块,获得三个颈部输出特征;将三颈部输出特征送入各解耦头模块进行预测,获得液晶显示屏图像中目标信息的位置、种类和置信度信息。

4、所述主干网络模块引入sppa模块替换传统主干网络模块中位于cbs模块与csplayer模块之间的spp模块;所述sppa模块结构由2个cbfr模块、adapavgpool和1个cbsg模块构成,2个cbfr模块为cbfr1与cbfr2;cbfr1与adapavgpool的输出进行相乘后与cbfr2的输出进行相加操作后输入至cbsg模块。

5、所述改进的cbam模块包括四个:acbam1模块、acbam2模块、acbam3模块、acbam4模块,acbam1模块用于接主干网络模块的第一输出,acbam2模块用于接主干网络模块的第二输出,acbam3模块用于接主干网络模块的第三输出,颈部模块中接acbam2模块输出的concat后接acbam4模块;acbam1模块、acbam2模块、acbam3模块、acbam4模块结构相同,以acbam1模块进行描述:将通道注意力和空间注意力分支采用并行连接方式获得第一颈部拼接特征一、第一颈部拼接特征二,将获得的第一颈部拼接特征一、第一颈部拼接特征二进行concat拼接操作,再经过一个卷积,得到第一颈部中间特征图。

6、所述将通道注意力和空间注意力分支采用并行连接方式获得第一颈部拼接特征一、第一颈部拼接特征二,具体为:通道注意力将输入特征图finput分别进行全局最大池化和全局平均池化,获得两个第一特征图;将获得的两个第一特征图分别依次经过一个1×1卷积、relu激活函数、一个1×1卷积操作后进行加和操作;加和操作的结果经过sigmoid函数激活操作,生成通道注意力图;将通道注意力图再与输入特征图finput进行相乘获得第一颈部拼接特征一;空间注意力将输入特征图finput分别进行全局最大池化和全局平均池化,获得两个第二特征图;将获得的两个第二特征图在通道维度上进行concat拼接操作,concat拼接操作后经一个7×7卷积操作、sigmoid函数激活操作,生成空间注意力图;将空间注意力图再与输入特征图finput进行相乘获得第一颈部拼接特征二。

7、所述细粒度可分离卷积模块包括两个:fgscm1模块、fgscm2模块,将csplayer模块的输出作为细粒度可分离卷积模块的输入,细粒度可分离卷积模块的输出作为concat模块的输入;fgscm1模块、fgscm2模块结构相同,以fgscm1模块进行说明:将cbs模块分解为深度卷积和逐点卷积;其中,深度可分离卷积的卷积核大小为2×2步长为2,逐点卷积使用一个尺寸为1×1一维卷积核对中间特征图的每个通道进行卷积处理,将不同通道的信息进行线性组合后生成最终的输出特征图。

8、根据本发明的第二方面,提供了一种液晶显示屏视觉缺陷检测方法,包括:获取未供电状态下液晶显示屏图像;调用液晶显示屏视觉缺陷模型对未供电状态下液晶显示屏图像进行检测,获得第一检测结果;获取供电状态下液晶显示屏图像;调用液晶显示屏视觉缺陷模型对供电状态下液晶显示屏图像进行检测,获得第二检测结果;在第一检测结果和/或第二检测结果被识别为存在缺陷时,则认为存在缺陷。

9、根据本发明的第三方面,提供了一种液晶显示屏视觉缺陷检测分拣系统,包括:第一缺陷检测模块1,用于获取未供电状态下液晶显示屏图像;用于调用液晶显示屏视觉缺陷模型对未供电状态下液晶显示屏图像进行检测,获得第一检测结果;第二缺陷检测模块3,用于获取供电状态下液晶显示屏图像;调用液晶显示屏视觉缺陷模型对供电状态下液晶显示屏图像进行检测,获得第二检测结果;自动分拣模块4,用于在第一检测结果和/或第二检测结果被识别为存在缺陷时,将存在缺陷的液晶显示屏输送至第一传送组件,否则将液晶显示屏送至第二传送组件。

10、本发明的有益效果是:本发明基于液晶显示屏缺陷检测构建了液晶显示屏视觉缺陷检测模型,该液晶显示屏视觉缺陷检测模型在主干网络模块嵌入新构建的sppa模块,以便网络能够更加专注于mura缺陷中的显著目标区域,能提高网络对小尺寸缺陷目标的检测能力,并减少因目标尺寸较小而导致的漏检或误检情况;通过在neck部分嵌入了acbam和fgscm两个模块,能够更加有效提取特征图中的上下文信息,缓解mura缺陷存在区域内像素亮度异常、颜色畸变和纹理不连续等问题。进一步地,通过对比实验可知,本发明不仅能有效提高液晶显示屏mura缺陷检测的准确率,而且还提升了显示屏分拣的效率。进一步地,液晶显示屏视觉缺陷检测分拣系统中,通过第一缺陷检测模块实现了对显示屏的表面缺陷实现未供电状态下检测;通过第二缺陷检测模块实现了对液晶显示屏的有信号下的缺陷检测,进一步基于检测结果配合自动分拣模块实现了自动化的对显示屏的分拣,质量合格的显示屏会被分拣到运输模块下层,质量不合格的显示屏则会被自动分拣模块输送到传送模块的上层,在工厂生产线上,降低了人工的需求和成本,也避免了人工检测的主观性和疲劳度问题从而导致漏检或误检的情况发生。



技术特征:

1.一种建立液晶显示屏视觉缺陷检测模型方法,其特征在于,依据依次连接的主干网络模块、颈部模块和解耦头模块建立;所述颈部模块增加改进的cbam模块、同时引入细粒度可分离卷积模块替换位于csplayer模块与concat模块之间的cbs模块;将液晶显示屏图像输入主干网络模块中提取各级特征;将各级特征输入颈部模块,获得三个颈部输出特征;将三颈部输出特征送入各解耦头模块进行预测,获得液晶显示屏图像中目标信息的位置、种类和置信度信息。

2.根据权利要求1所述的建立液晶显示屏视觉缺陷检测模型方法,其特征在于,所述主干网络模块引入sppa模块替换传统主干网络模块中位于cbs模块与csplayer模块之间的spp模块;所述sppa模块结构由2个cbfr模块、adapavgpool和1个cbsg模块构成,2个cbfr模块为cbfr1与cbfr2;cbfr1与adapavgpool的输出进行相乘后与cbfr2的输出进行相加操作后输入至cbsg模块。

3.根据权利要求1所述的建立液晶显示屏视觉缺陷检测模型方法,其特征在于,所述改进的cbam模块包括四个:acbam1模块、acbam2模块、acbam3模块、acbam4模块,acbam1模块用于接主干网络模块的第一输出,acbam2模块用于接主干网络模块的第二输出,acbam3模块用于接主干网络模块的第三输出,颈部模块中接acbam2模块输出的concat后接acbam4模块;acbam1模块、acbam2模块、acbam3模块、acbam4模块结构相同,以acbam1模块进行描述:将通道注意力和空间注意力分支采用并行连接方式获得第一颈部拼接特征一、第一颈部拼接特征二,将获得的第一颈部拼接特征一、第一颈部拼接特征二进行concat拼接操作,再经过一个卷积,得到第一颈部中间特征图。

4.根据权利要求3所述的建立液晶显示屏视觉缺陷检测模型方法,其特征在于,所述将通道注意力和空间注意力分支采用并行连接方式获得第一颈部拼接特征一、第一颈部拼接特征二,具体为:通道注意力将输入特征图finput分别进行全局最大池化和全局平均池化,获得两个第一特征图;将获得的两个第一特征图分别依次经过一个1×1卷积、relu激活函数、一个1×1卷积操作后进行加和操作;加和操作的结果经过sigmoid函数激活操作,生成通道注意力图;将通道注意力图再与输入特征图finput进行相乘获得第一颈部拼接特征一;空间注意力将输入特征图finput分别进行全局最大池化和全局平均池化,获得两个第二特征图;将获得的两个第二特征图在通道维度上进行concat拼接操作,concat拼接操作后经一个7×7卷积操作、sigmoid函数激活操作,生成空间注意力图;将空间注意力图再与输入特征图finput进行相乘获得第一颈部拼接特征二。

5.根据权利要求1所述的建立液晶显示屏视觉缺陷检测模型方法,其特征在于,所述细粒度可分离卷积模块包括两个:fgscm1模块、fgscm2模块,将csplayer模块的输出作为细粒度可分离卷积模块的输入,细粒度可分离卷积模块的输出作为concat模块的输入;fgscm1模块、fgscm2模块结构相同,以fgscm1模块进行说明:将cbs模块分解为深度卷积和逐点卷积;其中,深度可分离卷积的卷积核大小为2×2步长为2,逐点卷积使用一个尺寸为1×1一维卷积核对中间特征图的每个通道进行卷积处理,将不同通道的信息进行线性组合后生成最终的输出特征图。

6.一种液晶显示屏视觉缺陷检测方法,其特征在于,包括:

7.一种液晶显示屏视觉缺陷检测分拣系统,其特征在于,包括:


技术总结
本发明公开了一种建立液晶显示屏视觉缺陷检测模型方法,依据依次连接的主干网络模块、颈部模块和解耦头模块建立;所述颈部模块增加改进的CBAM模块、同时引入细粒度可分离卷积模块替换位于CSPLayer模块与Concat模块之间的CBS模块;将液晶显示屏图像输入主干网络模块中提取各级特征;将各级特征输入颈部模块,获得三个颈部输出特征;将三颈部输出特征送入各解耦头模块进行预测,获得液晶显示屏图像中目标信息的位置、种类和置信度信息。本发明不仅能有效提高液晶显示屏Mura缺陷检测的准确率,而且还提升了显示屏分拣的效率。

技术研发人员:王森,李泽峰,范明宇,陈明方,孔祥飞,朱黎颖,丁锋
受保护的技术使用者:昆明理工大学
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-21828.html

最新回复(0)