本技术涉及计算机,特别涉及一种基于非结构化数据处理的智慧园区安防方法及装置。
背景技术:
1、在现代制造业中,生产效率和质量控制是企业竞争力的关键。随着工业4.0的兴起,智能制造系统在提高生产自动化和优化资源配置方面发挥着重要作用。特别是在高产量和复杂工艺的生产线上,实时监控和预警机制对于预防生产故障、减少停机时间和提高产品质量至关重要。
2、现有技术中,多数制造企业在产业园区中依赖传统的资源规划系统来管理其生产流程。空间大、体量大、管理资源分散,这些系统在处理订单管理、库存跟踪和供应链协调等任务上勉强能胜任。然而,它们在作为智慧园区管理园区、整合和分析生产过程中产生的非结构化数据方面存在明显局限。这些数据,包括机器状态、生产参数和环境条件等,通常显示在各自设备上,分散在园区内,且以多种格式和结构存在,使得园区系统难以有效整合和深入分析这些信息。这种局限性导致系统无法及时识别和响应生产过程中的潜在问题,进而影响生产效率并增加制造成本。
技术实现思路
1、本技术实施例提供了一种基于非结构化数据处理的智慧园区安防方法及装置。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
2、第一方面,本技术实施例提供了一种基于非结构化数据处理的智慧园区安防方法,应用于服务端,方法包括:
3、收集并预处理目标园区中多个数据源反馈的非结构化数据,得到目标园区的结构化数据,多个数据源包括设备传感器以及供应链系统,结构化数据是基于预先训练的相关性分析模型所挖掘的目标设备状态信息与目标生产信息之间的关联关系生成的,目标设备状态信息是通过对设备传感器反馈的非结构化数据处理得到的,目标生产信息是通过对供应链系统反馈的非结构化数据处理得到的,预先训练的相关性分析模型是基于神经网络训练的用于挖掘目标设备状态信息与目标生产信息之间的关联关系的数学模型;
4、对结构化数据进行判定,以确定目标园区在生产过程中存在的痛点信息,痛点信息用于表征目标园区出现的风险点;
5、在目标园区出现的风险点的数量大于预设阈值的情况下,生成目标园区的预警信息,发送预警信息至用于预警的客户端。
6、可选的,收集并预处理目标园区中多个数据源反馈的非结构化数据,得到目标园区的结构化数据,包括:
7、实时接收设备传感器反馈的非结构化数据以及供应链系统反馈的非结构化数据;
8、剔除设备传感器反馈的非结构化数据与供应链系统反馈的非结构化数据中的无效或错误的数据记录,得到初始设备状态信息与初始生产信息;
9、优化初始设备状态信息与初始生产信息中重复的数据条目,得到目标设备状态信息与目标生产信息;
10、将目标设备状态信息与目标生产信息输入预先训练的相关性分析模型中,输出该信息对应的目标设备状态信息与目标生产信息之间的关联关系;其中,关联关系包括设备状态关键特征的特征标识与生产关键特征的特征标识之间的映射关系;
11、基于映射关系,对目标设备状态信息与目标生产信息进行标准化处理,得到目标园区的结构化数据。
12、可选的,基于映射关系,对目标设备状态信息与目标生产信息进行标准化处理,得到目标园区的结构化数据,包括:
13、将目标设备状态信息与目标生产信息输入预先建立的滑动窗口中,以提取目标设备状态信息与目标生产信息内的关键特征,得到设备状态关键特征与生产关键特征,预先建立的滑动窗口包含了预定义的关键特征标识;
14、对设备状态关键特征与生产关键特征进行box-cox变换,得到最终的设备状态关键特征与最终的生产关键特征;
15、通过映射关系,将最终的设备状态关键特征与最终的生产关键特征进行映射,得到映射特征序列;
16、对映射特征序列进行标准化处理,以消除不同量纲的影响,得到最终的映射特征序列;
17、将最终的映射特征序列作为目标园区的结构化数据;其中,
18、box-cox变换的变换公式为:
19、其中,
20、为变换的最终的设备状态关键特征或者最终的生产关键特征,是的变换参数,该参数为设备状态关键特征或者生产关键特征,是一个正数以避免对数为负。
21、可选的,通过映射关系,将最终的设备状态关键特征与最终的生产关键特征进行映射,得到映射特征序列,包括:
22、遍历获取最终的设备状态关键特征中第一关键特征;
23、确定第一关键特征的第一特征标识;
24、从映射关系中,获取第一特征标识对应的生产关键特征的第二特征标识;
25、从最终的生产关键特征中,获取生产关键特征的第二特征标识对应的第二关键特征;
26、将第二关键特征与第一关键特征进行绑定,得到映射特征;
27、继续执行遍历获取最终的设备状态关键特征中第一关键特征的步骤,直到最终的设备状态关键特征全部遍历结束,得到映射特征序列。
28、可选的,按照以下步骤生成预先训练的相关性分析模型,包括:
29、收集设备传感器以及供应链系统的第一非结构化数据和第二非结构化数据;
30、从第一非结构化数据中提取第一设备状态信息,以及从第二非结构化数据中提取第一生产信息;
31、分别对第一设备状态信息和第一生产信息进行特征转换,得到第一设备状态特征序列以及第二生产特征序列;
32、针对第一设备状态特征序列以及第二生产特征序列标注设备状态关键特征的第一特征标识以及生产关键特征的第二特征标识;
33、构建第一特征标识与第二特征标识之间的第一映射关系;
34、将第一设备状态信息、第一生产信息以及第一映射关系进行数据绑定,得到训练数据;
35、基于训练数据,生成预先训练的相关性分析模型。
36、可选的,基于训练数据,生成预先训练的相关性分析模型,包括:
37、采用神经网络创建原始模型;
38、创建用于分析设备状态关键特征的特征标识与生产关键特征的特征标识之间的映射关系的目标损失函数;
39、将原始模型中的原始损失函数替换为目标损失函数,得到相关性分析模型;
40、将训练数据输入相关性分析模型中,输出模型损失值;
41、基于模型损失值,生成预先训练的相关性分析模型。
42、可选的,基于模型损失值,生成预先训练的相关性分析模型,包括:
43、在模型损失值到达最小的情况下,生成预先训练的相关性分析模型;
44、或者,在模型损失值未到达最小的情况下,将模型损失值反向传播,以更新相关性分析模型的模型参数,并继续执行将训练数据输入相关性分析模型中的步骤;
45、目标损失函数为:
46、
47、其中,为损失值,是训练数据的样本总数,为模型的预测函数,为训练数据集中第个样本的第一设备状态特征向量,为权重矩阵,该权重矩阵用于学习第一设备状态特征与第二生产特征之间的映射关系,为偏置项,该偏置项为模型提供了在特征空间中沿每个维度的平移自由度,是与对应的第二生产特征向量,为正则化系数,为权重矩阵的l2范数,l2范数用于惩罚过大的权重值,为偏置项的绝对值,是映射关系中特征标识对的数量,是一个权重参数,用于平衡映射概率的惩罚项,为第对特征标识映射概率,是第对特征标识映射概率的对数,用于鼓励模型学习到高概率的映射关系。
48、可选的,结构化数据包括设备状态关键特征与生产关键特征之间最终的映射特征序列;
49、对结构化数据进行判定,以确定目标园区在生产过程中存在的痛点信息,包括:
50、获取预先建立的痛点信息库,痛点信息库存储了映射特征与痛点信息之间的键值对序列,每个键值对包括键和值,键为映射特征,值为痛点信息;
51、将最终的映射特征序列中每个映射特征与每个键值对的键进行匹配,得到每个映射特征的匹配结果;
52、基于每个映射特征的匹配结果,确定匹配到键的目标映射特征;
53、获取每个目标映射特征匹配的键对应的值,得到每个目标映射特征的痛点信息;
54、将每个目标映射特征的痛点信息作为目标园区在生产过程中存在的痛点信息。
55、可选的,生成目标园区的预警信息,包括:
56、提取目标园区在生产过程中存在的痛点信息中的关键参数;
57、将关键参数输入预设预警模板中,生成目标园区的预警信息。
58、第二方面,本技术实施例提供了一种基于非结构化数据处理的智慧园区安防装置,装置包括:
59、非结构化数据处理模块,用于收集并预处理目标园区中多个数据源反馈的非结构化数据,得到目标园区的结构化数据,多个数据源包括设备传感器以及供应链系统,结构化数据是基于预先训练的相关性分析模型所挖掘的目标设备状态信息与目标生产信息之间的关联关系生成的,目标设备状态信息是通过对设备传感器反馈的非结构化数据处理得到的,目标生产信息是通过对供应链系统反馈的非结构化数据处理得到的,预先训练的相关性分析模型是基于神经网络训练的用于挖掘目标设备状态信息与目标生产信息之间的关联关系的数学模型;
60、痛点信息确定模块,用于对结构化数据进行判定,以确定目标园区在生产过程中存在的痛点信息,痛点信息用于表征目标园区出现的风险点;
61、预警模块,用于在目标园区出现的风险点的数量大于预设阈值的情况下,生成目标园区的预警信息,发送预警信息至用于预警的客户端。
62、本技术实施例提供的技术方案可以包括以下有益效果:
63、在本技术实施例中,一方面,利用预先训练的相关性分析模型能够分析多个数据源中提取出目标设备状态信息和目标生产信息之间的关联关系,该关系揭示了设备状态对生产过程的具体影响,因此基于该关联关系能够将非结构化数据转换为富含洞察力的结构化数据,该过程可有效整合和深入分析非结构化数据,使得系统可基于结构化数据及时识别和响应生产过程中的潜在问题,进而提升生产效率;另一方面,当识别出的风险点数量超过预设阈值时,通过及时预警的方式可以防止潜在的风险点演变成更大的生产问题,这种预防性的方法不仅减少了紧急维修和生产中断的频率,也降低了因生产质量问题导致的浪费,从而有效降低了制造成本。
64、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
1.一种基于非结构化数据处理的智慧园区安防方法,其特征在于,应用于服务端,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述收集并预处理目标园区中多个数据源反馈的非结构化数据,得到所述目标园区的结构化数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述映射关系,对所述目标设备状态信息与目标生产信息进行标准化处理,得到所述目标园区的结构化数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述通过所述映射关系,将所述最终的设备状态关键特征与所述最终的生产关键特征进行映射,得到映射特征序列,包括:
5.根据权利要求2所述的方法,按照以下步骤生成预先训练的相关性分析模型,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述训练数据,生成预先训练的相关性分析模型,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述模型损失值,生成预先训练的相关性分析模型,包括:
8.根据权利要求1所述的方法,其特征在于,所述结构化数据包括设备状态关键特征与生产关键特征之间最终的映射特征序列;
9.根据权利要求1所述的方法,其特征在于,所述生成所述目标园区的预警信息,包括:
10.一种基于非结构化数据处理的智慧园区安防装置,其特征在于,所述装置包括:
