1.本发明属于回路状态巡检仪与采集主站技术领域，涉及一种数据采集主站系统，尤其是一种用于专变用户回路状态巡检仪的数据采集主站系统。
背景技术：2.回路状态巡检仪在传统巡检仪的基础上进行改造，可以实现专变用户负荷辨识数据的高频采集，并上报给采集主站系统。回路状态巡检仪在传统巡检仪的基础上进行改造，集成mqtt模块，并实现基于mqtt协议的数据传输。因此，为实现回路状态巡检仪的数据采集，需要对原来的采集通信方案进行改造。
3.当前用电采集信息系统由于采用传统单体式的架构体系，操作便捷体验不佳，计算能力不足，业务需求响应差，无法支撑专变用户高速增长的海量数据实时入库要求，不能为满足专变用户采集数据的要求等问题，亟待深度分析现有采集系统不足，对现有用电信息采集系统进行升级改造，实现专变用户用电信息采集系统整体架构、应用性能、数据处理效率提升。
4.当前用于专变用户的回路状态巡检仪的数据整体结构采用mqtt+698(面向对象协议)模式，不通过任何采集设备，可直接与主站系统进行通讯，且网络协议、通讯方式均发生改变，因此需要对原有的采集主站系统进行改造，才能实现新型回路状态巡检仪对专变用户数据的采集。
5.经检索，未发现与本发明相同或相似的现有技术的文献。
技术实现要素：6.本发明的目的在于克服现有技术的不足，提出一种用于专变用户的回路状态巡检仪的数据采集主站系统，通过对原有采集主站系统进行改造，并新增server端mqtt broker程序，实现基于mqtt网络协议与回路状态巡检仪数据的双向传输，进而实现专变用户数据的采集、解析与入库。
7.本发明解决其现实问题是采取以下技术方案实现的：
8.一种用于专变用户的回路状态巡检仪数据采集主站系统，包括：采集档案管理模块、任务调度模块、采集前置模块、mqtt broker模块、回路状态巡检仪模块和数据入库模块；
9.所述采集档案管理模块，用于存储专变用户采集档案，其输出端与任务调度模块相连接，用于将专变用户采集档案信息发送至任务调度模块；其输入端与数据入库模块相连接，用于接收并校验数据入库模块发送的采集结果数据，并存储为专变用户采集档案；所述任务调度模块，用于采集任务生成、调度及发送，其输出端与采集前置模块相连接，用于基于采集档案管理模块发送的专变用户采集档案信息生成采集任务，将调度完成的采集任务的采集任务串发送至采集前置模块；所述采集前置模块用于组装、发送采集任务698报文并接收转发采集结果数据，其输出端与数据入库模块相连接，用于将接收到的采集结果数
据转发至数据入库模块进行入库；该采集前置模块还与mqtt broker模块相连接，用于将采集任务698报文发送给mqtt broker模块，并接收mqtt broker模块发送的采集结果数据；所述mqtt broker模块还与回路状态巡检仪模块，用于采集专变用户用电信息，并返回采集数据结果。
10.而且，所述采集档案管理模块包括采集档案校验模块和采集档案存储模块；所述采集档案校验模块，用于校验数据入库模块发送的采集结果数据正确性，其输出端与采集档案存储模块相连接，用于将通过校验的专变用户采集档案发送至采集档案存储模块进行存储。
11.而且，所述任务调度模块包括采集任务生成模块和采集任务调度模块；采集任务生成模块，用于生成专变用户用电信息采集任务，其输出端与采集任务调度模块相连接，用于调度并发送采集任务至采集前置模块。
12.而且，所述数据入库模块，包括数据解析模块和入库模块，用于将采集前置模块收到的采集数据结果进行解析并入库至采集档案管理模块进行存储；所述数据解析模块用于将所述采集前置模块发送至数据入库模块的的采集数据结果，从698报文格式解析为标准数据格式；其输出端与入库模块相连接，该入库模块用于将完成解析的采集数据结果入库并生成数据入库队列，由采集档案校验模块校验完成后，存储至采集档案存储模块的采集系统实时库。
13.本发明的优点和有益效果：
14.1、本发明提出了一种用于专变用户的回路状态巡检仪数据采集主站系统，对原有采集主站系统进行改造，并新增server端mqtt broker程序，实现了基于mqtt网络协议与用于专变用户的回路状态巡检仪数据的双向传输，进而实现专变用户数据的采集、解析与入库。本发明通过档案同步、任务生成、任务调度发送、报文组装、报文下发(主站—》巡检仪)、报文上传(巡检仪—》主站)、报文解析、报文入库等多个环节，实现基于回路状态巡检仪专变用户数据的高频采集、解析、高速入库。
15.2、本发明能够实现专变用户的回路状态巡检仪数据高频采集。基于“大云物移智”等新技术，建设一套“安全可控、柔性扩展”的用于专变用户的回路状态巡检仪数据采集主站系统，以满足专变用户的数据采集需求。增加mqtt broker中转模块，实现采集主站系统与回路状态巡检仪解耦连接，基于mqtt网络协议，以封装的698报文格式实现采集任务及采集结果数据的快速传输，实现专变用户的回路状态巡检仪数据高频采集。
16.3、本发明能够实现数据入库高速入库。数据入库模块开发数据入库多元化处理、数据批量写入、定向写入功能，为不同数据入库定制个性化入库策略，并实现数据批量入库、定向写入，大幅提高数据入库速度。
附图说明
17.图1为本发明的基于回路状态巡检仪的专变用户负荷辨识数据的采集系统示意图。
具体实施方式
18.以下结合附图对本发明实施例作进一步详述：
19.一种用于专变用户的回路状态巡检仪数据采集主站系统，如图1所示，包括：采集档案管理模块、任务调度模块、采集前置模块、mqtt broker模块、回路状态巡检仪模块和数据入库等模块；
20.本系统可通过档案同步、任务生成、任务调度发送、报文组装、报文下发(主站—》巡检仪)、报文上传(巡检仪—》主站)、报文解析、报文入库等多个环节，实现基于回路状态巡检仪专变用户数据的高频采集、解析、高速入库。
21.所述采集档案管理模块，用于存储专变用户采集档案，其输出端与任务调度模块相连接，用于将专变用户采集档案信息发送至任务调度模块；其输入端与数据入库模块相连接，用于接收并校验数据入库模块发送的采集结果数据，并存储为专变用户采集档案；所述任务调度模块，用于采集任务生成、调度及发送，其输出端与采集前置模块相连接，用于基于采集档案管理模块发送的专变用户采集档案信息生成采集任务，将调度完成的采集任务的采集任务串发送至采集前置模块；所述采集前置模块用于组装、发送采集任务698报文并接收转发采集结果数据，其输出端与数据入库模块相连接，用于将接收到的采集结果数据转发至数据入库模块进行入库；该采集前置模块还与mqtt broker模块相连接，用于将采集任务698报文发送给mqtt broker模块，并接收mqtt broker模块发送的采集结果数据；所述mqtt broker模块还与回路状态巡检仪模块，用于采集专变用户用电信息，并返回采集数据结果。
22.在本实施例中，所述采集档案管理模块包括采集档案校验模块和采集档案存储模块；所述采集档案校验模块，用于校验数据入库模块发送的采集结果数据正确性，其输出端与采集档案存储模块相连接，用于将通过校验的专变用户采集档案发送至采集档案存储模块进行存储。
23.在本实施例中，所述任务调度模块包括采集任务生成模块和采集任务调度模块；采集任务生成模块，用于生成专变用户用电信息采集任务，其输出端与采集任务调度模块相连接，用于调度并发送采集任务至采集前置模块。
24.在本实施例中，所述数据入库模块，包括数据解析模块和入库模块，用于将采集前置模块收到的采集数据结果进行解析并入库至采集档案管理模块进行存储；所述数据解析模块用于将所述采集前置模块发送至数据入库模块的的采集数据结果，从698报文格式解析为标准数据格式；其输出端与入库模块相连接，该入库模块用于将完成解析的采集数据结果入库并生成数据入库队列，由采集档案校验模块校验完成后，存储至采集档案存储模块的采集系统实时库。
25.下面对系统内各模块的功能和作用作进一步说明：
26.采集档案管理模块，用于存储专变用户采集档案，包括采集档案校验、采集档案存储两个子模块；该采集档案管理模块输出端与任务调度模块相连接，用于将专变用户采集档案信息发送至任务调度模块。该采集档案管理模块输入端与数据入库模块相连接，用于接收并校验数据入库模块发送的采集结果数据，并存储为专变用户采集档案。
27.其中，采集档案校验模块，用于校验专变用户采集档案正确性及逻辑性，如非空、关键字段值、逻辑准确性等；该采集档案校验模块输入端与数据入库模块相连接，用于校验数据入库模块发送的采集结果数据正确性；该采集档案校验模块输出端与采集档案存储模块相连接，用于将通过校验的专变用户采集档案发送至采集档案存储模块进行存储。
28.采集档案存储模块，用于存储专变用户采集档案信息；该采集档案存储模块输入端与采集档案校验模块相连接，用于存储通过采集档案校验模块校验的专变用户采集档案信息。该采集档案存储模块输出端与任务调度模块相连接，用于将对应的专变用户采集档案发送至任务调度模块。
29.任务调度模块，用于采集任务生成、调度及发送，包括采集任务生成及采集任务调度两个子模块；该任务调度模块输入端与采集档案管理模块相连接，用于基于采集档案管理模块发送的专变用户采集档案信息生成采集任务；该任务调度模块输出端与采集前置模块相连接，用于将调度完成的采集任务的采集任务串发送至采集前置模块。
30.采集任务生成模块，用于生成专变用户用电信息采集任务；该采集任务生成模块输入端与采集档案管理模块相连接，用于基于采集档案管理模块发送的专变用户采集档案信息生成采集任务；该采集任务生成模块输出端与采集任务调度模块相连接，用于将生成的采集任务发送至采集任务调度模块；
31.采集任务调度模块，用于调度并发送采集任务；该采集任务调度模块输入端与采集任务生成模块相连接，用于调度采集任务生成模块生成的采集任务，并生成采集任务串；该采集任务调度模块输出端与采集前置模块相连接，用于将采集任务串发送至采集前置模块。
32.采集前置模块，用于组装、发送采集任务698报文，并接收转发采集结果数据；该采集前置模块输入端与任务调度模块相连接，用于将采集前置模块发送的采集任务串组装成698报文；该采集前置模块输出端与mqtt broker模块相连接，用于将采集任务698报文发送给mqtt broker模块；该采集前置模块输入端与mqtt broker模块相连接，用于接收mqtt broker模块发送的采集结果数据；该采集前置模块输出端与数据入库模块相连接，用于将接收到的采集结果数据转发至数据入库模块进行入库。
33.mqtt broker模块，为中转模块，用于采集前置模块与回路状态巡检仪之间的数据连接；该mqtt broker模块输入端与采集前置模块相连接，用于接收采集前置模块发送的采集任务698报文；该mqtt broker模块输出端与回路状态巡检仪模块相连接，用于将采集任务698报文转发至对应的回路状态巡检仪模块；该mqtt broker模块输入端与回路状态巡检仪模块相连接，用于接收回路状态巡检仪模块回传的采集结果数据；该mqtt broker模块输出端与采集前置模块相连接，用于将接收到的采集结果数据转发至采集前置模块。
34.回路状态巡检仪模块，用于采集专变用户用电信息，并返回采集数据结果；该回路状态巡检仪模块输入端与mqtt broker模块相连接，用于接收mqtt broker模块发送的采集任务698报文，并依据698报文采集对应专变用户用电信息数据；该回路状态巡检仪模块输出端与mqtt broker模块相连接，用于将专变用户用电信息数据采集结果数据回传至mqtt broker模块。
35.数据入库模块，用于将采集前置模块收到的采集数据结果进行解析并入库至采集档案管理模块进行存储，包括数据解析、入库两个子模块；该数据入库模块输入端与采集前置模块相连接，用于解析接收到的采集前置模块发送的采集结果数据；该数据入库模块输出端与采集档案管理模块相连接，用于将解析完成的采集结果数据依据自身入库逻辑发送至采集档案管理模块进行存储。
36.所述采集档案管理模块，用于校验、存储专变用户采集档案，包括采集档案校验、
采集档案存储两个子模块；该采集档案管理模块输出端与任务调度模块相连接，用于将专变用户采集档案信息发送至任务调度模块。
37.所述采集档案校验模块，用于校验采集系统档案的完整性、逻辑准确性、业务准确性，可通过档案核查校验功能，实现采集档案非空、关键字段值、逻辑准确性等方面的校验。该采集档案校验模块输出端与采集档案存储模块相连接，用于将通过校验的专变用户采集档案信息
38.所述采集档案存储模块，主要用于存储经过所述采集档案校验模块校验无误的专变用户采集档案。通过设置redis缓存机制将采集档案信息分别存储至采集系统历史库及采集系统实时库两个数据库。缓存档案内容，包括终端档案、主采补采任务档案、规约数据项上下行映射档案、任务模板档案、采集策略档案、数据词典档案等。以上为采集档案管理模块。
39.所述任务调度模块。用于采集任务生成、调度及发送。包括数据采集任务生成及任务调度两个子模块。
40.所述采集任务生成模块，用于实现采集主站系统对回路状态巡检仪的数据采集任务进行配置并生成采集任务。包括采集任务配置、采集任务模板生成、匹配及下发、个性化数据采集策略定制等环节。基于所述采集系统历史库内采集档案信息生成采集任务队列，由采集系统主站对数据采集任务的采集周期、频度、上报基准时间进行灵活配置；采集任务模板生成模块具备可视化功能，可根据不同终端类型、本地通讯方式、采集表计类型生成并自动匹配采集任务模板进行设置下发；针对各类型采集对象，定制个性化的数据采集策略，实现多源异构数据按需采集和分级采集，并支持用户对终端采集方案和系统采集方案分别进行线上配置。
41.所述采集任务调度模块，用于灵活配置生成的采集任务，定时、实时触发采集任务，针对触发后的采集任务，生成采集任务串并发送至采集前置模块。任务调度模块为采集运维、手工触发补采提供友好的操作方式；为节约内存占用，支持专项任务执行完成即退出，并定时自动调度启动；对于触发的采集任务，生成采集任务串，发送至采集前置模块。以上为任务调度模块。
42.所述采集前置模块用于将接收到的采集任务串组装698报文，发送给mqtt broker模块，并接收mqtt broker模块回传的采集结果数据，发送至数据入库模块。利用通讯规约中的任务整合机制(698规约按照同类采集对象、同时间维度、同类冻结数据采集任务的整合机理)将采集任务串组装成698报文，节约下发任务个数和通信流量；接收mqtt broker模块回传的采集结果数据，并发送至数据入库模块。以上为采集前置模块。
43.所述mqtt broker模块，为中转模块，用于所述采集前置模块与回路状态巡检仪之间的数据连接。mqtt broker服务端程序通过接收采集前置模块发送的采集任务698报文，并转发至回路状态巡检仪，并将回路状态巡检仪返回的采集结果数据发送至采集前置模块，实现采集主站系统与回路状态巡检仪的解耦连接。以上为mqtt broker模块。
44.所述回路状态巡检仪模块，用于采集专变用户用电信息，并返回采集数据结果。回路状态巡检仪通过步骤4所述mqtt broker模块获取采集前置模块发送的采集任务698报文，在进行检定后，执行采集任务，并将采集结果数据返回至mqtt broker模块。以上为回路状态巡检仪模块。
45.所述数据入库模块，用于将所述采集前置模块收到的采集数据结果进行解析并入库至采集档案管理模块进行存储，包括数据解析、入库两个子模块。
46.所述数据解析模块，用于将所述采集前置模块发送至数据入库模块的的采集数据结果，从698报文格式解析为标准数据格式。
47.所述入库模块，用于将完成解析的采集数据结果入库并生成数据入库队列，由采集档案校验模块校验完成后，存储至采集档案存储模块的采集系统实时库。所述入库模块包括数据入库多元化处理、数据批量写入、定向写入功能。
48.其中，数据入库多元化处理功能，用于保证数据入库及时性。通过将事件类数据与一般类数据进行入库队列剥离，直接入到历史库中，便于应用侧各应用功能的查询使用，其中事件类数据入库单纯采用insert操作。通过将其它数据跟随采集系统实时库入库程序进行统一入库，保证数据写表不发生锁表情况。将消费数据按照标准的数据格式写入数据库侧数据入库高级队列，由数据库配置高级队列数据，负责消费队列中的入库数据。
49.其中，数据批量写入功能，用于实现数据批量入库，提升数据入库速度。设计增加一张事务级别内存temp表，用来批量写入数据，提升数据入库速度。
50.其中，定向写入功能，用于将批量提交的数据解析并定向写入数据表。开发一个用来消费temp表数据的业务代码，将批量提交的数据进行解析后写入指定的数据表。
51.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
52.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
53.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
54.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
技术特征：1.一种用于专变用户的回路状态巡检仪数据采集主站系统，其特征在于：包括：采集档案管理模块、任务调度模块、采集前置模块、mqtt broker模块、回路状态巡检仪模块和数据入库模块；所述采集档案管理模块，用于存储专变用户采集档案，其输出端与任务调度模块相连接，用于将专变用户采集档案信息发送至任务调度模块；其输入端与数据入库模块相连接，用于接收并校验数据入库模块发送的采集结果数据，并存储为专变用户采集档案；所述任务调度模块，用于采集任务生成、调度及发送，其输出端与采集前置模块相连接，用于基于采集档案管理模块发送的专变用户采集档案信息生成采集任务，将调度完成的采集任务的采集任务串发送至采集前置模块；所述采集前置模块用于组装、发送采集任务698报文并接收转发采集结果数据，其输出端与数据入库模块相连接，用于将接收到的采集结果数据转发至数据入库模块进行入库；该采集前置模块还与mqtt broker模块相连接，用于将采集任务698报文发送给mqtt broker模块，并接收mqtt broker模块发送的采集结果数据；所述mqtt broker模块还与回路状态巡检仪模块，用于采集专变用户用电信息，并返回采集数据结果。2.根据权利要求1所述的一种用于专变用户的回路状态巡检仪数据采集主站系统，其特征在于：所述采集档案管理模块包括采集档案校验模块和采集档案存储模块；所述采集档案校验模块，用于校验数据入库模块发送的采集结果数据正确性，其输出端与采集档案存储模块相连接，用于将通过校验的专变用户采集档案发送至采集档案存储模块进行存储。3.根据权利要求1所述的一种用于专变用户的回路状态巡检仪数据采集主站系统，其特征在于：所述任务调度模块包括采集任务生成模块和采集任务调度模块；采集任务生成模块，用于生成专变用户用电信息采集任务，其输出端与采集任务调度模块相连接，用于调度并发送采集任务至采集前置模块。4.根据权利要求1所述的一种用于专变用户的回路状态巡检仪数据采集主站系统，其特征在于：所述数据入库模块，包括数据解析模块和入库模块，用于将采集前置模块收到的采集数据结果进行解析并入库至采集档案管理模块进行存储；所述数据解析模块用于将所述采集前置模块发送至数据入库模块的的采集数据结果，从698报文格式解析为标准数据格式；其输出端与入库模块相连接，该入库模块用于将完成解析的采集数据结果入库并生成数据入库队列，由采集档案校验模块校验完成后，存储至采集档案存储模块的采集系统实时库。
技术总结本发明涉及一种用于专变用户的回路状态巡检仪数据采集主站系统，包括：采集档案管理模块、任务调度模块、采集前置模块、Mqtt Broker模块、回路状态巡检仪模块和数据入库模块。本发明通过对原有采集主站系统进行改造，并新增Server端Mqtt Broker程序，实现基于MQTT网络协议与回路状态巡检仪数据的双向传输，进而实现专变用户数据的采集、解析与入库。解析与入库。解析与入库。
技术研发人员：张兆杰 乔亚男 孙虹 李刚 杨光 李野 赵紫敬 葛春萌 刘浩宇 翟术然 卢静雅 陈娟
受保护的技术使用者：国网天津市电力公司 国家电网有限公司
技术研发日：2021.12.28
技术公布日：2022/7/4
