本技术实施例涉及水文预报,具体而言,涉及一种基于知识图谱的水文预报模型推荐方法及装置。
背景技术:
1、随着水文预报技术的发展,已有上百种水文模型被提出。每种水文模型都有其自己的优势和劣势,因而只适用于某一类具有共同特征的流域。传统的模型推荐方法往往依赖于专家经验或简单的数据匹配,难以准确找到适合某流域的水文模型,无法满足复杂多变的水文预报需求。
技术实现思路
1、本技术实施例在于提供一种基于知识图谱的水文预报模型推荐方法及装置,旨在解决传统的模型推荐方法难以准确找到适合某流域的水文模型,无法满足复杂多变的水文预报需求的问题。
2、本技术实施例第一方面提供一种基于知识图谱的水文预报模型推荐方法,包括:
3、收集历史水文预报相关文献的全文信息;
4、确定水文预报知识图谱本体层,包括:定义本体和确定本体关系;所述本体包括:流域基本信息、预报方式、文献名称、输入数据和算法模型;
5、使用自然语言处理技术,对所述全文信息进行实体识别和关系抽取,得到实体和实体关系;
6、基于所述水文预报知识图谱本体层,使用neo4j图数据库技术,将所述实体和所述实体关系进行存储,构建水文预报知识图谱;
7、输入目标信息,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述目标信息匹配的所述算法模型。
8、在一种可选的实施方式中,所述使用自然语言处理技术,对所述全文信息进行实体识别和关系抽取,得到实体和实体关系,包括:
9、对所述全文信息进行文本清洗,包括:去除html标签、标点符号和停用词;
10、使用自然语言处理技术中的命名实体识别技术,对文本清洗后的文本进行实体识别,得到所述实体;对所述实体进行关系抽取,得到所述实体关系。
11、在一种可选的实施方式中,所述输入目标信息,使用cypher查询语言在所述知识图谱中进行检索,查找与所述目标信息匹配的算法模型,包括:
12、在所述目标信息为所述流域基本信息和所述预报方式的情况下,查找与所述目标信息匹配的所述输入数据和所述算法模型;
13、在所述目标信息为所述输入数据的情况下,查找与所述目标信息匹配的所述算法模型。
14、在一种可选的实施方式中,所述预报方式包括:短期预报、洪水预报和中长期预报;在所述目标信息为所述流域基本信息和所述预报方式的情况下,查找与所述目标信息匹配的所述输入数据和所述算法模型,包括:
15、在所述目标信息为所述流域基本信息和所述预报方式,且所述预报方式为所述短期预报或所述洪水预报的情况下,查找与所述目标信息匹配的所述输入数据和第一类算法模型;
16、在所述目标信息为所述流域基本信息和所述预报方式,且所述预报方式为所述中长期预报的情况下,查找与所述目标信息匹配的所述输入数据和第二类算法模型;所述第一类算法模型不同于所述第二类算法模型,所述第二类算法模型包括基于数据驱动方法的模型。
17、在一种可选的实施方式中,所述查找与所述目标信息匹配的所述算法模型之后,包括:
18、在所述算法模型为多个的情况下,根据设置的第一优先级和第二优先级,对所述算法模型进行排序;所述第一优先级为所述算法模型有对应的所述预报方式,所述算法模型的级别越高;所述第二优先级为所述算法模型对应的所述输入数据的数量越多,所述算法模型的级别越高。
19、在一种可选的实施方式中,所述使用自然语言处理技术,对所述全文信息进行实体识别和关系抽取,得到实体和实体关系之后,包括;
20、使用自然语言处理技术,对所述全文信息对应的所述实体和所述实体关系进行标注,得到标注好的数据集;
21、将所述数据集划分为第一训练集、第一验证集和第一测试集,并通过bilstm-crf算法对模型进行训练和优化,得到训练好的实体识别模型;所述实体识别模型用于对新的文献进行实体识别,输出所述新的文献对应的实体和实体关系;
22、将所述新的文献对应的实体和实体关系更新到所述水文预报知识图谱中。
23、在一种可选的实施方式中,所述将所述数据集划分为第一训练集、第一验证集和第一测试集,并通过bilstm-crf算法对模型进行训练和优化,得到训练好的实体识别模型,包括:
24、将所述数据集按照预设比例随机划分为所述第一训练集、所述第一验证集和所述第一测试集;
25、构建基于bilstm-crf算法的所述模型,使用所述第一训练集中的数据对所述模型进行训练,优化模型参数;使用所述第一验证集中的数据对所述模型进行评估,调整模型超参数;使用所述第一测试集中的数据对所述模型进行测试,在所述模型的识别结果正确率达到预设值的情况下,得到所述训练好的实体识别模型。
26、在一种可选的实施方式中,所述本体还包括:所述算法模型使用说明和所述算法模型参考案例;所述输入目标信息,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述目标信息匹配的所述算法模型,包括:
27、在所述目标信息为所述流域基本信息和所述预报方式的情况下,查找与所述目标信息匹配的所述输入数据、所述算法模型、所述算法模型使用说明和所述算法模型参考案例;
28、在所述目标信息为所述输入数据的情况下,查找与所述目标信息匹配的所述算法模型、所述算法模型使用说明和所述算法模型参考案例。
29、在一种可选的实施方式中,所述收集历史水文预报相关文献的全文信息,包括:
30、使用关键字检索科技文献数据库,收集历史水文预报相关文献的全文信息并存储,所述科技文献数据库包括:中文科技文献数据库和英文科技文献数据库,所述关键字包括:水文预报、水文模型、洪水预报、hydrological forecast、hydrological model、floodforecast。
31、在一种可选的实施方式中,所述方法还包括:
32、提取所述中文科技文献数据库收集的所述全文信息中的中文摘要和英文摘要;
33、分别对所述中文摘要和所述英文摘要进行分词,得到中英文摘要数据集;
34、将所述中英文摘要数据集按照预设比例随机划分为第二训练集、第二验证集和第二测试集;
35、基于所述第二训练集、所述第二验证集和所述第二测试集,以所述中文摘要作为模型输入、所述中文摘要对应的所述英文摘要作为模型输出,训练得到基于transformer算法的中译英翻译模型;
36、将所述中英文摘要数据集按照所述预设比例随机划分为第三训练集、第三验证集和第三测试集,以所述英文摘要作为模型输入、所述英文摘要对应的所述中文摘要作为模型输出,训练得到基于transformer算法的英译中翻译模型;
37、所述中译英翻译模型和所述英译中翻译模型作为中英文转换模型。
38、在一种可选的实施方式中,所述方法还包括:
39、输入中文目标信息,通过所述中英文转换模型将所述中文目标信息转换为英文目标信息,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述中文目标信息匹配的所述算法模型;
40、输入英文目标信息,通过所述中英文转换模型将所述英文目标信息转换为中文目标信息,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述英文目标信息匹配的所述算法模型。
41、在一种可选的实施方式中,所述确定本体关系,包括:
42、所述流域基本信息、预报方式、输入数据和算法模型分别从属于所述文献名称。
43、在一种可选的实施方式中,所述使用neo4j图数据库技术,将所述实体和所述实体关系进行存储,构建水文预报知识图谱,包括:
44、通过py2neo库,将所述实体和所述实体关系存储到neo4j图数据库中,构建所述水文预报知识图谱;所述py2neo库用于输入数据。
45、在一种可选的实施方式中,针对陌生流域,收集所述陌生流域对应的所述流域基本信息,并确定所述预报方式;输入所述陌生流域对应的所述流域基本信息和所述预报方式,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述流域基本信息和所述预报方式匹配的所述输入数据和所述算法模型,得到推荐结果。
46、本技术实施例第二方面提供一种基于知识图谱的水文预报模型推荐装置,包括:
47、收集模块,用于收集历史水文预报相关文献的全文信息;
48、确定模块,用于确定水文预报知识图谱本体层,包括:定义本体和确定本体关系;所述本体包括:流域基本信息、预报方式、文献名称、输入数据和算法模型;
49、处理模块,用于使用自然语言处理技术,对所述全文信息进行实体识别和关系抽取,得到实体和实体关系;
50、构建模块,用于基于所述水文预报知识图谱本体层,使用neo4j图数据库技术,将所述实体和所述实体关系进行存储,构建水文预报知识图谱;
51、检索模块,用于输入目标信息,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述目标信息匹配的所述算法模型。
52、本公开实施例中,通过整合流域基本信息、模型输入数据、算法模型、预报方式和文献名称的知识图谱,结合自然语言处理技术和图数据库技术,构建可查询、可推理的水文预报知识图谱,输入目标信息,使用cypher查询语言在水文预报知识图谱中进行检索,查找与目标信息匹配的算法模型。实现了模型推荐的高效性、准确性和可扩展性,可准确找到适合某流域的水文模型;对于陌生流域,不需要比较多种模型,提高工作效率;有效提高水文预报过程中选用模型的科学性,提高水文预报的精度和效率。
1.一种基于知识图谱的水文预报模型推荐方法,其特征在于,包括:
2.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述使用自然语言处理技术,对所述全文信息进行实体识别和关系抽取,得到实体和实体关系,包括:
3.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述输入目标信息,使用cypher查询语言在所述知识图谱中进行检索,查找与所述目标信息匹配的算法模型,包括:
4.根据权利要求3所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述预报方式包括:短期预报、洪水预报和中长期预报;在所述目标信息为所述流域基本信息和所述预报方式的情况下,查找与所述目标信息匹配的所述输入数据和所述算法模型,包括:
5.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述查找与所述目标信息匹配的所述算法模型之后,包括:
6.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述使用自然语言处理技术,对所述全文信息进行实体识别和关系抽取,得到实体和实体关系之后,包括;
7.根据权利要求6所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述将所述数据集划分为第一训练集、第一验证集和第一测试集,并通过bilstm-crf算法对模型进行训练和优化,得到训练好的实体识别模型,包括:
8.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述本体还包括:所述算法模型使用说明和所述算法模型参考案例;所述输入目标信息,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述目标信息匹配的所述算法模型,包括:
9.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述收集历史水文预报相关文献的全文信息,包括:
10.根据权利要求9所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述方法还包括:
11.根据权利要求10所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述方法还包括:
12.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述确定本体关系,包括:
13.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,所述使用neo4j图数据库技术,将所述实体和所述实体关系进行存储,构建水文预报知识图谱,包括:
14.根据权利要求1所述的基于知识图谱的水文预报模型推荐方法,其特征在于,针对陌生流域,收集所述陌生流域对应的所述流域基本信息,并确定所述预报方式;输入所述陌生流域对应的所述流域基本信息和所述预报方式,使用cypher查询语言在所述水文预报知识图谱中进行检索,查找与所述流域基本信息和所述预报方式匹配的所述输入数据和所述算法模型,得到推荐结果。
15.一种基于知识图谱的水文预报模型推荐装置,其特征在于,所述装置包括:
