基于预言模型的实体消歧方法、装置、电子设备及介质与流程

allin2025-03-07  72


本技术涉及金融科技,尤其涉及一种基于预言模型的实体消歧方法、装置、电子设备及介质。


背景技术:

1、目前,自然语言处理(natural language processing,nlp)技术在金融和医疗领域的应用已经相当广泛,例如文本分类、情感分析、实体识别等。然而,这些技术在实体链接方面存在一些缺陷和不足。传统的实体链接方法通常基于规则或模式匹配,这种方法需要手动编写规则或模式,且对于新的实体类型或语言,需要重新编写规则或模式。

2、此外,传统方法通常无法处理实体消歧问题,即同一实体在不同文本中可能有不同的名称或描述。这些问题限制了实体链接的应用范围和效果。


技术实现思路

1、本技术实施例的主要目的在于提出一种基于预言模型的实体消歧方法、装置、电子设备及介质,实现自动化的实体链接和消歧,提高实体链接的准确性和鲁棒性。

2、为实现上述目的,本技术实施例的第一方面提出了一种基于预言模型的实体消歧方法,所述方法包括:

3、获取金融文本,并通过预设的知识库构建实体嵌入字典;

4、基于预设的金融实体列表对所述金融文本进行实体提取,得到实体信息;

5、对所述实体信息和所述金融文本进行向量转换,得到表示向量;

6、将所述表示向量输入预言模型进行语义分析,输出所述表示向量对应的三元组信息;

7、根据所述三元组信息以及所述实体嵌入字典对所述金融文本进行消歧操作,得到实体链接结果;

8、通过所述预言模型的场感知因子分解层对所述实体链接结果进行分类,以将所述实体链接结果对应的实体链接归类至所述金融文本的实体与关系中,得到消歧结果。

9、在一些实施例中,所述预言模型包括语言表示模型;所述通过预设的知识库构建实体嵌入字典,包括:

10、获取所述知识库的描述文本;

11、对所述描述文本进行分隔操作,得到标记序列,其中,所述标记序列包括多个描述实体;

12、将所述标记序列输入所述语言表示模型,以使所述语言表示模型基于所述标记序列对所述描述实体进行向量生成操作,输出多个嵌入向量;

13、根据所述描述实体以及所述嵌入向量构建实体嵌入字典。

14、在一些实施例中,所述根据所述描述实体以及所述嵌入向量构建实体嵌入字典,包括:

15、对于每个所述描述实体,确定所述描述实体的实体名称;

16、根据所述实体名称的数量在所述嵌入向量中确定目标嵌入向量;

17、将所述描述实体作为键,并将所述目标嵌入向量作为值以构建实体嵌入字典。

18、在一些实施例中,所述根据所述实体名称的数量在所述嵌入向量中确定目标嵌入向量,包括:

19、当所述实体名称为一个,在所述嵌入向量中确定与所述实体名称对应的目标嵌入向量;

20、或者,

21、当所述实体名称为多个,在所述标记序列中确定与多个所述实体名称对应的多个分隔符,并确定每个所述分隔符的分隔嵌入向量;

22、对多个所述分隔嵌入向量进行取平均操作,得到目标嵌入向量。

23、在一些实施例中,所述基于预设的金融实体列表对所述金融文本进行实体提取,得到实体信息,包括:

24、对所述金融文本进行预处理;

25、通过预设的命名实体识别工具对预处理后的金融文本进行实体识别,得到多个金融实体;

26、对于每个所述金融实体,通过所述金融实体列表查找与所述金融实体对应的释义信息文本;

27、将所述释义信息文本与所述金融实体进行匹配,得到实体信息。

28、在一些实施例中,所述根据所述三元组信息以及所述实体嵌入字典对所述金融文本进行消歧操作,得到实体链接结果,包括:

29、通过所述预言模型确定与所述三元组信息中实体名对应的第一嵌入值,并通过所述预言模型确定所述金融文本的上下文信息;

30、根据所述实体嵌入字典以及所述第一嵌入值确定目标嵌入值;

31、根据所述目标嵌入值计算所述金融文本与所述金融实体列表的相似度分数;

32、根据所述上下文信息以及所述相似度分数对所述金融文本中的实体进行链接,得到实体链接结果。

33、在一些实施例中,所述根据所述实体嵌入字典以及所述第一嵌入值确定目标嵌入值,包括:

34、当所述实体嵌入字典中存在与所述三元组信息对应的实体名,在所述实体嵌入字典中确定与所述实体名的第二嵌入值,并将所述第一嵌入值与所述第嵌入值的平均值作为目标嵌入值,

35、或者,

36、当所述实体嵌入字典中不存在与所述三元组信息对应的实体名,将所述第一嵌入值作为目标嵌入值。

37、为实现上述目的,本技术实施例的第二方面提出了一种基于预言模型的实体消歧装置,所述装置包括:

38、文本获取模块,用于获取金融文本,并通过预设的知识库构建实体嵌入字典;

39、实体提取模块,用于基于预设的金融实体列表对所述金融文本进行实体提取,得到实体信息;

40、向量转换模块,用于对所述实体信息和所述金融文本进行向量转换,得到表示向量;

41、语义分析模块,用于将所述表示向量输入预言模型进行语义分析,输出所述表示向量对应的三元组信息;

42、消歧操作模块,用于根据所述三元组信息以及所述实体嵌入字典对所述金融文本进行消歧操作,得到实体链接结果;

43、结果分类模块,用于通过所述预言模型的场感知因子分解层对所述实体链接结果进行分类,以将所述实体链接结果对应的实体链接归类至所述金融文本的实体与关系中,得到消歧结果。

44、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于预言模型的实体消歧方法。

45、为实现上述目的,本技术实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的基于预言模型的实体消歧方法。

46、本技术提出的基于预言模型的实体消歧方法、装置、电子设备及存储介质,首先,获取金融文本,并通过预设的知识库构建实体嵌入字典,从而能够通过外部知识库中的信息构建更加丰富和准确的实体嵌入,整合了来自不同来源的知识,再基于预设的金融实体列表对金融文本进行实体提取,得到实体信息,从而能够去除金融文本中的噪声,通过识别和提取实体便于后续预言模型更好地理解文本内容,实现对文本中概念以及对象的准确确定,之后,对实体信息和金融文本进行向量转换,得到表示向量,从而能够将高维数据转换为低维数据,减少计算复杂度,通过表示向量能够捕捉词和短语的语义信息,再将表示向量输入预言模型进行语义分析,从而能够捕捉实体在不同上下文中的语义信息,便于后续理解实体的语义和消歧,输出表示向量对应的三元组信息,最后,根据三元组信息以及实体嵌入字典对金融文本进行消歧操作,得到实体链接结果,从而能够减少人为因素导致的识别错误和不一致性,提高实体链接的准确性和鲁棒性,再通过预言模型的场感知因子分解层对实体链接结果进行分类,以将实体链接结果对应的实体链接归类至金融文本的实体与关系中,得到消歧结果,从而提高实体链接的效率和可靠性。本技术实施例结合实体嵌入字典以及金融实体列表实现自动化的实体链接和消歧,同时考虑实体上下文信息,以提高实体链接的准确性和鲁棒性。


技术特征:

1.一种基于预言模型的实体消歧方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于预言模型的实体消歧方法,其特征在于,所述预言模型包括语言表示模型;所述通过预设的知识库构建实体嵌入字典,包括:

3.根据权利要求2所述的基于预言模型的实体消歧方法,其特征在于,所述根据所述描述实体以及所述嵌入向量构建实体嵌入字典,包括:

4.根据权利要求3所述的基于预言模型的实体消歧方法,其特征在于,所述根据所述实体名称的数量在所述嵌入向量中确定目标嵌入向量,包括:

5.根据权利要求1所述的基于预言模型的实体消歧方法,其特征在于,所述基于预设的金融实体列表对所述金融文本进行实体提取,得到实体信息,包括:

6.根据权利要求1所述的基于预言模型的实体消歧方法,其特征在于,所述根据所述三元组信息以及所述实体嵌入字典对所述金融文本进行消歧操作,得到实体链接结果,包括:

7.根据权利要求6所述的基于预言模型的实体消歧方法,其特征在于,所述根据所述实体嵌入字典以及所述第一嵌入值确定目标嵌入值,包括:

8.一种基于预言模型的实体消歧装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于预言模型的实体消歧方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于预言模型的实体消歧方法。


技术总结
本申请实施例提供了基于预言模型的实体消歧方法、装置、电子设备及介质,属于金融科技技术领域。该方法包括:获取金融文本,并通过预设的知识库构建实体嵌入字典;基于预设的金融实体列表对金融文本进行实体提取,得到实体信息;对实体信息和金融文本进行向量转换,得到表示向量;将表示向量输入预言模型进行语义分析,输出表示向量对应的三元组信息;根据三元组信息以及实体嵌入字典对金融文本进行消歧操作,得到实体链接结果;通过预言模型的场感知因子分解层对实体链接结果进行分类,以将实体链接结果对应的实体链接归类至金融文本的实体与关系中,得到消歧结果。本申请实施例能够实现自动化的实体链接和消歧,提高实体链接的准确性和鲁棒性。

技术研发人员:刘羲,沈加锐,舒畅,陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-19123.html

最新回复(0)