信息处理方法、装置、设备、存储介质及程序产品与流程

allin2023-04-05  166



1.本公开涉及数据处理技术领域,具体涉及深度学习、数据同步等技术领域,尤其涉及一种信息处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术:

2.随着人工智能技术的逐渐发展,基于自然语言理解的用户搜索意图理解或用户查询请求处理,越来越被重视,以期通过更好的识别用户的真实搜索或查询意图来提升搜索结果的反馈准确性和反馈效率。
3.在模糊搜索的情况下,用户搜索意图理解系统或用户查询请求处理系统因无法准确确定用户搜索意图或查询请求所属哪个垂类,因此通常通过挂载成百上千个分属不同垂类的机器学习模型(即每个机器学习模型对应一个垂类下的用户搜索意图理解或用户查询请求处理),是典型的计算密集性服务。
4.而随着模型量级和策略复杂度的持续增长,系统并发处理能力和稳定性均面临极大挑战。即如何在此种场景下准确、高效的反馈搜索结果或查询结果,是本领域技术人员亟待解决的技术问题。


技术实现要素:

5.本公开实施例提出了一种信息处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
6.第一方面,本公开实施例提出了一种信息处理方法,包括:从获取到的查询请求中提取出实际查询词和实际查询特征;分别从本地存储和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;其中,映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据;将包含最新时间戳的映射关系数据确定为目标映射关系数据;响应于实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储,将目标映射关系数据中的计算结果作为目标计算结果;使用目标映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;基于目标计算结果生成与查询请求对应的查询结果。
7.第二方面,本公开实施例提供了另一种信息处理方法,包括:从获取到的查询请求中提取出实际查询词和实际查询特征;分别从本地存储和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;其中,映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据;将包含最新时间戳的映射关系数据确定为目标映射关系数据;响应于实际查询特征与目标映射关系中的查询特征不具有一致性,基于目标映射关系数据对应的模型和实际查询特征计算目标计算结果;根据目标计算结果的生成时间确定新时间戳,并基于实际查询词、模型编号、新时间戳、实际查询特征和目标计算结果生成新映射关系数据;使用新
映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;基于目标计算结果生成与查询请求对应的查询结果。
8.第三方面,本公开实施例提出了一种信息处理装置,包括:查询请求解析单元,被配置成从获取到的查询请求中提取出实际查询词和实际查询特征;时间戳提取单元,被配置成分别从本地存储和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;其中,映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据;目标映射关系数据确定单元,被配置成将包含最新时间戳的映射关系数据确定为目标映射关系数据;第一处理单元,被配置成响应于实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储,将目标映射关系数据中的计算结果作为目标计算结果;第一更新单元,被配置成使用目标映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;查询结果生成单元,被配置成基于目标计算结果生成与查询请求对应的查询结果。
9.第四方面,本公开实施例提供了另一种信息处理装置,包括:查询请求解析单元,被配置成从获取到的查询请求中提取出实际查询词和实际查询特征;时间戳提取单元,被配置成分别从本地存储和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;其中,映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据;目标映射关系数据确定单元,被配置成将包含最新时间戳的映射关系数据确定为目标映射关系数据;第二处理单元,被配置成响应于实际查询特征与目标映射关系中的查询特征不具有一致性,基于目标映射关系数据对应的模型和实际查询特征计算目标计算结果;新映射关系生成单元,被配置成根据目标计算结果的生成时间确定新时间戳,并基于实际查询词、模型编号、新时间戳、实际查询特征和目标计算结果生成新映射关系数据;第二更新单元,被配置成使用新映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;查询结果生成单元,被配置成基于目标计算结果生成与查询请求对应的查询结果。
10.第五方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式或第二方面中任一实现方式描述的信息方法。
11.第四方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式或第二方面中任一实现方式描述的信息处理方法。
12.第五方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式或第二方面中任一实现方式描述的信息处理方法。
13.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它
特征、目的和优点将会变得更明显:
15.图1为本公开实施例提供的一种信息处理方法的流程图;
16.图2为本公开实施例提供的另一种信息处理方法的流程图;
17.图3为本公开实施例提供的又一种信息处理方法的流程图;
18.图4为本公开实施例提供的一种判断实际查询特征是否与目标映射关系数据中的查询特征具有一致性的方法的流程图;
19.图5为本公开实施例提供的在一应用场景下的信息处理方法的流程示意图;
20.图6为本公开实施例提供的一种信息处理装置的结构框图;
21.图7为本公开实施例提供的另一种信息处理装置的结构框图;
22.图8为本公开实施例提供的一种适用于执行信息处理方法的电子设备的结构示意图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
24.本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
25.请参考图1,图1为本公开实施例提供的一种信息处理方法的流程图,其中流程100包括以下步骤:
26.步骤101:从获取到的查询请求中提取出实际查询词和实际查询特征;
27.本步骤旨在由信息处理方法的执行主体(例如数据存储服务器或用户终端设备)从接收到的查询请求中提取出实际的查询词(后均统称实际查询词,用于区别其它来源的查询词)和实际的查询特征(后均统称实际查询特征,用于区别其它来源的查询特征)。
28.其中,实际查询词通常直接由发起查询请求的对象给出,可以直接通过键盘、触摸屏的方式物理键入,也可以通过对传入的语音信号进行解析后得到,例如“圆明园”、“xxx(一个电影名)”等;实际查询特征则用于表示伴随实际查询词的相关特征,用于体现不同用户在不同场景下基于不同出发点的搜索或查询意图,例如可以包括触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。
29.以触发查询请求时的客户端特征为例,当前的客户端可大体分为:个人电脑端(pc,person computer)、安卓(android)手机端、苹果(ios)手机端几类,而相同对象通过不同类型的客户端基于相同的查询词发起的查询请求,可能体现了该对象对该查询词的不同搜索意图,例如当该查询词与某个类型的客户端存在强关联时,就会明显影响搜索结果;以触发查询请求时的舆情特征为例,若因舆情特征的变更导致某个查询词在过去和现在有了不同的解释方式或新增了隐含关联,就必然会导致搜索结果的准确性。其它的特征也是类似,会在不同的维度对搜索结果的准确性造成不同程度的影响,因此有必要通过对查询请
求所包含的非查询词数据进行科学、有效的分析,进而得到尽可能多的相关数据,最终分析得到尽可能全面的查询特征。
30.进一步的,在同时由上述多种具体特征构成综合的查询特征时,还可以预先为构成查询特征的每项特征设置相应的特征综合权重,以结合各项权项使得最终生成的查询特征更符合实际情况。
31.步骤102:分别从本地存储和缓存中存储的映射关系数据提取与实际查询词对应的时间戳;
32.在步骤101的基础上,本步骤旨在由上述执行主体分别从本地存储和缓存中存储的映射关系数据提取与实际查询词对应的时间戳。
33.其中,本技术所描述的“本地存储”和“缓存”指的均是用于存储数据或信息的存储介质,区别在于存储于“缓存”中的数据的读写速度将明显高于存储于“本地存储”的数据的读写速度,从而借助“缓存”这一具有高速读写特性的存储介质,来提升查询查询的反馈效率。
34.具体的,在某些场景下,“本地存储”和“缓存(cache)”可以简单的指“只读存储器(read only memory,rom)”和“随机存储器(random access memory,ram)”,其中rom通常表现为非断电易失型的持久化存储的硬盘(相较于内存容量来说,其容量较大),ram通常表现为断电易失型存储介质的内存(相较于硬盘容量来说,其容量较小);在另外的一些场景下,缓存可以被理解为一种位于中央处理器(cpu)和内存之间的存储器,其具有比内存更快的数据读写速度,当cpu向内存中读取或写入数据的时候这些数据也会存入缓存中,当cpu再需要这些数据的时候,就会直接去cache中读取,而不是内存中,从而进一步的提升读写速度。但无论上述哪种,均不影响对本技术所描述的“本地存储”和“缓存”这两个概念的理解,核心在于“缓存”将作为一个拥有快于“本地存储”的数据读写速度的存储介质,以借助其具有的高速数据读写能力提升数据反馈效率。
35.其中,该映射关系数据中包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,即一个查询词下,每个编号的模型基于对应的查询特征和查询词将计算得到一个计算结果,并将对应的时间生成为时间戳。而通常情况下,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据(即原始的映射关系数据最初在本地存储中生成),因此在模型结构和查询特征没有变更的情况下,缓存中存储的映射关系数据应与本地存储中的映射关系数据一致,都是最新的。
36.步骤103:将包含最新时间戳的映射关系数据确定为目标映射关系数据;
37.在步骤102的基础上,本步骤旨在由上述执行主体通过比对分别来自本地存储和缓存的两个时间戳对应的时间,最终将包含最新时间戳的映射关系数据确定为目标映射关系数据。
38.步骤104:响应于实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储,将目标映射关系数据中的计算结果作为目标计算结果;
39.在步骤103的基础上,本步骤旨在由上述执行主体在发现实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储(即本地存储中有新于缓存的对应相同模型编号的映射关系数据)的情况下,将目标映射关系中的计算结果作为目标计算结果。
40.实际查询特征与目标映射关系数据中的查询特征具有一致性,说明当前的查询请求对应的实际查询特征与已存储的映射关系数据中记录的查询特征一致,因此可认为映射关系数据中记录的基于查询特征计算得到的计算结果仍是有效的、可用的,因此可以将目标映射关系数据中的计算结果作为目标计算结果。
41.由于本地存储中有新于缓存的对应相同模型编号的映射关系数据,那么大概率说明在上一次将本地存储中的映射关系数据同步至缓存后,本地又对相应模型编号的模型进行了改动(例如模型结构、模型参数的改动),且该改动将导致相同查询词对应的查询结果区别于改动前的,但还未来得及触发一次新的同步操作。因此,通过明确目标映射关系数据取自本地存储还是缓存,就可以进一步的明确缓存中存储的相应映射关系数据是否仍处于可用状态。
42.步骤105:使用目标映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;
43.在步骤104的基础上,本步骤旨在由上述执行主体在缓存中存储的相应映射关系数据处于不可用状态的情况下,使用目标映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据,进而使得后续的相同查询请求可以直接命名缓存,快速返回准确的查询结果。
44.步骤106:基于目标计算结果生成与查询请求对应的查询结果。
45.在步骤105的基础上,本步骤旨在由上述执行主体基于目标计算结果生成与查询请求对应的查询结果。通常是基于经步骤105使得缓存中已存储有更新后的映射关系数据中的目标结算结果,来生成查询结果。但在某些情况下,实际上也可以使用本地存储中的目标计算结果来生成查询结果。
46.由于本技术所针对的场景下需要同时借助分别对应不同垂类的多个机器学习模型,来返回足够全面、准确的查询结果,因此在执行步骤106时通常还需要确认是否获取到所有模型编号各自对应的目标计算结果,或者足够多垂类的机器学习模型对应的目标计算结果,亦或足够重要的垂类的机器学习模型对应的目标计算结果,进而基于这些目标计算结果生成与查询请求对应的查询结果。
47.本公开实施例提供的信息处理方法,通过基于模型编号、时间戳、查询特征构成的映射关系数据,提供了模型粒度的细管理粒度,并基于比对本地存储和缓存中各自存储的映射关系数据中的时间戳来确定哪些缓存数据不可用、需要针对性的更新,从而通过科学的更新策略尽可能的控制缓存中存储的都是最新的模型计算结果,进而提升查询请求对应的查询结果直接命中缓存的命中率,最终实现查询结果反馈效率的提升。
48.请参考图2,图2为本公开实施例提供的另一种信息处理方法的流程图,其中流程200包括以下步骤:
49.步骤201:从获取到的查询请求中提取出实际查询词和实际查询特征;
50.步骤202:分别从本地存储和缓存中存储的映射关系数据提取与实际查询词对应的时间戳;
51.步骤203:将包含最新时间戳的映射关系数据确定为目标映射关系数据;
52.步骤201-步骤203与流程100中的步骤101-步骤103一致,此处不再进行赘述。
53.步骤204:响应于实际查询特征与目标映射关系中的查询特征不具有一致性,基于
目标映射关系数据对应的模型和实际查询特征计算目标计算结果;
54.在步骤203的基础上,本步骤旨在由上述执行主体在发现实际查询特征与目标映射关系数据中的查询特征不具有一致性,基于目标映射关系数据对应的模型和实际查询特征计算目标计算结果。
55.实际查询特征与目标映射关系数据中的查询特征不具有一致性,说明当前的查询请求对应的实际查询特征与已存储的映射关系数据中记录的查询特征不一致,因此可认为映射关系数据中记录的基于原始的查询特征计算得到的计算结果将不再具备使用价值,因此需要基于目标映射关系数据对应的模型和实际查询特征重新计算得到可用的目标计算结果。
56.步骤205:根据目标计算结果的生成时间确定新时间戳,并基于实际查询词、模型编号、新时间戳、实际查询特征和目标计算结果生成新映射关系数据;
57.在步骤204的基础上,本步骤旨在由上述执行主体根据目标计算结果的生成时间确定新时间戳,并基于实际查询词、模型编号、新时间戳、实际查询特征和目标计算结果生成新映射关系数据。即新映射关系数据相较于目标映射关系数据,更新了计算结果、查询特征、时间戳。
58.其中,新时间戳可以直接为目标计算结果的生成时间,也可以是根据生成时间计算出的一个时间。
59.步骤206:使用新映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;
60.在步骤205的基础上,本步骤旨在由上述执行主体使用新映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据。
61.步骤207:基于目标计算结果生成与查询请求对应的查询结果。
62.区别于流程100在实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储的情况下给出的解决方案,本实施例则是在实际查询特征与目标映射关系数据中的查询特征不具有一致性情况下给出的另一种解决方案,不过两实施例的核心点均是通过基于模型编号、时间戳、查询特征构成的映射关系数据,提供了模型粒度的细管理粒度,并基于比对本地存储和缓存中各自存储的映射关系数据中的时间戳来确定哪些缓存数据不可用、需要针对性的更新,从而通过科学的更新策略尽可能的控制缓存中存储的都是最新的模型计算结果,进而提升查询请求对应的查询结果直接命中缓存的命中率,最终实现查询结果反馈效率的提升。
63.为了更好的理解实际情况下所有可能存在的分支,本实施例在综合图1、图2各自处理分支的情况下,还通过图3示出了另一种信息处理方法的流程图,还体现了第三处理分支,其中流程300包括以下步骤:
64.步骤301:从获取到的查询请求中提取出实际查询词和实际查询特征;
65.步骤302:分别从本地存储和缓存中存储的映射关系数据提取与实际查询词对应的时间戳,并将包含最新时间戳的映射关系数据确定为目标映射关系数据;
66.以上步骤301-302与图1和图2所示的步骤前三步骤一致,相同部分内容请参见上一实施例的相应部分,此处不再进行赘述。
67.步骤303:判断实际查询特征与目标映射关系数据中的查询特征是否具有一致性,
若不具有一致性,执行步骤304,若具有一致性,执行步骤307;
68.本步骤旨在由上述执行主体判断实际查询特征与目标映射关系数据中的查询特征是否具有一致性,并根据判别结果选择不同的后续处理分支。
69.考虑到很少有两次不同的查询请求伴随完全相同的查询特征,因此在进行是否具有一致性的判别时,通常并不基于严格的是否相同来得到判别结果。一种包括且不限于的实现方式可参见图4所示的流程图:
70.步骤401:根据预设维度计算实际查询特征与目标映射关系数据中的查询特征的差异程度;
71.其中,该预设维度用于表示可用于判别差异程度的特征维度,例如行为特征维度、舆情特征维度、客户端类型维度等等,也可以其它更加上位或下位的维度,主要用于表示在实际应用场景下影响计算出的差异程度的数值,是其更贴近实际应用场景下的需求。
72.步骤402:判断差异程度是否超过预设差异阈值,若超过,执行步骤404,否则执行步骤403;
73.步骤403:确定实际查询特征与目标映射关系数据中的查询特征具有一致性;
74.步骤404:根据预设维度计算实际查询特征与目标映射关系数据中的查询特征的差异程度。
75.基于上述图4所示的实现方式可知,在实际查询特征与目标映射关系数据中的查询特征的差异程度较小的情况下,仍可以认为实际查询特征与目标映射关系数据中的查询特征之间具有一致性,而具有一致性的情况下,也就无需基于实际查询特征重新计算得到新计算结果,即目标映射关系数据中记录的计算结果仍是可以继续使用的。
76.步骤304:基于目标映射关系数据对应的模型和实际查询特征计算目标计算结果;
77.本步骤建立在步骤303的判断结果为实际查询特征与目标映射关系数据中的查询特征之间不具有一致性的情况下,由于两者不具有一致性,也就是说目标映射关系数据中记录的计算结果无法继续使用,因此需要基于目标映射关系数据对应的模型和实际查询特征重新计算得到可用的目标计算结果。
78.步骤305:根据目标计算结果的生成时间确定新时间戳,并基于实际查询词、模型编号、新时间戳、实际查询特征和目标计算结果生成新映射关系;
79.步骤306:使用新映射关系更新缓存中存储的包含相同模型编号的映射关系数据;
80.步骤304-步骤306与流程200中的步骤204-步骤206一致,此处不再进行赘述。
81.步骤307:判断目标映射关系数据是否取自缓存,若取自本地存储,执行步骤308,若取自缓存,则执行步骤310;
82.本步骤建立在步骤303的判断结果为实际查询特征与目标映射关系数据中的查询特征之间具有一致性的情况下,旨在由上述执行主体判断目标映射关系数据是否取自缓存,也可以等价理解为“确定目标映射关系数据取自何处或其来源”。需要说明的是,本步骤所描述的“取自何处”是指在“本地存储”和“缓存”之间确定包含最新“时间戳”的映射关系数据被存储在何处,且在“本地存储”中存储的映射关系数据中的时间戳不新于“缓存”中的时,将因“缓存”相比“本地存储”具有的更高速的数据读写能力,认为目标映射关系数据取自“缓存”;反之,则仅在“本地存储”中所存储的映射关系数据中的时间戳新于“缓存”中的时,才认为目标映射关系数据取自“本地存储”。
83.步骤308:将目标映射关系数据中的计算结果作为目标计算结果;
84.本步骤建立在步骤307的判断结果为目标映射关系数据未取自缓存、取自本地存储的情况下,旨在由上述执行主体将目标映射关系数据中的计算结果作为目标计算结果。
85.步骤309:使用目标映射关系数据更新缓存中对应相同模型编号的映射关系数据;
86.在步骤308的基础上,本步骤旨在由上述执行主体使用目标映射关系数据更新缓存中对应相同模型编号的映射关系数据,完成将最新映射关系同步给缓存的目的。
87.步骤310:将目标映射关系数据中的计算结果作为目标计算结果;
88.本步骤建立在步骤307的判断结果为目标映射关系数据取自缓存的情况下,说明缓存中存储的数据可直接使用,旨在由上述执行主体直接将目标映射关系数据中的计算结果作为目标计算结果。
89.步骤311:基于目标计算结果生成与查询请求对应的查询结果。
90.在图2所示的实施例的基础上,本实施例通过步骤303-步骤310提供一种依次进行的两层判断式处理方案,进而全面考虑了包括流程100所示步骤104-步骤105所描述情况和流程200所示步骤204-步骤206所描述情况在内的更多其它情况,也进而通过全面的考虑更加体现了具体至模型的细管理粒度和映射关系数据在本地存储与缓存之间的同步更新策略,最终确保了查询请求可以在缓存中拥有较高的命中率,也提升了查询结果的反馈效率。
91.在上述任意实施例的基础上,本实施例主要针对如何构建得到记录查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系的映射关系数据,提供了一种具体实现方式,以便于理解该映射关系数据的实际表现形式和使用方式:
92.利用分桶技术将不同模型编号的模型创建为不同的模型分桶;
93.将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立模型编号到时间戳的映射关系表;
94.基于映射关系表和对应的查询词、查询特征、计算结果,生成映射关系数据。
95.其中,哈希法(hashing,中文也称为散列法)是一种将字符组成的字符串转换为固定长度(一般是更短长度)的数值或索引值的方法。由于通过更短的哈希值比用原始值进行数据库搜索更快,这种方法一般用来在数据库中建立索引并进行搜索,同时还用在各种解密算法中。
96.而hashmap是基于哈希表的map接口的非同步实现。此实现提供所有可选的映射操作,并允许使用null(空)值和null键。hashmap储存的是键值对(key-value),hashmap很快。此类不保证映射的顺序,特别是它不保证该顺序恒久不变。hashmap的内部结构可以看作是数组和链表结合组成的复合结构,数组被分为一个个桶(bucket),每个桶存储有一个或多个entry对象,每个entry对象包含三部分key(键)、value(值),next(指向下一个entry),通过哈希值决定了entry对象在这个数组的寻址;哈希值相同的entry对象(键值对),则以链表形式存储。如果链表大小超过树形转换的阈值(treeify_threshold=8),链表就会被改造为树形结构。
97.为加深理解,本公开还结合一个具体应用场景,给出了一种基于模型粒度的缓存技术,以在模型更新的时间维度上,为模型打上时间标记,并通过计算模型在时间序列上的区别(也称diff计算),实现模型粒度的增量计算和缓存增量更新,达到高缓存命中率、高时效性、一致性、低延时和节省计算资源的效果。
98.模型粒度的缓存技术是基于模型时间序列与查询特征时间序列之间进行的diff计算设计实现的:系统(即上述执行主体)本地(即本地存储)维护了所有模型和查询特征的时间序列,缓存中也同样存储了所有模型计算的产出数据(即上述描述的计算结果)和查询特征,并维护了一套模型和查询特征的时间序列,将两个时间序列进行diff计算,得到更新的模型和特征列表,系统只针对该列表进行模型计算,计算结果数据再反馈到缓存中,形成一种正向循环反馈机制,实现增量更新。具体系统组件与交互关系见图5:
99.为实现上述目的,下述将具体结合需要解决的关键问题展开阐述:
100.1、模型变更和特征变更感知问题
101.系统需要对查询请求(query)进行需求识别,需要大量的机器学习模型的在线计算,上千的模型变更和特征变更,不同模型的变更频率差异较大,有半小时级、小时级、天级、周级,传统方法由于对缓存数据的管理粒度较为粗放,无法感知变更,因此不具备实现以模型粒度对缓存数据进行管理的核心条件,系统如何在缓存层面感知所有模型和特征的变更情况,如何只针对变更的模型和特征进行模型计算,是关键问题。
102.在本实施例中,采用时间序列标记来感知模型的变更。在模型离线训练完成时,同步给模型打上时间标记时间戳(timestamp),离线模型通过统一的配送平台分发到线上服务实例中,实例通过冷启动与热加载技术,完成模型加载的同时完成全量或增量的模型时间戳加载,将分桶中各模型时间戳加载到统一哈希图中,建立模型编号到时间戳的映射关系表,系统将随着模型的变更及时将最新的时间戳刷新到该映射关系表中。缓存中维护一套特定的数据结构,该结构用于存储模型计算的产出数据和映射关系表。
103.第一次查询请求到来时,会触发特征查询和全量模型计算,模型计算的数据和对应映射关系表将写入到该数据结构中,同时将特征数据存入该数据结构中,并打上时间戳,本地系统和缓存系统都维护了一个时间序列,从而实现高效精准感知模型和特征变更。
104.2.模型粒度的缓存更新问题
105.传统的缓存技术,缓存粒度都在查询请求(或在查询词)级,生效控制不能精细化,只能做到整体生效,整体失效,无法进行差异化增量更新,考虑到查询请求和模型生效时效性问题,一般缓存生效周期都不会设置太长,不然会影响时效性,而缓存的关键问题,是要提升缓存命中率,同时保证时效性,在传统方法中,这两者是对立关系的,无法做到整体优化。
106.当第二查询请求到来时,首先查询缓存系统,解析缓存数据,获取映射关系表,由于本地和缓存中的映射表都是基于时间序列上的,将两张表进行时间序列的diff计算,获取最新时间序列的模型列表;然后,解析特征数据,获取生效周期内的特征数据,失效的特征数据将立即进行特征查询,两块特征数据进行融合,形成特征列表;接着,将最新模型列表和特征列表放入模型计算中心,进行模型计算,模型计算结果数据和最新特征数据回写到缓存的数据结构中,同时将最新模型和特征列表的时间戳写入缓存的映射关系表中。
107.后续的查询请求,将不断的进行时间序列的diff计算,导致数据不断回写缓存,形成正向循环反馈机制,最终实现模型粒度的缓存数据管理。由于模型和特征变更频率差异较大,大部分模型是不需要进行模型计算,直接使用缓存数据,因此缓存命中率将极大提升,同时由于时间序列的diff计算,精准感知变更的模型和特征能立即进行模型计算,模型的时效性极大提升。
108.3.一致性问题
109.一致性问题有两种,第一种是由于不能识别流量特征导致的一致性问题,传统粗放管理的缓存技术会产生这种问题。搜索流量下的查询请求,除了携带有查询词本身,还携带有大量的与查询行为相关的查询特征,这些查询特征可用于模型计算、指导策略、流量端识别、小流量机制,而对于复杂策略系统,相同的查询词在不同查询特征下的计算结果差异是比较大的。传统的缓存技术,由于是以查询请求或查询词为管理粒度,很难精准、及时的对所有查询特征进行完全的识别,特别是上游缓存技术,上游看下游,下游属于黑盒状态,不了解下游系统是如何运用这些流量特征的,因此产生缓存一致性问题,典型问题是小流量与全流量相互干扰。
110.在本实施例中,缓存精细化到模型粒度,深入到模型计算层面,能低成本、高效识别所有查询特征,针对性的将影响模型计算的特征抽取出来,抽取出的特征加入到缓存key签名计算中,因此缓存key中包含了查询特征,将得以保证key到value结果映射单一性。而对于小流量特征,模型层面也加入了对应的小流量特征,在进行时间序列diff计算过程中,会进行模型和流量层面的小特征匹配运算,匹配成功才进行模型计算,即小流量和全流量模型计算分离,解决小流量与全流量相互干扰的问题,整体解决流量特征层面的一致性问题。
111.第二种一致性问题,是由生效周期控制粗放和模型变更在线上大规模实例不同步导致,在搜索大规模分布式系统中,每个子系统和模块可能有成百上千个实例,而模型数据的变更是通过配送平台完成,考虑线上环境的稳定性和复杂性,一般都会有分级配送机制,因此所有实例基本不可能做到同步变更,有一定的时间差,几十分钟到几小时都有可能。由于实例变更不同步,不同实例下写入的缓存数据是有差异的,形成相互干扰,导致缓存不一致问题。
112.在本实施例中,采用模型时间序列的diff计算,筛选出时间序列上最新的模型,同步更新到缓存结构中,当查询请求落到还未完成模型变更的实例时,根据时间序列diff,筛选出缓存结构中时间序列靠前的模型数据直接做为该模型的计算结果,该模型不再参与模型计算,因此针对一个查询请求,只要在变更的模型实例中完成一次模型计算,写入缓存系统,全实例都能共享该数据,实现全实例模型同步变更,解决一致性问题,同时也提升模型生效时效性。简单来说,就是在查询请求所属的实际查询实例处于映射关系更新状态时,可以从处于映射关系更新完成状态的相同查询实例中获取与查询请求对应的查询结果。
113.进一步参考图6,作为对上述各图所示方法的实现,本公开提供了一种信息处理装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
114.如图6所示,本实施例的信息处理装置600可以包括:查询请求解析单元601、时间戳提取单元602、目标映射关系数据确定单元603、第一处理单元604、第一更新单元605、查询结果生成单元606。其中,查询请求解析单元601,被配置成从获取到的查询请求中提取出实际查询词和实际查询特征;时间戳提取单元602,被配置成分别从本地存储和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;其中,映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据;目标映射关系数据确定单元603,被配置成将包含最新时间
戳的映射关系数据确定为目标映射关系数据;第一处理单元604,被配置成响应于实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储,将目标映射关系数据中的计算结果作为目标计算结果;第一更新单元605,被配置成使用目标映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;查询结果生成单元606,被配置成基于目标计算结果生成与查询请求对应的查询结果。
115.在本实施例中,信息处理装置600中:查询请求解析单元601、时间戳提取单元602、目标映射关系数据确定单元603、第一处理单元604、第一更新单元605、查询结果生成单元606的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101-106的相关说明,在此不再赘述。
116.在本实施例的一些可选的实现方式中,信息处理装置600中还可以包括:
117.第二处理单元,被配置成响应于实际查询特征与目标映射关系中的查询特征具有一致性、且目标映射关系取自缓存,将目标映射关系中的计算结果作为目标计算结果。
118.在本实施例的一些可选的实现方式中,查询结果生成单元606可以被进一步配置成:
119.基于已获取到的所有模型编号各自对应的目标计算结果,生成与查询请求对应的查询结果。
120.在本实施例的一些可选的实现方式中,查询特征包括:触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。
121.在本实施例的一些可选的实现方式中,信息处理装置600还可以包括:
122.特征综合权重设置单元,被配置成为构成查询特征的每项特征设置相应的特征综合权重。
123.在本实施例的一些可选的实现方式中,信息处理装置600还可以包括:
124.差异程度计算单元,被配置成根据预设维度计算实际查询特征与目标映射关系数据中的查询特征的差异程度;
125.具有一致性判定单元,被配置成响应于差异程度不超过预设差异阈值,确定实际查询特征与目标映射关系数据中的查询特征具有一致性。
126.在本实施例的一些可选的实现方式中,信息处理装置600还可以包括:
127.模型分桶创建单元,被配置成利用分桶技术将不同模型编号的模型创建为不同的模型分桶;
128.映射关系表创建单元,被配置成将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立模型编号到时间戳的映射关系表;
129.映射关系生成单元,被配置成基于映射关系表和对应的查询词、查询特征、计算结果,生成映射关系数据。
130.在本实施例的一些可选的实现方式中,信息处理装置600还可以包括:
131.更新状态处理单元,被配置成响应于查询请求所属的实际查询实例当前处于映射关系更新状态,从处于映射关系更新完成状态的相同查询实例中获取与查询请求对应的查询结果。
132.本实施例作为对应于如图1对应流程100所示的方法实施例的装置实施例存在。
133.进一步参考图7,作为对上述各图所示方法的实现,本公开提供了一种信息处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
134.如图7所示,本实施例的信息处理装置700可以包括:查询请求解析单元701、时间戳提取单元702、目标映射关系数据确定单元703、第二处理单元704、新映射关系生成单元705、第二更新单元706、查询结果生成单元707。其中,查询请求解析单元701,被配置成从获取到的查询请求中提取出实际查询词和实际查询特征;时间戳提取单元702,被配置成分别从本地存储和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;其中,映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,缓存中存储的映射关系数据同步自本地存储生成的映射关系数据;目标映射关系数据确定单元703,被配置成将包含最新时间戳的映射关系数据确定为目标映射关系数据;第二处理单元704,被配置成响应于实际查询特征与目标映射关系中的查询特征不具有一致性,基于目标映射关系数据对应的模型和实际查询特征计算目标计算结果;新映射关系生成单元705,被配置成根据目标计算结果的生成时间确定新时间戳,并基于实际查询词、模型编号、新时间戳、实际查询特征和目标计算结果生成新映射关系;第二更新单元706,被配置成使用新映射关系更新缓存中存储的包含相同模型编号的映射关系数据;查询结果生成单元707,被配置成基于目标计算结果生成与查询请求对应的查询结果。
135.在本实施例中,信息处理装置700中:查询请求解析单元701、时间戳提取单元702、目标映射关系数据确定单元703、第二处理单元704、新映射关系生成单元705、第二更新单元706、查询结果生成单元707的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-207的相关说明,在此不再赘述。
136.在本实施例的一些可选的实现方式中,信息处理装置700中还可以包括:
137.第二处理单元,被配置成响应于实际查询特征与目标映射关系中的查询特征具有一致性、且目标映射关系取自缓存,将目标映射关系中的计算结果作为目标计算结果。
138.在本实施例的一些可选的实现方式中,查询结果生成单元706可以被进一步配置成:
139.基于已获取到的所有模型编号各自对应的目标计算结果,生成与查询请求对应的查询结果。
140.在本实施例的一些可选的实现方式中,查询特征包括:触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。
141.在本实施例的一些可选的实现方式中,信息处理装置700还可以包括:
142.特征综合权重设置单元,被配置成为构成查询特征的每项特征设置相应的特征综合权重。
143.在本实施例的一些可选的实现方式中,信息处理装置700还可以包括:
144.差异程度计算单元,被配置成根据预设维度计算实际查询特征与目标映射关系数据中的查询特征的差异程度;
145.不具有一致性判定单元,被配置成响应于差异程度超过预设差异阈值,确定实际查询特征与目标映射关系数据中的查询特征不具有一致性。
146.在本实施例的一些可选的实现方式中,信息处理装置700还可以包括:
147.模型分桶创建单元,被配置成利用分桶技术将不同模型编号的模型创建为不同的模型分桶;
148.映射关系表创建单元,被配置成将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立模型编号到时间戳的映射关系表;
149.映射关系生成单元,被配置成基于映射关系表和对应的查询词、查询特征、计算结果,生成映射关系数据。
150.在本实施例的一些可选的实现方式中,信息处理装置700还可以包括:
151.更新状态处理单元,被配置成响应于查询请求所属的实际查询实例当前处于映射关系更新状态,从处于映射关系更新完成状态的相同查询实例中获取与查询请求对应的查询结果。
152.上述两个实施例分别作为对应于如图1对应流程100所示的方法实施例和图2对应流程200所示的方法实施例的装置实施例存在。
153.上述两装置实施例提供的信息处理装置,通过基于模型编号、时间戳、查询特征构成的映射关系,提供了模型粒度的细管理粒度,并基于比对本地和缓存中各自存储的映射关系中的时间戳来确定哪些缓存数据不可用、需要针对性的更新,从而通过科学的更新策略尽可能的控制缓存中存储的都是最新的模型计算结果,进而提升查询请求对应的查询结果直接命中缓存的命中率,最终实现查询结果反馈效率的提升。
154.根据本公开的实施例,本公开还提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现上述任意实施例所描述的信息处理方法。
155.根据本公开的实施例,本公开还提供了一种可读存储介质,该可读存储介质存储有计算机指令,该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的信息处理方法。
156.根据本公开的实施例,本公开还提供了一种计算机程序产品,该计算机程序在被处理器执行时能够实现上述任意实施例所描述的信息处理方法。
157.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
158.如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
159.设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;
输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
160.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如信息处理方法。例如,在一些实施例中,信息处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时,可以执行上文描述的信息处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信息处理方法。
161.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
162.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
163.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
164.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
165.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
166.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(vps,virtual private server)服务中存在的管理难度大,业务扩展性弱的缺陷。
167.根据本公开实施例的技术方案,通过基于模型编号、时间戳、查询特征构成的映射关系,提供了模型粒度的细管理粒度,并基于比对本地和缓存中各自存储的映射关系中的时间戳来确定哪些缓存数据不可用、需要针对性的更新,从而通过科学的更新策略尽可能的控制缓存中存储的都是最新的模型计算结果,进而提升查询请求对应的查询结果直接命中缓存的命中率,最终实现查询结果反馈效率的提升。
168.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
169.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

技术特征:
1.一种信息处理方法,包括:从获取到的查询请求中提取出实际查询词和实际查询特征;分别从本地存储和缓存中存储的映射关系数据中提取与所述实际查询词对应的时间戳;其中,所述映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,所述缓存中存储的映射关系数据同步自所述本地存储生成的映射关系数据;将包含最新时间戳的映射关系数据确定为目标映射关系数据;响应于所述实际查询特征与所述目标映射关系数据中的查询特征具有一致性、且所述目标映射关系数据取自所述本地存储,将所述目标映射关系数据中的计算结果作为目标计算结果;使用所述目标映射关系数据更新所述缓存中存储的包含相同模型编号的映射关系数据;基于所述目标计算结果生成与所述查询请求对应的查询结果。2.根据权利要求1所述的方法,其中,所述基于所述目标计算结果生成与所述查询请求对应的查询结果,包括:基于已获取到的所有模型编号各自对应的目标计算结果,生成与所述查询请求对应的查询结果。3.根据权利要求1所述的方法,其中,所述查询特征包括:触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。4.根据权利要求3所述的方法,还包括:为构成所述查询特征的每项特征设置相应的特征综合权重。5.根据权利要求1所述的方法,还包括:根据预设维度计算所述实际查询特征与所述目标映射关系数据中的查询特征的差异程度;响应于所述差异程度不超过预设差异阈值,确定所述实际查询特征与所述目标映射关系数据中的查询特征具有一致性。6.根据权利要求1所述的方法,还包括:利用分桶技术将不同模型编号的模型创建为不同的模型分桶;将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立所述模型编号到所述时间戳的映射关系表;基于所述映射关系表和对应的查询词、查询特征、计算结果,生成所述映射关系数据。7.根据权利要求1-6任一项所述的方法,还包括:响应于所述查询请求所属的实际查询实例当前处于映射关系更新状态,从处于映射关系更新完成状态的相同查询实例中获取与所述查询请求对应的查询结果。8.一种信息处理方法,包括:从获取到的查询请求中提取出实际查询词和实际查询特征;分别从本地存储和缓存中存储的映射关系数据中提取与所述实际查询词对应的时间戳;其中,所述映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,所述缓存中存储的映射关系数据同步自所述本地存储生成的映射关系数据;
将包含最新时间戳的映射关系数据确定为目标映射关系数据;响应于所述实际查询特征与所述目标映射关系中的查询特征不具有一致性,基于所述目标映射关系数据对应的模型和所述实际查询特征计算目标计算结果;根据所述目标计算结果的生成时间确定新时间戳,并基于所述实际查询词、模型编号、所述新时间戳、所述实际查询特征和所述目标计算结果生成新映射关系数据;使用所述新映射关系数据更新所述缓存中存储的包含相同模型编号的映射关系数据;基于所述目标计算结果生成与所述查询请求对应的查询结果。9.根据权利要求8所述的方法,其中,所述基于所述目标计算结果生成与所述查询请求对应的查询结果,包括:基于已获取到的所有模型编号各自对应的目标计算结果,生成与所述查询请求对应的查询结果。10.根据权利要求8所述的方法,其中,所述查询特征包括:触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。11.根据权利要求10所述的方法,还包括:为构成所述查询特征的每项特征设置相应的特征综合权重。12.根据权利要求8所述的方法,还包括:根据预设维度计算所述实际查询特征与所述目标映射关系数据中的查询特征的差异程度;响应于所述差异程度超过预设差异阈值,确定所述实际查询特征与所述目标映射关系数据中的查询特征不具有一致性。13.根据权利要求8所述的方法,还包括:利用分桶技术将不同模型编号的模型创建为不同的模型分桶;将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立所述模型编号到所述时间戳的映射关系表;基于所述映射关系表和对应的查询词、查询特征、计算结果,生成所述映射关系数据。14.根据权利要求8-13任一项所述的方法,还包括:响应于所述查询请求所属的实际查询实例当前处于映射关系更新状态,从处于映射关系更新完成状态的相同查询实例中获取与所述查询请求对应的查询结果。15.一种信息处理装置,包括:查询请求解析单元,被配置成从获取到的查询请求中提取出实际查询词和实际查询特征;时间戳提取单元,被配置成分别从本地存储和缓存中存储的映射关系数据中提取与所述实际查询词对应的时间戳;其中,所述映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,所述缓存中存储的映射关系数据同步自所述本地存储生成的映射关系数据;目标映射关系数据确定单元,被配置成将包含最新时间戳的映射关系数据确定为目标映射关系数据;第一处理单元,被配置成响应于所述实际查询特征与所述目标映射关系数据中的查询
特征具有一致性、且所述目标映射关系数据取自所述本地存储,将所述目标映射关系数据中的计算结果作为目标计算结果;第一更新单元,被配置成使用所述目标映射关系数据更新所述缓存中存储的包含相同模型编号的映射关系数据;查询结果生成单元,被配置成基于所述目标计算结果生成与所述查询请求对应的查询结果。16.根据权利要求15所述的装置,所述查询结果生成单元被进一步配置成:基于已获取到的所有模型编号各自对应的目标计算结果,生成与所述查询请求对应的查询结果。17.根据权利要求15所述的装置,其中,所述查询特征包括:触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。18.根据权利要求17所述的装置,还包括:特征综合权重设置单元,被配置成为构成所述查询特征的每项特征设置相应的特征综合权重。19.根据权利要求15所述的装置,还包括:差异程度计算单元,被配置成根据预设维度计算所述实际查询特征与所述目标映射关系数据中的查询特征的差异程度;具有一致性判定单元,被配置成响应于所述差异程度不超过预设差异阈值,确定所述实际查询特征与所述目标映射关系数据中的查询特征具有一致性。20.根据权利要求15所述的装置,还包括:模型分桶创建单元,被配置成利用分桶技术将不同模型编号的模型创建为不同的模型分桶;映射关系表创建单元,被配置成将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立所述模型编号到所述时间戳的映射关系表;映射关系生成单元,被配置成基于所述映射关系表和对应的查询词、查询特征、计算结果,生成所述映射关系数据。21.根据权利要求15-20任一项所述的装置,还包括:更新状态处理单元,被配置成响应于所述查询请求所属的实际查询实例当前处于映射关系更新状态,从处于映射关系更新完成状态的相同查询实例中获取与所述查询请求对应的查询结果。22.一种信息处理装置,包括:查询请求解析单元,被配置成从获取到的查询请求中提取出实际查询词和实际查询特征;时间戳提取单元,被配置成分别从本地存储和缓存中存储的映射关系数据中提取与所述实际查询词对应的时间戳;其中,所述映射关系数据包括有查询词、模型编号、时间戳、查询特征、计算结果之间的对应关系,所述缓存中存储的映射关系数据同步自所述本地存储生成的映射关系数据;目标映射关系数据确定单元,被配置成将包含最新时间戳的映射关系数据确定为目标
映射关系数据;第二处理单元,被配置成响应于所述实际查询特征与所述目标映射关系中的查询特征不具有一致性,基于所述目标映射关系数据对应的模型和所述实际查询特征计算目标计算结果;新映射关系生成单元,被配置成根据所述目标计算结果的生成时间确定新时间戳,并基于所述实际查询词、模型编号、所述新时间戳、所述实际查询特征和所述目标计算结果生成新映射关系数据;第二更新单元,被配置成使用所述新映射关系数据更新所述缓存中存储的包含相同模型编号的映射关系数据;查询结果生成单元,被配置成基于所述目标计算结果生成与所述查询请求对应的查询结果。23.根据权利要求22所述的装置,所述查询结果生成单元被进一步配置成:基于已获取到的所有模型编号各自对应的目标计算结果,生成与所述查询请求对应的查询结果。24.根据权利要求22所述的装置,其中,所述查询特征包括:触发查询请求时的客户端特征、触发查询请求时的行为特征、触发查询请求时的舆情特征、触发查询请求时的声音特征中的至少一项。25.根据权利要求24所述的装置,还包括:特征综合权重设置单元,被配置成为构成所述查询特征的每项特征设置相应的特征综合权重。26.根据权利要求22所述的装置,还包括:差异程度计算单元,被配置成根据预设维度计算所述实际查询特征与所述目标映射关系数据中的查询特征的差异程度;不具有一致性判定单元,被配置成响应于所述差异程度超过预设差异阈值,确定所述实际查询特征与所述目标映射关系数据中的查询特征不具有一致性。27.根据权利要求22所述的装置,还包括:模型分桶创建单元,被配置成利用分桶技术将不同模型编号的模型创建为不同的模型分桶;映射关系表创建单元,被配置成将不同的模型分桶通过哈希图hashmap技术加载至统一的哈希图中,并建立所述模型编号到所述时间戳的映射关系表;映射关系生成单元,被配置成基于所述映射关系表和对应的查询词、查询特征、计算结果,生成所述映射关系数据。28.根据权利要求22-27任一项所述的装置,还包括:更新状态处理单元,被配置成响应于所述查询请求所属的实际查询实例当前处于映射关系更新状态,从处于映射关系更新完成状态的相同查询实例中获取与所述查询请求对应的查询结果。29.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项或权利要求8-14中任一项所述的信息处理方法。30.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-7中任一项或权利要求8-14中任一项所述的信息处理方法。31.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1-7中任一项或权利要求8-14中任一项所述的信息处理方法的步骤。

技术总结
本公开提供了一种信息处理方法、装置、设备、存储介质及程序产品,涉及深度学习、数据同步技术领域。该方法包括:从获取到的查询请求中提取出实际查询词和实际查询特征;分别从本地存储空间和缓存中存储的映射关系数据中提取与实际查询词对应的时间戳;将包含最新时间戳的映射关系数据确定为目标映射关系数据;当实际查询特征与目标映射关系数据中的查询特征具有一致性、且目标映射关系数据取自本地存储时,将目标映射关系数据中的计算结果作为目标计算结果;使用目标映射关系数据更新缓存中存储的包含相同模型编号的映射关系数据;基于目标计算结果生成与查询请求对应的查询结果。通过模型粒度的管理来提升缓存命中率,提升了结果的反馈效率。结果的反馈效率。结果的反馈效率。


技术研发人员:汤焦 强伟
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2022.04.20
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-9157.html

最新回复(0)