本技术涉及通信领域,尤其涉及一种网络智能体ai/ml模型评估方法、相关装置及系统。
背景技术:
1、近年来,由于人工智能的发展,行业人工智能模型、通用人工智能模型、生成式人工智能模型、大语言模型等新的模型层出不穷,模型即服务等人工智能技术的不断突破,人工智能模型的评估变得越来越重要,人工智能的应用也越来越广泛。
2、移动通信领域正越来越多地用人工智能/机器学习(artificial intelligence/machine learning,简称ai/ml)模型取代传统算法,以提升智能化水平。移动通信领域中,ai/ml模型的评估对网络运营商来说极其重要,通常情况下,网络运营商若要采用ai/ml模型,会先从服务提供商获得ai/ml模型,然后对获得的ai/ml模型进行评估,评估ai/ml模型符合要求后再使用。目前的ai/ml模型评估方法为:先把ai/ml模型部署到现网环境中的网络智能体中,然后利用现网环境中的数据对部署的ai/ml模型进行评估,评估ai/ml模型符合要求后,对部署于网络智能体中的ai/ml模型进行激活。
3、现有的ai/ml模型评估方法,需要先把ai/ml模型部署到现网环境中的网络智能体中,然后经过长时间的评估过程之后,再激活ai/ml模型,这导致从部署ai/ml模型到激活ai/ml模型需要耗费较长的时间。
技术实现思路
1、有鉴于此,本技术提供了一种网络智能体ai/ml模型评估方法、相关装置及系统,用以解决现有的ai/ml模型评估方法需要先把ai/ml模型部署到现网环境中的网络智能体中,然后经过长时间的评估过程之后,再激活ai/ml模型,从而导致从部署ai/ml模型到激活ai/ml模型需要耗费较长时间的问题,其技术方案如下:
2、本技术第一方面提供一种网络智能体ai/ml模型评估方法,应用于网络运营商侧的第一管理系统,所述网络智能体ai/ml模型评估方法包括:
3、获取待评估的ai/ml模型;
4、基于网络运营商侧的网络数字孪生系统,从当前的现网环境中获取评估所需的数据,以得到第一评估数据,并利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果;
5、根据所述第一评估结果,确定所述ai/ml模型是否满足要求;
6、若所述ai/ml模型满足要求,则将所述ai/ml模型部署到现网环境中的网络智能体中,并激活部署的ai/ml模型。
7、在一种可能的实现方式中,所述网络数字孪生系统包括:ai/ml模型评估模块和现网环境中的网元实体对应的数字孪生体;
8、所述基于网络运营商侧的网络数字孪生系统,从当前的现网环境中获取评估所需的数据,以得到第一评估数据,并利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果,包括:
9、基于所述网络数字孪生系统的数字孪生体,从当前的现网环境中对应的网元实体获取评估所需的数据,以得到第一评估数据;
10、基于所述网络数字孪生系统的ai/ml模型评估模块,利用所述第一评估数据,对所述ai/ml模型进行评估。
11、在一种可能的实现方式中,所述基于网络运营商侧的网络数字孪生系统,从当前的现网环境中获取评估所需的数据,以得到第一评估数据,并利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果,包括:
12、将所述ai/ml模型下发至所述网络数字孪生系统;
13、向所述网络数字孪生系统发起针对所述ai/ml模型的评估请求,以使所述网络数字孪生系统从当前的现网环境中获取评估所需的数据,以得到第一评估数据,并利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果。
14、在一种可能的实现方式中,所述评估请求携带有评估所述ai/ml模型所需数据的数据类型以及针对所述ai/ml模型的评估指标。
15、在一种可能的实现方式中,所述获取待评估的ai/ml模型,包括:
16、接收服务提供商侧的第二管理系统提供的ai/ml模型,得到待评估的ai/ml模型;
17、所述网络智能体ai/ml模型评估方法,还包括:
18、若所述ai/ml模型不满足要求,则将所述ai/ml模型不满足要求的指示信息以及所述第一评估结果反馈至所述第二管理系统。
19、在一种可能的实现方式中,所述网络智能体ai/ml模型评估方法还包括:
20、在激活部署的ai/ml模型后,若满足部署后评估触发条件,则基于所述网络数字孪生系统,从当前的现网环境中获取评估所需的数据,以得到第二评估数据,并利用所述第二评估数据对所述ai/ml模型进行评估,得到第二评估结果;
21、根据所述第二评估结果,确定所述ai/ml模型是否满足要求;
22、若所述ai/ml模型不满足要求,则对现网环境中的网络智能体中部署的ai/ml模型进行去激活处理。
23、本技术第二方面提供一种网络智能体ai/ml模型评估装置,应用于网络运营商侧的第一管理系统,所述网络智能体ai/ml模型评估装置包括:模型获取模块、评估调度模块、评估结果分析模块和模型处理模块;
24、所述模型获取模块,用于获取待评估的ai/ml模型;
25、所述评估调度模块,用于基于网络运营商侧的网络数字孪生系统,从当前的现网环境中获取评估所需的数据,以得到第一评估数据,并利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果;
26、所述评估结果分析模块,用于根据所述第一评估结果,确定所述ai/ml模型是否满足要求;
27、所述模型处理模块,用于在所述ai/ml模型满足要求的情况下,将所述ai/ml模型部署到现网环境中的网络智能体中,并激活部署的ai/ml模型。
28、本技术第三方面提供一种电子设备,包括至少一个处理器和与所述处理器连接的存储器,其中:
29、所述存储器用于存储计算机程序;
30、所述处理器用于执行所述计算机程序,以使所述电子设备能够实现上述任意一项所述的网络智能体ai/ml模型评估方法的步骤。
31、本技术第四方面提供一种计算机存储介质,所述存储介质承载有一个或多个计算机程序,当所述一个或多个计算机程序被电子设备执行时,能够使所述电子设备实现上述任意一项所述的网络智能体ai/ml模型评估方法的步骤。
32、本技术第五方面提供一种网络智能体ai/ml模型评估系统,包括:网络运营商侧的第一管理系统和网络数字孪生系统;
33、所述第一管理系统,用于获取待评估的ai/ml模型,并将所述ai/ml模型发送至所述网络数字孪生系统;
34、所述网络数字孪生系统,用于从当前的现网环境中获取评估所需的数据,以得到第一评估数据,利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果,将所述第一评估结果反馈至所述第一管理系统;
35、所述第一管理系统,用于根据所述第一评估结果,确定所述ai/ml模型是否满足要求,若所述ai/ml模型满足要求,则将所述ai/ml模型部署到现网环境中的网络智能体中,并激活部署的ai/ml模型。
36、借由上述技术方案,本技术提供的网络智能体ai/ml模型评估方法,首先获取待评估的ai/ml模型,然后基于网络运营商侧的网络数字孪生系统,从现网环境中获取评估所需的数据,并利用获取的数据对ai/ml模型进行评估,接着根据评估结果,确定ai/ml模型是否满足要求,若ai/ml模型满足要求,则将ai/ml模型部署到现网环境中的网络智能体中,并激活部署的ai/ml模型。本技术提供的网络智能体ai/ml模型评估方法,在部署ai/ml模型前,先在网络数字孪生环境中对ai/ml模型评估进行评估,评估ai/ml模型符合要求后,再将其部署于现网环境中的网络智能体中,部署后即可立即激活部署的ai/ml模型,可见,本技术提供的网络智能体ai/ml模型评估方法使得从部署ai/ml模型到激活ai/ml模型只需要耗费极短的时间,另外,由于ai/ml模型的评估在网络数字孪生环境中进行,而非在现网环境中进行,因此,避免了对现网环境的影响。
1.一种网络智能体ai/ml模型评估方法,其特征在于,应用于网络运营商侧的第一管理系统,所述网络智能体ai/ml模型评估方法包括:
2.根据权利要求1所述的网络智能体ai/ml模型评估方法,其特征在于,所述网络数字孪生系统包括:ai/ml模型评估模块和现网环境中的网元实体对应的数字孪生体;
3.根据权利要求1所述的网络智能体ai/ml模型评估方法,其特征在于,所述基于网络运营商侧的网络数字孪生系统,从当前的现网环境中获取评估所需的数据,以得到第一评估数据,并利用所述第一评估数据对所述ai/ml模型进行评估,得到第一评估结果,包括:
4.根据权利要求3所述的网络智能体ai/ml模型评估方法,其特征在于,所述评估请求携带有评估所述ai/ml模型所需数据的数据类型以及针对所述ai/ml模型的评估指标。
5.根据权利要求1所述的网络智能体ai/ml模型评估方法,其特征在于,所述获取待评估的ai/ml模型,包括:
6.根据权利要求1~5中任一项所述的网络智能体ai/ml模型评估方法,其特征在于,所述网络智能体ai/ml模型评估方法还包括:
7.一种网络智能体ai/ml模型评估装置,其特征在于,应用于网络运营商侧的第一管理系统,所述网络智能体ai/ml模型评估装置包括:模型获取模块、评估调度模块、评估结果分析模块和模型处理模块;
8.一种电子设备,其特征在于,包括至少一个处理器和与所述处理器连接的存储器,其中:
9.一种计算机存储介质,其特征在于,所述存储介质承载有一个或多个计算机程序,当所述一个或多个计算机程序被电子设备执行时,能够使所述电子设备实现如权利要求1~6中任意一项所述的网络智能体ai/ml模型评估方法的步骤。
10.一种网络智能体ai/ml模型评估系统,其特征在于,包括:网络运营商侧的第一管理系统和网络数字孪生系统;
