本发明涉及移动边缘计算，特别涉及一种任务卸载方法、装置、设备及介质。
背景技术：
1、移动设备在执行各种计算密集型任务方面发挥着重要作用，包括数据处理和人工智能应用，但随着移动设备的技术迅猛发展，随之而来的是终端设备(user equipment，ue)数量急剧增加，导致计算资源变得有限，这些设备可能无法在本地处理所有任务而导致延迟问题。传统的云计算任务卸载方式存在延迟高、网络拥塞和传输距离过远等问题，无法满足对计算密集型和时延敏感型任务的需求。
2、此时移动边缘计算(mobile edge computing，mec)技术应运而生，旨在通过将计算资源推向网络边缘，以提供离用户更近的计算能力，实现更快速、更及时的任务处理。但是，mec在动态任务卸载过程中仍面临着挑战，其需要确保系统的稳定性和数据队列的稳定，在多种不同约束条件下实现最优的用户体验质量(quality ofexperience，qoe)，并在动态多用户单mec环境中找到最佳的任务卸载决策，这是一项具有挑战性的任务。
3、在现在的mec场景下，深度强化学习(deep reinforcement learning，drl)结合深度学习与强化学习的特性，适用于求解复杂决策问题，已经开始被应用于解决mec任务卸载问题。然而，在drl的应用过程中，大多数研究只是通过引入一些引发任务失败的事件，并使其成为惩罚事件来处理，没有在一个长期约束的情况下对于系统进行总体优化，因此，在一个长期的任务卸载过程中可能会导致任务失败，且往往缺乏实时决策的能力。
技术实现思路
1、本发明的目的在于提供一种任务卸载方法、装置、设备及介质，可以确保长期任务卸载过程中任务的处理。
2、为解决上述技术问题，本发明的实施例提供了一种任务卸载方法，包括以下步骤：
3、获取移动边缘计算mec场景中多个不同用户设备上待执行的任务；
4、构建本地执行各用户设备上待执行的任务的第一任务执行模型；
5、构建将所有用户设备上待执行的任务从对应的用户设备传输至边缘服务器的任务传输模型；
6、构建边缘服务器执行所有用户设备上待执行的任务的第二任务执行模型；
7、构建包含所有用户设备上待执行的任务的多队列模型；其中，所述多队列模型根据用户设备上待执行的任务，以及第一任务执行模型和/或第二任务执行模型已执行的任务动态变化；
8、将第一任务执行模型、任务传输模型、第二任务执行模型和多队列模型组合，形成用于表征mec场景下的任务卸载问题的mec模型；
9、基于dqn算法，对mec模型进行求解，得到任务卸载策略。
10、在一些可选的实施例中，所述第一任务执行模型包括用于表征用户设备本地执行任务时的处理数据量的第一任务计算模型和用于表征用户设备本地执行任务时的执行能耗的第一任务能耗模型；
11、所述第二任务执行模型包括用于表征边缘服务器执行任务时的处理数据量的第二任务计算模型和用于表征边缘服务器执行任务时的执行能耗的第二任务能耗模型；
12、所述多队列模型包括包含所有任务数据的任务队列模型和包含所有任务执行能耗的能耗队列模型。
13、在一些可选的实施例中，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
14、基于dqn算法，以第一任务计算模型和第二任务计算模型的处理数据量最大、第一任务能耗模型和第二任务能耗模型的执行能耗最小为目标，对mec模型进行求解，得到任务卸载策略。
15、在一些可选的实施例中，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
16、基于dqn算法，以第一任务计算模型和第二任务计算模型的处理数据量最大、第一任务能耗模型和第二任务能耗模型的执行能耗最小为目标，以任务队列模型中包含的任务数据的大小始终处于预设范围，任务能耗队列模型中包含的执行能耗的数量始终处于预设范围为约束条件，对mec模型进行求解，得到任务卸载策略。
17、在一些可选的实施例中，所述用户设备和所述边缘服务器均在由一个时间槽等分形成的若干个时隙中各自对应的任务，且每个时隙仅用以一个任务的执行。
18、在一些可选的实施例中，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
19、基于dqn算法，以第一任务计算模型和第二任务计算模型在一个时隙内的处理数据量、第一任务能耗模型和第二任务能耗模型在对应时隙内的执行能耗最小为目标，以任务队列模型中包含的任务数据的大小始终处于预设范围，任务能耗队列模型中包含的执行能耗的数量始终处于预设范围为约束条件，对mec模型进行求解，得到任务卸载策略。
20、在一些可选的实施例中，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
21、将mec模型表征的mec场景下的任务卸载问题，转换为马尔科夫决策过程，并采用dqn算法对马尔科夫决策过程进行求解，得到任务卸载策略。
22、本发明的实施例还提供了一种任务卸载装置，包括：
23、任务获取模块，用于获取移动边缘计算mec场景中多个不同用户设备上待执行的任务；
24、模型构建模块，用于构建本地执行各用户设备上待执行的任务的第一任务执行模型；构建将所有用户设备上待执行的任务从对应的用户设备传输至边缘服务器的任务传输模型；构建边缘服务器执行所有用户设备上待执行的任务的第二任务执行模型；构建包含所有用户设备上待执行的任务的多队列模型；其中，所述多队列模型根据用户设备上待执行的任务，以及第一任务执行模型和/或第二任务执行模型已执行的任务动态变化；
25、模型组合模块，用于将第一任务执行模型、任务传输模型、第二任务执行模型和多队列模型组合，形成用于表征mec场景下的任务卸载问题的mec模型；
26、模型求解模块，用于基于dqn算法，对mec模型进行求解，得到任务卸载策略。
27、本发明的实施例还提供了一种计算机设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任务卸载方法。
28、本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任务卸载方法。
29、本发明提供的任务卸载方法，至少具有以下有益效果：
30、本发明中对mec场景下的任务卸载问题进行了模型构建：mec场景下用户设备上的任务有两种执行方式，一种是通过对应的用户设备本地执行，另一种是传输至边缘服务器执行，基于此构建了通过用户设备本地执行各自对应的任务的第一任务执行模型，通过边缘服务器执行所有任务的第二任务执行模型以及将所有任务从对应的用户设备传输至边缘服务器的任务传输模型。同时引入了包含所有任务的多队列模型，而多队列模型根据用户设备上待执行的任务，以及第一任务执行模型和/或第二任务执行模型已执行的任务动态变化，因此保证了mec场景下的任务卸载问题建模的长期性能。此时，对该建模模型进行求解得到的任务卸载策略具有实时决策的能力，避免了出现任务执行失败的情况。
1.一种任务卸载方法，其特征在于，所述方法包括：
2.根据权利要求1所述的任务卸载方法，其特征在于，所述第一任务执行模型包括用于表征用户设备本地执行任务时的处理数据量的第一任务计算模型和用于表征用户设备本地执行任务时的执行能耗的第一任务能耗模型；
3.根据权利要求2所述的任务卸载方法，其特征在于，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
4.根据权利要求3所述的任务卸载方法，其特征在于，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
5.根据权利要求4所述的任务卸载方法，其特征在于，所述用户设备和所述边缘服务器均在由一个时间槽等分形成的若干个时隙中各自对应的任务，且每个时隙仅用以一个任务的执行。
6.根据权利要求5所述的任务卸载方法，其特征在于，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
7.根据权利要求1所述的任务卸载方法，其特征在于，所述基于dqn算法，对mec模型进行求解，得到任务卸载策略，包括：
8.一种任务卸载装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的任务卸载方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的任务卸载方法。
