(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579266.0 (22)申请日 2022.05.25 (71)申请人 西南交通大 学 地址 611756 四川省成 都市郫都区犀安路 999号 (72)发明人 赵康利　戴朋林　胡凯文　吴晓　 邢焕来　 (74)专利代理 机构 四川省方圆智云知识产权代 理事务所(普通 合伙) 51368 专利代理师 严晓玲 (51)Int.Cl. H04L 67/1001(2022.01) H04L 67/12(2022.01) G06F 9/50(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于移动边缘计算的快速适应任务卸载系 统和方法 (57)摘要 本发明公开了一种基于移动边缘计算的快 速适应任务卸载系统和方法， 系统包括： 应用层、 车辆层和MEC层； 应用层的子任务被卸载到MEC服 务器或本地车辆上运行， 车辆层的每辆车辆都在 本地对部分子任务进行处理。 MEC层根据定义好 的任务卸载方法为所有子任务进行卸载排序， 并 按卸载顺序依次为每个子任务进行卸载调度。 方 法包括： 采样出多个任务卸载场景。 针对特定的 场景， 训练出与之对应的任务卸载策略。 对于每 个场景， 初始化本地目标策略和 网络参数。 根据 本地采样策略选择并执行动作， 获得奖励， 收集 经验轨迹。 更新目标策略网络参数。 对全局策略 的网络参数进行更新。 本发明的优点是： 更加稳 定， 少量训练就能实现对环境的良好探索， 具有 更好的卸载效果。 权利要求书4页 说明书9页 附图1页 CN 115002123 A 2022.09.02 CN 115002123 A 1.一种基于移动边缘计算的任务卸载系统， 其特征在于， 包括： 应用层、 车辆层和MEC 层； 所述应用层包括： 多种任务， 任务都被表述为一个有向无环图(DAG)， 任务中包括多个 子任务， 其中子任务由顶点表示， 子任务之 间的依赖 关系由两个顶 点之间的有向边表示； 此 外， 只有在接 收到子任务本身的相关信息以及所有父节点的处理结果后， 子任务才能开始 运行； 用DAG的拓扑结构、 子任务之间的依赖数据大小和所需的计算资源来刻画任务的特 征， 这些特征随着任务类型的改变而变化； 子任务是最基本的卸载单元， 每个子任务 都可以 被卸载到 MEC服务器或本地车辆上运行； 所述车辆层包括多辆运行着不同类型的车载任务的车辆， 并且每辆车辆都可以在本地 对部分子任务进行处理； 其余的子任务必须通过无线信道被上传到附近的MEC服务器上进 行处理； 车辆具有两个队列： 其中， 本地计算队列用于存储将被本地处理器处理的子任务， 本地传输队列用于存储将被传输到MEC服务器的子任务； 车辆单独或同时对子任务进行计 算和传输； 在每次调度时， 车辆都会封装子任务的相关信息， 并将其 发送给MEC服务器； 相关 信息包括： 子任务本身的数据大小和所需的计算资源量； 所述MEC层包括无线基础设施和MEC服务器， 其中， MEC服务器位于无线基础设施旁边， MEC服务器拥有多个处理器和无线子信道， 能够为附近的车辆提供计算和通信服务； 另一方 面， MEC服务器还起着调度器的作用， 能够为车辆到基础设施(V2I)通信 范围内的所有子任 务做出卸载决策； 更为具体地， 首先， MEC服务器接收车辆传输过来的子任务相关信息， 然 后， 在每次调度时， MEC服务器根据定义好的任务卸载方法为所有子任务进行卸 载排序， 并 按卸载顺序依次为每 个子任务进行卸载调度。 2.根据权利要求1所述的一种基于移动 边缘计算的任务卸载系统， 其特征在于： 所述应 用层包括： 车辆导 航任务、 人脸识别任务和 增强车辆现实任务； 车辆导航任务用于为车辆提供路径搜索和路径规划服 务； 人脸识别任务用于根据采集到的含有人脸的图像或视频流， 自动检测和跟踪人脸， 进 而对人脸进行识别， 从而确定人物身份； 增强车辆现实任务用于将导航和辅助驾驶等虚拟信 息与实景相结合， 为用户提供更自 然的交互。 3.根据权利要求2所述的一种基于移动 边缘计算的任务卸载系统， 其特征在于： 增强车 辆现实任务包括： 目标跟踪、 目标识别、 透 视变换和融合处 理子任务； 人脸识别任务包括： 复制图像、 图像 检测、 特征融合、 分裂识别和展示结果子任务； 车辆导航任务包括： 输入目的地、 获取GPS坐标、 获取最优路径、 获取交通状况、 生成路 径子任务。 4.一种基于移动边缘计算的快速适应任务卸载方法， 其特征在于： 所述快速适应任务 卸载方法是在权利要求1所述任务卸载系统的基础上实现的； 所述快速适应任务卸载 方法， 包括以下步骤： 按照任务分布ρ(T)采样出多个任务卸载场景； 然后， 在本地训练循环中， 针对特定的场 景Ti， 训练出与之对应的任务卸载策略； 对于每个Ti， 首先初始化本地目标策略和本地采样 策略的网络参数为全局策略的网络参数， 并清空经验池； 之后， 根据本地采样策略选择并执 行动作， 获得奖励， 收集经验轨迹； 接下来， 本地训练根据公式(1 ‑1)更新目标策略网络参数权　利　要　求　书 1/4 页 2 CN 115002123 A 2m次； 全局训练中根据公 式(1‑2)对全局策略的网络参数进 行更新， 其中θ为全局策略的初始 网络参数， 为在场景Ti中训练并且更新之后的网络参数， α 为本地训练的学习率， m为本地 训练的更新次数， J( θ )为目标函数， n 为采样的任务卸载场景 数量； 重复上述步骤直至算法终止， 就获得具有快速适应能力的元卸载策略； 通过将元卸载 策略的网络参数作为初始参数， 并且在少量的本地训练迭代后， 就能够生成适用于新的任 务卸载场景的策略。 5.根据权利要求4所述的快速适应任务卸载方法， 其特征在于： 所述方法基于Seq2Seq 的强化学习模型， 将多任务卸载问题考虑 为多个马尔科夫决策过程(MDP)， 其中每个场景Ti 对应于一个MD P； MDP的基本元 素设计如下： 设参数： 某个场景Ti， 车辆任务的DAG， R个上传子信道带宽ω1,ω2,…,ωR， 下行信道带 宽ωd， 本地车辆的计算能力fv和M个MEC服务器的计算能力f1,f2,…,fM； a.系统状态定义如下： S＝{st|st＝(e,a1:t‑1)},t∈[1,N]     (1‑3) 其中， e为任务的特 征表示， a1:t‑1为前t‑1个子任务的卸载选择， N代 表子任务总数； 为了转换DAG为序列， 根据子任务的层级对其进行卸载排序； 用e＝[e0,e1,…,ej,,eN‑1]代表任务的特征表示， 其中， ej代表子任务tv,p的特征表示， tv,p的卸载索引为j； ej的具体定义如公式(1 ‑4)所示： 其中ej包括子任务卸 载索引Iv,p、 子任务的自身数据大小 子任务所需的计算资源 量cv,p、 处理器处理速率fv,f1,…,fM和子信道带宽 ω1,…,ωR； b.动作空间： 采用如公式(1 ‑5)所示的R ×M+1维二元向量来表示时间步t的卸载动作， 其中， atk,k＝(r‑1)×M+m代表第r个子信道是否被用来传输数据以及第m个处理器是否被用 来处理子任务； 特别地， at0＝1表示子任务在本地车辆上进行计算； at＝[at0,at1,…,atk,…]    (1‑5) c.奖励函数： 奖励被定义为之前子任务tv′,p′的计算完成时间CE(tv′,p′)与目前子任务 tv,p的计算完成时间C E(tv,p)的差， 如公式(1 ‑6)所示： 其中， tv′,p′在tv,p之前被调度。 6.根据权利要求5所述的快速适应任务卸载方法， 其特征在于： 所述根据子任务的层级 对其进行卸 载排序的规则为： 位于更低层级的子任务的调度优先级更高， 并且拥有更小的权　利　要　求　书 2/4 页 3 CN 115002123 A 3