(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210114199.5 (22)申请日 2022.01.30 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 郭佳杰　许小龙　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 田凌涛 (51)Int.Cl. G06F 9/445(2018.01) (54)发明名称 基于深度强化学习的节能型自动互联车辆 服务卸载方法 (57)摘要 本发明公开了基于深度强化学习的节能型 自动互联车辆服务卸载方法， 该发明提出名为 ECAC的分布式服务卸载方法。 ECA C基于异步深度 强化学习方法——异步优势行动者 ‑评论家 (A3C)算法， 将A3C映射到了端 ‑边‑云协同系统 中。 其核心思想是将ECD映射为A3C中的智能体， 指导自己对于车辆服务的卸载决策； 将云服务器 映射为A3C中的中央网络， 用于统筹和归纳各智 能体的学习结果， 并在每次参数更新后将自身参 数拷贝到对应的ECD中。 整个算法具备系统的需 求动态学习、 自动调整卸载策略的特征， 能够满 足不同时延敏感度的服务的需求。 并且能长远地 兼顾能耗和时延问题， 做到绿 色、 高质量 服务。 权利要求书5页 说明书16页 附图2页 CN 114528042 A 2022.05.24 CN 114528042 A 1.基于深度强化学习的节能型自动互联车辆服务卸载方法， 其特征在于： 基于由各车 辆、 各边缘计算设备、 以及云服务器构成的端 ‑边‑云协同系统下， 各边缘计算设备分别与各 预设区域一一对应， 针对预设时间段内各预设区域中的服务请求， 端 ‑边‑云协同系统执行 以下步骤， 得到各边缘计算设备分别对应的车辆服务卸 载模型， 实现各边缘计算设备为对 应预设区域的服 务请求提供相应的服 务卸载决策： 步骤A： 针对端 ‑边‑云协同系统， 基于各边缘计算设备的服务卸载决策模型要求服务卸 载到边缘计算设备执行时的时延模型和能耗模 型， 以及各边缘计算设备的服务卸载决策模 型要求服务卸载到云服务器执行时的时延模型和能耗模型， 构建端 ‑边‑云协同系统的目标 函数与约束条件； 步骤B： 基于端 ‑边‑云协同系统 的目标函数与约束条件， 针对预设时间段内各预设区域 中的服务请求， 采用异步强化学习方法对各边缘计算设备 的服务卸 载决策模型进行优化， 得到各边 缘计算设备分别一 一对应的车辆服 务卸载模型； 步骤C： 基于各边缘计算设备分别一一对应的车辆服务卸载模型， 各边缘计算设备为对 应区域的自动车辆的服 务请求提供相应的服 务卸载决策。 2.根据权利要求1所述的基于深度强化学习的节能型自动互联车辆服务卸载方法， 其 特征在于： 所述步骤A中各边缘计算设备执行服务卸载决策时由步骤A1至步骤A3,得到各边 缘计算设备 的服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗 模型， 以及各边缘计算设备的服务卸载决策模型要求服务卸载到云服务器执行时的时延模 型和能耗模型； 步骤A1： 针对预设时间段内任意边缘计算设备中的第i个服务si， 车辆到边缘计算设备 的最大通信速率表示 为： 其中， Bi表示分配给服务si的带宽， pi表示自动车辆vi与边缘计算设备间的传 输功率,vi 表示产生服务请求的车辆， gi表示自动车辆vi与边缘计算设备间的信道增益， N0则代表信道 的噪声功率密度； 当服务在车辆 本地计算， 总时延表示 为： 其中， filoc表示产生 服务si的自动车辆的本地计算速率， ci表示服务si的计算量； 车辆本地的能耗 表示为： 其中， k表示能量因子； 步骤A2： 当服务卸载决策模型要求服务卸载到边缘计算设备执行时的时延模型和能耗 模型， 计算过程如下： 步骤A2.1： 针对服务 si被服务卸载决策模型要求服务卸载到边缘计算 设备执行时， 边缘 计算设备针对该服 务si分配计算资源；权　利　要　求　书 1/5 页 2 CN 114528042 A 2车辆到边缘计算设备的传输时延 表示为： 式中， di表示服务si的数据量； 车辆到边缘计算设备对应的传输能耗 表示为： 式中， pi表示车辆到边缘计算设备的传输功率， 表示车辆到边缘计算设备的传输时 间； 步骤A2.2： 边缘计算设备中总的计算资源平均地划分为各个可分配的子计算资源， 每 个子计算资源贡献固定份额的计算速率fi， 即 其中 表示为服务si分配的 子计算资源个数， Csingle表示每个子计算资源的算力， 当服务传输到边缘计算设备后， 边缘 计算设备基于该服 务所分配的计算资源执 行该服务， 服务的计算 耗时 为： 该服务的计算能耗 为： 步骤A2.3： 最后， 基于从该服务 si全部上传到边缘计算设备中到被边缘计算 设备执行该 服务的过程中， 存在等待边 缘计算设备服 务器空出 个子计算资源算力的时延 式中， 表示服务开始执行 的时刻， 而 表示服务数据全部卸 载到边缘计算 设备中的时刻； 步骤A2.4： 综上， 当服务卸载到边缘计算设备执行时， 整个端 ‑边‑云协同系统的总时延 表示为： 整个端‑边‑云协同系统的总能耗 表示为： 步骤A3:当服务卸载决策模型要求服务卸载到云服务器执行时的时延模型和能耗模 型， 计算过程如下： 步骤A3.1： 针对服务 si被服务卸载决策模型要求服务卸载到云服务器 执行时， 先将服务 数据卸载到边 缘计算设备中， 再从边 缘计算设备卸载到云服 务器中； 从边缘计算设备到云服 务器之间的数据传输时延 表示为：权　利　要　求　书 2/5 页 3 CN 114528042 A 3