(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210291802.7 (22)申请日 2022.03.24 (65)同一申请的已公布的文献号 申请公布号 CN 114385272 A (43)申请公布日 2022.04.22 (73)专利权人 山东省计算中心 （国家超 级计算 济南中心） 地址 250014 山东省济南市历下区科院路 19号 (72)发明人 王英龙　张玮　杨美红　吴晓明　 郝昊　史慧玲　刘礼彬　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 董雪 (51)Int.Cl. G06F 9/445(2018.01)(56)对比文件 EP 3826368 A1,2021.0 5.26 US 2019220703 A1,2019.07.18 CN 112787920 A,2021.0 5.11 CN 111726826 A,2020.09.2 9 CN 113645637 A,2021.1 1.12 CN 113296845 A,2021.08.24 CN 113271627 A,2021.08.17 CN 112653500 A,2021.04.13 CN 109951897 A,2019.0 6.28 马永浩. 《基 于强化学习的海 事边缘网络卸 载策略研究》 . 《万方》 .2021,全 文. 李前辉. 《边 缘计算环境下面向能耗及效益 优化的任务卸载技 术研究》 . 《万方》 .2021,全 文. 审查员 吴朝烨 (54)发明名称 面向海洋任务的在线自适应计算卸载方法 及系统 (57)摘要 本发明属于网络通信技术领域， 提供了面向 海洋任务的在线自适应计算卸载方法及系统， 实 时的获取环 境信息和用户信息， 并建立准确的模 型描述当前系统， 进而实现高效的任务分配， 保 证时延。 因此与传统离线方法不同， 我们基于强 化学习， 通过从历史分配策略学习以提供当前决 策， 而无需未来信息， 构建卸载模型并实时优化， 以实现设备任务的高效卸载。 本发明所述的方 案， 不仅可以使得能源得到充分利用， 更能有效 降低任务时延， 保证Q oS。 权利要求书2页 说明书8页 附图1页 CN 114385272 B 2022.07.05 CN 114385272 B 1.面向海洋任务的在线自适应 计算卸载 方法， 其特 征在于， 包括如下步骤： 获取海事边缘网络信息和设备计算任务请求信息； 所述设备计算任务请求信息包括： 海洋浮标检测到的潮汐和气象信息， 海中传感器检 测到的水文信息带来的计算任务； 基于海事边缘网络信息和设备计算任务请求信息和构建 的计算卸载决策系统模型得到海洋任务计算卸载决策， 通过估计卸载决策动作对应的奖励 值， 以最大化系统奖励为目标， 通过历史海洋任务计算卸载决策信息训练模型， 基于强化学 习实现任务计算卸载决策； 其中， 所述卸载决策系统模型的构建过程包括： 以最小化设备能量预算约束的平均任 务完成延迟为目标， 以Q oS要求和设备的总能耗 为约束， 构建卸载决策系统模型； 所述设备能量预算约束的平均任务完成延迟为： 式中， α和q i分别是任务完成时延和能量消耗的权重， i代表任务产生的原位置， j表示 边缘服务器节点，  Ki表示在每个位置 i卸载的任务 数，rij表示上行链路传输速 率，lik表示输 入数据大小， 单位为位；  xijk表示布尔变量， N为海事边缘计算网络中存在的边缘服务器的 节点数，Pij表示位置 i处的设备的无线传输功率， vik表示计算强度，fj表示边缘服务器节点 j 分配的计算能力； 基于海洋任务计算卸载决策 执行设备计算任务并将计算结果反馈 至设备。 2.如权利要求1所述的面向海洋任务的在线自适应计算卸载方法， 其特征在于， 所述海 事边缘网络信息包括： 海洋浮标、 海中传感器、 船舶和沿岸相关网络设施构建的传输网络 。 3.如权利要求1所述的面向海洋任务的在线自适应计算卸载方法， 其特征在于， 所述 QoS要求的表达式为： 式中， Dik表示QoS要求。 4.如权利要求1所述的面向海洋任务的在线自适应计算卸载方法， 其特征在于， 所述设 备的总能耗约束的表达式为： 式中，E表示设备的电池容 量。 5.如权利要求1所述的面向海洋任务的在线自适应计算卸载方法， 其特征在于， 所述通 过历史海洋任务计算卸载决策信息训练模型， 基于强化学习实现任务计算卸载决策包括： 建立评估卸载决策动作的奖励函数， 通过能量约束和任务时延两方面进行定义； 通过奖励函数计算每种决策的奖励值， 并通过置信上限策略加入修订值， 形成最终奖 励值； 在每轮中选择最终奖励最大的决策进行执行， 根据选择的决策动作 更新系统中边缘节权　利　要　求　书 1/2 页 2 CN 114385272 B 2点的计算状态， 得到最优决策。 6.面向海洋任务的在线自适应 计算卸载系统， 其特 征在于， 包括： 信息获取模块， 被 配置为： 获取海 事边缘网络信息和设备计算任务请求信息； 所述设备计算任务请求信息包括： 海洋浮标检测到的潮汐和气象信息， 海中传感器检 测到的水文信息带来的计算任务； 卸载决策计算模块， 被配置为： 基于海事边缘网络信息和设备计算任务请求信息和构 建的计算卸载决策系统模型 得到海洋任务计算卸载决策； 其中， 所述卸载决策系统模型的构建过程包括： 以最小化设备能量预算约束的平均任 务完成延迟为目标， 以QoS要求和设备的总能耗为约束， 构建卸载决策系统模型， 通过估计 卸载决策动作对应的奖励值， 以最大化系统奖励为 目标， 通过历史海洋任务计算卸载决策 信息训练模型， 基于强化学习实现任务计算卸载决策； 所述设备能量预算约束的平均任务完成延迟为： 式中， α和q i分别是任务完成时延和能量消耗的权重， i代表任务产生的原位置， j表示 边缘服务器节点，  Ki表示在每个位置 i卸载的任务 数，rij表示上行链路传输速 率，lik表示输 入数据大小， 单位为位；  xijk表示布尔变量， N为海事边缘计算网络中存在的边缘服务器的 节点数，Pij表示位置 i处的设备的无线传输功率， vik表示计算强度，fj表示边缘服务器节点 j 分配的计算能力； 任务执行结果输出模块， 被配置为： 基于海洋任务计算卸载决策执行设备计算任务并 将计算结果反馈 至设备。 7.如权利要求6所述的面向海洋任务的在线自适应计算卸载系统， 其特征在于， 所述通 过历史海洋任务计算卸载决策信息训练模型， 基于强化学习实现任务计算卸载决策包括： 建立评估卸载决策动作的奖励函数， 通过能量约束和任务时延两方面进行定义； 通过奖励函数计算每种决策的奖励值， 并通过置信上限策略加入修订值， 形成最终奖 励值； 在每轮中选择最终奖励最大的决策进行执行， 根据选择的决策动作 更新系统中边缘节 点的计算状态， 得到最优决策。权　利　要　求　书 2/2 页 3 CN 114385272 B 3