(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111249185.6 (22)申请日 2021.10.26 (71)申请人 山东大学 地址 250101 山东省济南市高新区舜华路 1500号 (72)发明人 王华　花梦圆　刘小慧　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 代理人 朱忠范 (51)Int.Cl. H04L 41/0826(2022.01) H04L 41/0893(2022.01) H04L 41/08(2022.01) G06N 20/00(2019.01) (54)发明名称 一种虚拟网络资源的部署方法和系统 (57)摘要 本公开提供了一种虚拟网络资源的部署方 法及系统， 包括： 获取虚拟网络资源相关数据； 依 据获取的虚拟网络资源相关数据和预设的虚拟 网络资源部署 模型， 得到虚拟网络资源的部署方 案； 其中， 所述虚拟网络资源部署模型在弹性通 信网络中， 以最小化部署成本和最小化信息年龄 为优化目标， 采用自适应的深度强化学习模型得 到帕累托最优解， 进行虚拟网络资源的部署； 本 公开利用多目标优化， 能够得到部署成本和 信息 年龄同时较优的方案； 利用自适应的深度强化学 习模型， 从而能够处理大量的数据， 并且能够应 对网络以及用户需求的动态变化。 权利要求书2页 说明书5页 附图2页 CN 113992520 A 2022.01.28 CN 113992520 A 1.一种虚拟网络资源的部署方法， 其特 征在于， 包括： 获取虚拟网络资源相关数据； 依据获取的虚拟网络资源相关数据和预设的虚拟网络资源部署模型， 得到虚拟网络资 源的部署方案； 其中， 所述虚拟网络资源部署模型在弹性通信网络中， 以最小化部署成本和最小化信 息年龄为优化 目标， 采用自适应的深度强化学习模型得到帕累托最优解， 进行虚拟网络资 源的部署。 2.如权利要求1所述的一种虚拟网络资源的部署方法， 其特征在于， 所述的弹性通信网 络包括环境可感知、 万物可互联、 能力可调整、 属性可变化和容 量可伸缩特 征。 3.如权利要求1所述的一种虚拟网络资源的部署方法， 其特征在于， 所述信息年龄， 指 描述信息的新鲜度， 是捕获状态更新随机性的指标。 4.如权利要求1所述的一种虚拟网络资源的部署方法， 其特征在于， 所述自适应的深度 强化学习模型， 将 深度学习与强化学习结合， 实现从 感知到动作的端到端的算法。 5.如权利要求1所述的一种虚拟网络资源的部署方法， 其特征在于， 所述帕累托最优 解， 是指在最小化部署成本和最小化信息年龄多目标背景下， 在变量空间中不存在其他解 优于拍累托 最优解。 6.如权利要求1所述的一种虚拟网络资源的部署方法， 其特征在于， 进行虚拟网络资源 的部署包括： 获取网络 拓扑图， 确定虚拟网络节点和虚拟链路的数量； 初始化帕累托近似解为空集， 初始化智能体的状态， 根据虚拟网络节点上的部署 成本、 到达每个虚拟网络节点的信息年龄和定义的两个常量， 确定优化目标函数； 采用自适应的深度强化学习模型 得到帕累托 最优解， 进行虚拟网络资源的部署。 7.如权利要求6所述的一种虚拟网络资源的部署方法， 其特征在于， 采用自适应的深度 强化学习模型 得到帕累托 最优解包括： 通过更新参数u来使Q 函数逼近最优Q 值， Q‑Learning的更新公式如下： Q*(s， a)＝Q(s， a)+α(r+γmaxa′Q(s′， a′)‑Q(s， a)) 其中， u为网络参数， s为智能体的状态， a为智能体下一步所采取的动作， r为在s状态下 采取a动作所 带来的回报， γ为 折扣因子； 损失函数如下： L(u)＝E[(TargetQ ‑Q(s， a； u) )2] 目标为： ″ ′ TargetQ＝r+γmaxaQ(s， a； u) 求L(u)关于u 的梯度， 更新网络参数u； 把每个时间步智能体与环境交互得到的转移样 本储存到回放记忆单元， 用于训练； 根据损失函数更新MainNet的参数， 经过多轮迭代， 将 MainNet的参数复制给TargetNet， 最后将结果给帕累托近似解， 得到部署虚拟网络节点解 集。 8.一种虚拟网络资源的部署系统， 其特 征在于， 包括数据采集模块和方案生成模块； 所述数据采集模块， 被 配置为： 获取虚拟网络资源相关数据；权　利　要　求　书 1/2 页 2 CN 113992520 A 2所述方案生成模块， 被配置为： 依据获取的虚拟网络资源相关数据和预设的虚拟网络 资源部署模型， 得到虚拟网络资源的部署方案； 其中， 所述虚拟网络资源部署模型在弹性通信网络中， 以最小化部署成本和最小化信 息年龄为优化 目标， 采用自适应的深度强化学习模型得到帕累托最优解， 进行虚拟网络资 源的部署。 9.一种计算机可读存储介质， 其上存储有计算机程序， 用于指纹图谱相似度计算， 其特 征在于， 该程序被处理器执行时实现了如权利要求1 ‑7任一项所述的虚拟网络资源的部署 方法的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现了如权利要求 1‑7任一项所述的虚拟 网络资源的部署方法的步骤。权　利　要　求　书 2/2 页 3 CN 113992520 A 3