(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210828851.X (22)申请日 2022.07.14 (65)同一申请的已公布的文献号 申请公布号 CN 115022937 A (43)申请公布日 2022.09.06 (73)专利权人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 吕增威　李鹏飞　魏振春　张本宏　 徐娟　石雷　 (74)专利代理 机构 合肥和瑞知识产权代理事务 所(普通合伙) 34118 专利代理师 金宇平 (51)Int.Cl. H04W 40/24(2009.01) H04L 41/12(2022.01) H04L 41/142(2022.01) H04L 67/60(2022.01) G06K 9/62(2022.01)G06F 9/50(2006.01) G06N 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 WO 202123 3053 A1,2021.1 1.25 CN 111800828 A,2020.10.20 CN 113114756 A,2021.07.13 CN 114374741 A,202 2.04.19 WO 2021139537 A1,2021.07.15 US 2020366690 A1,2020.1 1.19 CN 112367353 A,2021.02.12 常宇等.无线网络中基 于深度强化学习的资 源分配研究. 《测试技 术学报》 .2020,(第02期), Xiaojie Wang etc. .Imitati on Learning Enabled Task Sc heduling. 《IEEE Transacti ons on Mobile Computi ng》 .2020, 审查员 王本静 (54)发明名称 拓扑特征提取方法和考虑拓扑特征的多边 缘协作调度方法 (57)摘要 一种拓扑特征提取方法和考虑拓扑特征的 多边缘协作调度方法； 考虑不同区域的流量差异 将全局边缘节 点划分到若干簇群， 采用分层次的 图注意力网络， 可 以从簇内、 簇间两个层次计算 智能体间的注 意力， 从而提取全局边缘服务器物 理的物理拓扑和抽象拓扑。 策略模 型采用拓扑信 息作为输入以生成边缘服务器的动作， 增强了边 缘服务器间协同合作的紧密程度， 有利于优化多 智能体协作策略。 权利要求书5页 说明书14页 附图5页 CN 115022937 B 2022.11.11 CN 115022937 B 1.一种考虑拓扑特征的多边缘协作调度方法， 其特征在于， 首先以马尔科夫模型定义 边缘服务器的动作、 观测状态和立即奖励， 以边缘网络中的边缘服务器作为智能体， 构建与 智能体一一对应的策略模型， 通过策略模型根据各智能体某一时刻上的观测状态生成对应 的智能体在该时刻上 的决策动作； 所述动作用于指定智能体中任务的迁移方向， 决策动作 为最终选定的动作； 所述任务为智能体覆盖区域内终端等待卸载的任务或者智能体邻居节 点迁移到该智能体的卸载任务； 所述策略模型包括第一拓扑表示网络、 第二拓扑表示网络和多智能体actor ‑critic网 络模型； 第一拓扑表示网络和第二拓扑表示网络均基于神经网络构建， 用于实现拓扑特征 提取方法； 所述拓扑特征提取方法， 适用于由终端和边缘节点构成的边缘网络， 首先根据边缘服 务器所处区域流量差异将所有边缘节点划分为K个簇群； 第k个簇群记作Ck， k∈{1,2, …, K}； 定义边缘网络中各边缘节点的边缘服务器作为智能体； 簇群Ck中第i个智能体记作 esk,i， 智能体esk,i的邻居节点的集合记作N(k,i)， 即(k ’,i’)∈N(k,i)时， 智能体esk’,i’为智 能体esk,i的邻居节点且簇群Ck’为智能体esk,i的邻居簇群； 然后提取各智能体具有拓扑特征的状态表示， 智能体esk,i的具有拓扑特征的状态表示 的提取步骤如下； SA1、 计算 嵌入向量hk,ik’,t， 嵌入向量hk,ik’,t用于聚合t时刻下智能体esk,i的多维观测数 据oak,it的特征与智能体esk’,i’的多维观测数据oak’,i’t的特征； k ’∈{1,2,…,K}； 其计算公 式为： 其中， fk’ inter为计算智能体esk,i在簇群Ck’的簇内状态信息的表 示网络， wk’ inter和ak’ inter 分别表示用于计算智能体esk,i所在边缘节点与邻居簇群Ck’内边缘节点之间注意力的转换 矩阵和转换向量； SA2、 计算智能体esk,i在t时刻的最终状态 表示向量hk,it， 计算公式为： fexter为依据智能体 esk,i的簇内状态信息聚合得到最终状态的表示网络， aexter表示用于 计算esk,i与其邻居簇群的簇间注意力的转换向量； 1≤k ’≤K； C(k,i)表示智能体esk,i的邻 居簇群的集 合； SA3、 在边缘网路的拓扑连接上， 距离智能体esk,i最远的智能体为智能体esk,i的nk,i跳 邻居节点； 判断SA1、 SA2的执行轮次是否达到nk,i； 否， 则将hk,it作为智能体esk,i拓扑特征提 取的中间状态表示， 令oak,it＝hk,it， oak’,i’t＝hk’,i’t， 然后返回步骤SA1； 是， 则输 出hk,it作为权　利　要　求　书 1/5 页 2 CN 115022937 B 2智能体esk,i的具有拓扑 特征的状态 表示； 第一拓扑网络用于以ok,it和ok’,i’t分别作为oak,it和oak’,i’t的初始值， 以执行上述的拓 扑特征提取方法， 获取智能体esk,i的具有拓 扑特征的状态表示hk,it记作ahk,it； ok,it和ok’,i’t 分别表示智能体esk,i和esk’,i’在t时刻上的观测状态； 第二拓扑 网络用于以ok,it||ak,it和ok’,i’t||ak’,i’t分别作为oak,it和oak’,i’t的初始值， 以 执行上述的拓扑特征提取方法， 获取智能体esk,i的具有拓扑特征的状态表示hk,it记作 chk,it； ak,it和ak’,i’t分别表示智能体esk,i和esk’,i’在t时刻上的决策动作； | |表示数据拼接； 智能体esk,i的策略模型中actor网络的输入为第一拓扑表示网络的输出， actor网络的 输出为动作概率集合， 即智能体esk,i执行各种动作的概率的集合， 智能体esk,i在t时刻上的 决策动作ak,it为t时刻上智能体esk,i的策略模型中actor网络输出的动 作概率集合πk,it(ah； θk,iπ)中最大概率对 应的动作； ah表示actor网络的输入即第一拓扑表示网络的输出， θk,iπ表 示智能体esk,i的actor网络的参数； critic网络的输入为第二拓扑表示网络的输出chk,it； critic网络的输出为决策动作 ak,it对应的价值评价Qk,it(ch； θk,iQ)； ch表示critic网络 的输入即第二拓扑表示网络 的输 出， θk,iQ表示智能体esk,i的critic网络的参数； 定义t时刻上智能体esk,i的决策动作ak,it＝(Num‑esk,i， Num‑nek,i1， Num‑nek,i2，…Num‑ nek,iz(k,i)…， Num‑nek,iZ(k,i)， Num‑cloud)为独热向量， ak,it的每一个维度指代智能体esk,i的 任务迁移方向， nek,iz(k,i)指的是智能体esk,i的第z(k,i)个邻居节点， 1≤z(k,i)≤Z(k,i)， Z (k,i)表示智能体esk,i的邻居节点的数量； cloud表示云端服务器； 令： M∈{esk,i， nek,i1， nek,i2，…nek,iz(k,i)…， nek,iZ(k,i)， cloud}, M’∈{esk,i， nek,i1， nek,i2，…nek,iz(k,i)…， nek,iZ(k,i)， cloud}， 且M ’≠M； 当智能体esk,i在t时刻的决策动作为向智能体M 迁移任务， 则Num ‑M＝1， Num ‑M’＝0； 定义ok,it表示智能体esk,i在时刻t的观测状态， 其中， EVN(k,i)t为t时刻上智能体 esk,i与邻居节点之间数据传输速度大小的集合， N(k,i) 表示智能体esk,i的邻居节点的编号集合； δk,it为t时刻上智能体esk,i的待决策任务的大小， 待决策任务指的是等待决策是否要迁移的任务； Tk,it表示t时刻上智能体esk,i的待决策任 务的剩余迁移容忍时间； RUk,it表示t时刻上智能体esk,i的计算资源利用率； RUN(k,i)t表示t时 刻上智能体esk,i的邻居节点的计算资源利用率的集合； 表示t时刻上智能体esk,i的邻居 簇群平衡级别参数的集合； ξk,it表示t时刻上智能体esk,i的邻居簇群的平均资源利用率的 集合； 簇群的平均资源利用率 为簇群内各智能体的计算资源利用率的均值。 2.如权利要求1所述的考虑拓扑特征的多边缘协作调度方法， 其特征在于， 定义 e(k,i)(k’,i’)t表示智能体esk,i与智能体esk’,i’之间的注意力系数， 其代表智能体esk’,i’的特征 对于智能体esk,i的重要性 程度； e(k,i)(k′