(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388554.4 (22)申请日 2022.11.08 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 王家烨　金波　张凤莲　武明虎　 赵楠　王茹　杜万银　孙萌　 杨成健　郭乐铭　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 鲁力 (51)Int.Cl. H04W 16/14(2009.01) H04B 17/391(2015.01) G06N 20/00(2019.01) (54)发明名称 一种基于深度强化学习的物联网频谱分配 优化方法及系统 (57)摘要 本发明属于工业物联网频谱 管理技术领域， 具体涉及一种基于深度强化学习的物联网频谱 分配优化方法及系统。 考虑到全局信道信息未知 的情况下， 提出一种基于多智能体深度强化学习 的工业物联网频谱分配优化方法。 首先， 构造多 个设备对设备通信链路的系统模型。 其次， 构建 优化问题， 结合频谱子带和传输功率等约束条件 以优化物联网网络综合效率。 接着， 将优化问题 描述为马尔可夫决策过程。 最后， 针对上述优化 问题具有较大的状态空间和动作空间， 提出了多 智能体深度Q网络算法。 借助于经验回放机制和 目标网络 策略， 以实现最优的频谱子带选择和传 输功率分配策略。 权利要求书4页 说明书10页 CN 115442812 A 2022.12.06 CN 115442812 A 1.一种基于深度强化学习的物联网频谱分配优化方法， 其特 征在于， 包括： 构造多个设备对设备通信链路的系统模型； 基于构造的系统模型采集系统相关参数， 包括蜂窝通信链路的信噪比和在频谱子带上 的传输速率， 也包括设备对设备通信链路的信噪比、 所选择的频谱子带及其传输功率； 构建优化目标函数以及约束条件； 将采集的相关参数输入至优化目标函数以及约束条件， 基于马尔可夫 决策采用多智能 体深度Q网络算法对目标函数进 行求解， 输出最优的频谱子带选择和传输功 率分配策略， 包 括蜂窝通信链路效率、 多个设备对设备通信链路效率以及最后所考虑的工业物联网网络效 率。 2.根据权利要求1所述的一种基于深度强化学习的物联网频谱分配优化方法， 其特征 在于， 多个设备对设备通信链路的系统模型包括： 一个基站； 个蜂窝通信链路； 个设备对设备通信链路； 其中， 蜂窝通信链路用于获取高数据速率的服务， 多个设备对设备通信链路用于设备 之间的双向通信； 假设蜂窝通信链路的频谱被分成 个正交频谱子带， 且每个频谱子带带 宽为 。 3.根据权利要求2所述的一种基于深度强化学习的物联网频谱分配优化方法， 其特征 在于： 多个设备对设备通信链路可能有不同的频谱子带选择， 二元频谱分配向量被定义为 ， 并且， 当设备对设备通信链路 复用蜂窝 通信链路的频谱子带时， ； 当 时， 设备对设备通信链路未复用蜂窝 通信链路的频谱子带； 定义每个设备对设备通信链路最多只能复用一个频谱子带， 即： 。 4.根据权利要求3所述的一种基于深度强化学习的物联网频谱分配优化方法， 其特征 在于： 蜂窝通信链路在频谱子带 上的信噪比： 蜂窝通信链路在频谱子带 上数据的传输 速率可以表示 为： 设备对设备通信链路 在频谱子带 上的信噪比：权　利　要　求　书 1/4 页 2 CN 115442812 A 2干扰功率 可以表示 为： 设备对设备通信链路 在频谱子带 上的传输 速率为： 其中， 蜂窝通信链路在频谱子带 上到基站的信道增益被表示为 ； 将 表示为频 谱子带 上蜂窝通信 链路 的传输功率； 是噪声功率， 为二元频谱分配向量， 表 示频谱子带 上设备对设备通信链路 的传输功率， 是设备对设备通信链 路 在频谱 子带 上到基站的干扰信道增益； 为频谱子带带宽， 是蜂窝通信链路在频谱子带 上 信噪比； 是频谱子带 上的设备对设备通信链路 在频谱子带 的信道功率增益， 是设备对设备通信链路 在频谱子带 上的接收到的干扰功 率； 为二元频谱分配向量， 是蜂窝通信链路 到设备对设备通信链路 的干扰信道增益， 是设备对设备通信 链路 到设备对设备通信链路 的干扰信道增益。 5.根据权利要求4所述的一种基于深度强化学习的物联网频谱分配优化方法， 其特征 在于： 将蜂窝通信链路效率 和设备对设备通信链路效率 加权和定义为工业物联网网 络效率： 其中， 和 是平衡蜂窝 通信链路和设备对设备通信链路效率的权 重； 蜂窝通信链路效率表示 为： 设备对设备通信链路的效率表示 为： 权　利　要　求　书 2/4 页 3 CN 115442812 A 3