(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111371907.5 (22)申请日 2021.11.18 (71)申请人 武汉光目科技有限公司 地址 430074 湖北省武汉市东湖高新 技术 开发区关东科技工业园3-3栋4楼17 号-01 (72)发明人 易俊　雷力　胡海　魏轶　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 代理人 李君　廖盈春 (51)Int.Cl. G06F 30/27(2020.01) G06F 30/3323(2020.01) G06N 20/00(2019.01) H01P 1/207(2006.01) (54)发明名称 一种基于强化学习的腔体滤波器调节方法 及装置 (57)摘要 本发明提供了一种基于强化学习的腔体滤 波器调节方法及装置， 属于工业智能制造、 人工 智能应用领域， 方法包括以下步骤： 根据腔体滤 波器当前状态的S参数曲线， 利用训练完毕的迁 移学习模型控制机械臂转动螺杆， 获取目标S参 数曲线， 完成对腔体滤波器的调节； 其中， 迁移学 习模型由在强化学习模型输出端增加一层全连 接神经网络构建， 输出螺杆的旋转量； 强化学习 模型为根据当前电路的S参数曲线， 更新电容值 和/或电感值的模型。 本发明提高了对腔体滤波 器的调节效率。 权利要求书2页 说明书6页 附图2页 CN 114117901 A 2022.03.01 CN 114117901 A 1.一种基于强化学习的腔体滤波器调节方法， 其特 征在于， 包括以下步骤： 根据腔体滤波器当前状态的S参数曲线， 利用训练完毕的迁移学习模型控制机械臂转 动螺杆， 获取目标S参数曲线， 完成对腔体滤波器的调节； 其中， 迁移学习模型由在强化学习模型输出端增加一层全连接神经网络构建， 输出螺 杆的旋转量； 所述强化学习模型为根据当前电路的S参数曲线， 更新电容值和/或电感值的 模型。 2.根据权利要求1所述的腔体滤波器调节方法， 其特征在于， 所述强化学习模型的建立 方法， 包括以下步骤： 采用射频微波系统仿真软件对所述腔体滤波器的结构进行描述， 生成腔体滤波器对应 的snp描述文件； 将snp描述文件作为 等效电路的核导入电路仿真软件中设计的等效电路中； 根据腔体滤波器的结构， 结合等效电路的核在电路仿真软件上搭建腔体滤波器的等效 电路； 其中， 在等效电路中采用电感表征腔 体滤波器中的耦合螺杆， 采用电容表征腔 体滤波 器中的调频螺杆； 以所述等效电路当前状态的S参数曲线以及当前状态的S参数曲线与目标S参数曲线的 距离为输入， 以电容和/或电感的更新值为输出， 以期望奖励的总和最大化创建目标函数， 建立强化学习模型。 3.根据权利要求1或2所述的腔体滤波器调节方法， 其特征在于， 所述强化学习模型的 训练方法为： 在等效电路中获取当前电路的S参数曲线， 并根据当前S参数曲线与目标S参数曲线的 距离， 输出电容和/或电感的更新 值； 将等效电路更新后获取 更新状态后的S参数曲线； 若通过小于预设迭代次数的电容和/或电感的更新 次数， 能够获取与目标S参数曲线距 离小于设定阈值的当前S参数曲线， 则判定强化学习模型已经训练完毕。 4.根据权利要求1或2所述的腔体滤波器调节方法， 其特征在于， 训练所述迁移学习模 型的方法为： (1)在强化学习模型输出端增 加一层全连接神经网络， 构建迁移学习模型； (2)通过迁移学习模型控制机 械臂以转动螺杆， 获取当前S参数曲线； (3)将当前S参数曲线与目标S参数曲线对比， 迁移学习模型输出螺杆的旋转量， 控制机 械臂以转动螺杆， 更新当前S参数曲线； (4)重复步骤(3)， 直至当前S参数曲线与目标S参数曲线的距离小于设定阈值； (5)当重复步骤(3)的次数小于第一预设迭代次数， 能够获取满足设定阈值要求的S参 数曲线， 则判定 迁移学习模型完成训练。 5.一种基于强化学习的腔体滤波器调节装置， 其特 征在于， 包括： 矢量网络分析仪， 用于获取腔体滤波器当前状态的S参数曲线； 迁移学习系统， 用于根据腔体滤波器当前状态的S参数曲线， 利用训练完毕的迁移学习 模型控制机 械臂转动螺杆； 机械臂用于根据迁移学习模型输出的螺杆的旋转 量转动螺杆； 其中， 迁移学习模型由在强化学习模型输出端增加一层全连接神经网络构建， 输出螺权　利　要　求　书 1/2 页 2 CN 114117901 A 2杆的旋转量； 所述强化学习模型为根据当前电路的S参数曲线， 更新电容值和/或电感值的 模型。 6.根据权利要求5所述的腔体滤波器调节装置， 其特征在于， 所述强化学习模型由强化 学习模块建立， 所述强化学习模块包括： 射频微波系统仿真软件单元， 用于对所述腔体滤波器的结构进行描述， 生成腔体滤波 器对应的snp描述文件； 电路仿真软件单元， 用于根据腔体滤波器的结构， 结合等效电路的核搭建腔体滤波器 的等效电路； 其中， 等效电路 的核为snp描述文件； 在等效电路中采用电感表征所述腔体滤 波器中的耦合螺杆， 采用电容表征 所述腔体滤波器中的调频螺杆； 强化学习模型建立单元， 用于以所述等效电路当前状态的S参数曲线以及 当前状态的S 参数曲线与目标S参数曲线的距离为输入， 以电容和/或电感的更新值为输出， 以期望奖励 的总和最大化创建目标函数， 建立强化学习模型。 7.根据权利要求5或6所述的腔体滤波器调节装置， 其特征在于， 所述强化学习模型的 训练方法为： 在等效电路中获取当前电路的S参数曲线， 并根据当前S参数曲线与目标S参数曲线的 距离， 输出电容和/或电感的更新 值； 将等效电路更新后获取 更新状态后的S参数曲线； 若通过小于预设迭代次数的电容和/或电感的更新 次数， 能够获取与目标S参数曲线距 离小于设定阈值的当前S参数曲线， 则判定强化学习模型已经训练完毕。 8.根据权利要求5或6所述的腔体滤波器调节装置， 其特征在于， 训练所述迁移学习模 型的方法为： (1)在强化学习模型输出端增 加一层全连接神经网络， 构建迁移学习模型； (2)通过迁移学习模型控制机 械臂以转动螺杆， 获取当前S参数曲线； (3)将当前S参数曲线与目标S参数曲线对比， 迁移学习模型输出螺杆的旋转量， 控制机 械臂以转动螺杆， 更新当前S参数曲线； (4)重复步骤(3)， 直至当前S参数曲线与目标S参数曲线的距离小于设定阈值； (5)当重复步骤(3)的次数小于第二预设迭代次数， 能够获取满足设定阈值要求的S参 数曲线， 则判定 迁移学习模型完成训练。权　利　要　求　书 2/2 页 3 CN 114117901 A 3