(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293485.9 (22)申请日 2022.10.21 (71)申请人 济南浪潮数据技 术有限公司 地址 250000 山东省济南市自由贸易试验 区济南片区浪潮路1036号 浪潮科技园 S05楼S311室 (72)发明人 张书铭　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任洁芳 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/46(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/82(2022.01) (54)发明名称 一种计算机视觉能力迁移方法、 装置、 设备 及存储介质 (57)摘要 本申请公开了一种计算机视觉能力迁移方 法、 装置、 设备及存储介质， 涉及神经网络技术领 域。 该方法包括： 分别利用RGB图片集对RGB相机 模型和事件图片集对事件相机模型进行同步训 练， 以得到各自对应的特征值； 对所述特征值进 行矩阵运算， 以得到与所述RGB相机模型对应的 第一传递参数和与所述事件相机模型对应的第 二传递参数； 基于所述第一传递参数与所述第二 传递参数， 利用预设损失值确定公 式确定出总损 失值， 以通过知识蒸馏进行反向传播获得目标事 件相机模型。 通过本申请 的技术方案， 可 以通过 知识蒸馏将RGB相机的关键点检测匹配能力转移 到事件相机， 解决传统RGB相机在夜间或光线较 暗环境中关键点检测模型性能较 差的问题。 权利要求书2页 说明书9页 附图3页 CN 115526804 A 2022.12.27 CN 115526804 A 1.一种计算机 视觉能力迁移方法， 其特 征在于， 包括： 分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练， 以得 到各自对应的特征值； 其中， 所述 RGB图片集为利用RGB相机采集得到的图片集； 所述事件图 片集为利用事 件相机采集得到的图片集； 对所述特征值进行矩阵运算， 以得到与所述RGB相机模型对应的第一传递参数和与所 述事件相机模型对应的第二传递 参数； 基于所述第 一传递参数与 所述第二传递参数， 利用预设损失值确定公式确定出总损失 值， 以通过知识蒸馏进行反向传播获得目标事 件相机模型。 2.根据权利要求1所述的计算机视觉能力迁移方法， 其特征在于， 所述分别利用RGB图 片集对RGB相机模型和事件图片集对事件相机模型进行同步训练， 以得到各自对应的特征 值， 包括： 获取RGB图片集和事件图片集， 并按照预设比例分别 对所述RGB图片集和所述事件图片 集进行分配， 以得到相应数量的训练数据和 测试数据； 将与所述RGB图片集对应的训练数据输入到所述RGB相机模型， 以得到第一特 征值； 将与所述事 件图片集对应的训练数据输入到所述事 件相机模型， 以得到第二特 征值。 3.根据权利要求2所述的计算机视觉能力 迁移方法， 其特征在于， 所述基于所述第 一传 递参数与所述第二传递参数， 利用预设损失值确定公式确定出总损失值， 以通过知识蒸馏 进行反向传播获得目标事 件相机模型之后， 还 包括： 将与所述RGB图片集对应的测试 数据输入到所述RGB相机模型， 以得到第一测试 结果； 将与所述事件图片集对应的测试数据输入到所述目标事件相机模型， 以得到第 二测试 结果； 将所述第一测试 结果与所述第二测试 结果进行对比， 以评估所述目标事 件相机模型。 4.根据权利要求2所述的计算机视觉能力 迁移方法， 其特征在于， 所述对所述特征值进 行矩阵运算， 以得到与所述RGB相机模型对应的第一传递参数和与所述事件相 机模型对应 的第二传递 参数， 包括： 对所述第一特征值进行矩阵运算， 以得到与所述RGB相机模型对应的第一Logits和第 一描述子； 对所述第二特征值进行矩阵运算， 以得到与所述事件相机模型对应的第二Logits和第 二描述子 。 5.根据权利要求4所述的计算机视觉能力 迁移方法， 其特征在于， 所述基于所述第 一传 递参数与所述第二传递 参数， 利用预设损失值确定公式确定出总损失值， 包括： 基于所述第一Logits和所述第二Logits， 利用L2损失值函数确定出目标Logits损失 值； 基于所述第 一描述子和所述第 二描述子， 利用所述L2损失值函数确定出目标描述子损 失值； 基于所述目标Logits损失值与所述目标描述子损失值， 利用预设损失值确定公式确定 出总损失值。 6.根据权利要求5所述的计算机视觉能力迁移方法， 其特征在于， 所述基于所述目标 Logits损失值与所述目标描述子损失值， 利用预设损失值确定公式确定出总损失值， 包括：权　利　要　求　书 1/2 页 2 CN 115526804 A 2将预设权重值和所述目标描述子损失值的乘积与所述目标Logits损失值进行求和， 以 确定出总损失值。 7.根据权利要求1至6任一项所述的计算机视觉能力迁移方法， 其特征在于， 所述基于 所述第一传递参数与所述第二传递参数， 利用预设损失值确定公式确定出总损失值， 以通 过知识蒸馏进行反向传播获得目标事 件相机模型之后， 还 包括： 利用梯度下降学习算法对进行反向传播获得的所述目标事 件相机模型进行 更新。 8.一种计算机 视觉能力迁移装置， 其特 征在于， 包括： 模型训练模块， 用于分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型 进行同步训练， 以得到各自对应的特征值； 其中， 所述 RGB图片集为利用RGB相机采集得到的 图片集； 所述事 件图片集 为利用事 件相机采集得到的图片集； 传递参数确定模块， 用于对所述特征值进行矩阵运算， 以得到与所述RGB相机模型对应 的第一传递 参数和与所述事 件相机模型对应的第二传递 参数； 知识蒸馏模块， 用于基于所述第一传递参数与所述第二传递参数， 利用预设损 失值确 定公式确定出总损失值， 以通过知识蒸馏进行反向传播获得目标事 件相机模型。 9.一种电子设备， 其特征在于， 所述电子设备包括处理器和存储器； 其中， 所述存储器 用于存储计算机程序， 所述计算机程序由所述处理器加载并执行以实现如权利要求 1至7任 一项所述的计算机 视觉能力迁移方法。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机程序； 其中所述计算机程 序被处理器执行时实现如权利要求1至7任一项所述的计算机 视觉能力迁移方法。权　利　要　求　书 2/2 页 3 CN 115526804 A 3