(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111682785.1 (22)申请日 2021.12.3 0 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 何烨林　魏新明　肖嵘　王孝宇　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 穆瑞丹 (51)Int.Cl. G06V 10/80(2022.01) G06V 40/10(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 特征提取模型优化方法、 装置及电子设备 (57)摘要 本发明实施例涉及一种特征提取模型优化 方法、 装置及电子设备， 该方法包括： 获取多个教 师网络模型； 提取每一个教师网络模 型中的骨干 网络； 利用每一个骨干网络， 分别提取训练图像 中的第一高维图像特征； 将训练图像的多个第一 高维图像特征进行融合， 获取融合特征； 对融合 特征进行降维， 获取降维特征； 将训练图像输入 到学生网络模 型中， 获取训练图像的第二高维图 像特征； 根据降维特征和第二高维图像特征， 对 学生网络模 型进行优化。 本申请所优化的学生网 络模型可以达到在提升模型预测速度的同时， 不 增加推理成本 。 权利要求书2页 说明书10页 附图6页 CN 114494809 A 2022.05.13 CN 114494809 A 1.一种特 征提取模型优化方法， 其特 征在于， 所述方法包括： 获取多个教师网络模型； 提取每一个所述教师网络模型中的骨干网络； 利用每一个所述骨干网络， 分别提取训练图像中的第一高维图像特 征； 将所述训练图像的多个所述第一高维图像特 征进行融合， 获取融合特 征； 对所述融合特 征进行降维， 获取降维特 征； 将所述训练图像输入到学生网络模型中， 获取 所述训练图像的第二高维图像特 征； 根据所述降维特 征和所述第二高维图像特 征， 对学生网络模型进行优化。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取多个教师网络模型， 具体包括： 获取样本数据后， 对所述样本数据划分为多组； 将多组所述样本数据中的每一组样本数据均作为一 次验证集， 其余样本数据作为训练 集， 构成多个训练子集； 分别利用每一个训练子集， 训练一个网络模型， 最终 获取多个所述教师网络模型。 3.根据权利要求2所述的方法， 其特征在于， 所述分别利用每一个训练子集， 训练一个 网络模型时， 所述方法还包括： 利用所述训练子集中的训练数据对所述网络模型进行训练 时， 确定当前训练的迭代次数； 根据当前训练 的迭代次数， 交叉选择不同的损失函数对所述网络模型中的参数进行更 新， 其中， 每次选择的损失函数包括至少一种。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述提取每一个所述教师网络模 型中的骨干网络， 具体包括： 从所述教师网络模型中， 去除所述教师网络模型的全连接层， 获取 所述骨干网络 。 5.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述根据 所述降维特征和所述第 二高维图像特 征， 对学生网络模型进行优化， 具体包括： 确定所述降维特 征和所述第二高维图像特 征之间的损失； 利用所述损失对所述学生网络模型进行优化。 6.一种多特 征提取模型优化装置， 其特 征在于， 所述装置包括： 处理模块， 用于获取多个教师网络模型； 提取模块， 用于提取每一个所述教师网络模型中的骨干网络； 利用每一个所述骨干网 络， 分别提取训练图像中的第一高维图像特 征； 融合模块， 用于将所述训练图像的多个所述第一高维图像特征进行融合， 获取融合特 征； 降维模块， 用于对所述融合特 征进行降维， 获取降维特 征； 所述处理模块， 还用于将所述训练图像输入到学生网络模型中， 获取所述训练图像的 第二高维图像特 征； 优化模块， 根据所述降维特 征和所述第二高维图像特 征， 对学生网络模型进行优化。 7.根据权利要求6所述的装置， 其特 征在于， 所述处 理模块， 具体用于： 获取样本数据后， 对所述样本数据划分为多组； 将多组所述样本数据中的每一组样本数据均作为一 次验证集， 其余样本数据作为训练 集， 构成多个训练子集；权　利　要　求　书 1/2 页 2 CN 114494809 A 2分别利用每一个训练子集， 训练一个网络模型， 最终 获取多个所述教师网络模型。 8.根据权利要求6或7 所述的装置， 其特 征在于， 所述处 理模块， 具体用于： 利用所述训练子集中的训练数据对所述网络模型进行训练时， 确定当前训练 的迭代次 数； 根据当前训练 的迭代次数， 交叉选择不同的损失函数对所述网络模型中的参数进行更 新， 其中， 每次选择的损失函数包括至少一种。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1 ‑5任一项所述的特征提取 模型优化方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑5任一项所述的特 征提取模型优化方法的步骤。权　利　要　求　书 2/2 页 3 CN 114494809 A 3