(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210142194.3 (22)申请日 2022.02.16 (71)申请人 上海云从 企业发展 有限公司 地址 201203 上海市浦东 新区中国(上海) 自由贸易试验区上科路366号、 川 和路 55弄11号、 12号 (72)发明人 王曦　蹇易　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 张双凤 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06V 10/771(2022.01) (54)发明名称 一种基于多模型融合的特征蒸馏方法、 系 统、 设备和介质 (57)摘要 本发明提出一种基于多模型融合的特征蒸 馏方法、 系统、 设备和介质， 包括： 通过预训练的 多个教师模型分别获取目标数据的特征作为第 一特征； 通过学生模型的主干网络获取所述目标 数据的第二特征， 将所述第二特征分别输入多个 第一蒸馏子网络， 通过每个所述第一蒸馏子网络 分别输出与所述第一特征相似度达到设定阈值 的第二特征； 将所有所述第一特征进行融合得到 第一融合特征， 并将各所述蒸馏子网络输出的第 二特征进行融合得到第二融合特征， 将所述第一 融合特征和第二融合特征输入第二蒸馏子网络， 获取所述目标数据的蒸馏特征； 本发 明充分利用 不同教师模 型的优势， 从局部和全局两个方向进 行蒸馏学习， 提升学生模型的识别性能。 权利要求书2页 说明书7页 附图4页 CN 114462546 A 2022.05.10 CN 114462546 A 1.一种基于多模型融合的特 征蒸馏方法， 其特 征在于， 包括： 通过预训练的多个教师模型分别获取目标 数据的特 征作为第一特 征； 通过学生模型的主干网络获取所述目标数据的第 二特征， 将所述第 二特征分别输入多 个第一蒸馏子网络， 通过每个所述第一蒸馏子网络 分别输出与所述第一特征相似度达到设 定阈值的第二特 征； 将所有所述第 一特征进行融合得到第 一融合特征， 并将各所述蒸馏子网络输出的第 二 特征进行融合得到第二融合特征， 将所述第一融合特征和 第二融合特征输入第二蒸馏子网 络， 获取所述目标 数据的蒸馏特 征。 2.根据权利要求1所述的基于多模型融合的特征蒸馏方法， 其特征在于， 所述第 一蒸馏 子网络包括： 注意力模块、 归一 化层、 相似计算层以及至少一个全连接层； 注意力模块根据所述全连接层输出特征的特征值大小获取对应特征的权重输出至所 述归一化层； 所述归一化层根据所述全连接层输出特征以及所述注意力模块输出权重完成对应特 征归一化； 所述相似计算层通过预设的损失函数获取归一化后的特征与对应教师模型输出的第 一特征之间的相似度。 3.根据权利要求2所述的基于多模型融合的特征蒸馏方法， 其特征在于， 所述注意力模 块通过映射 函数将特 征值映射到 ‑1至1之间。 4.根据权利要求3所述的基于多模型融合的特征蒸馏方法， 其特征在于， 所述映射函数 包括： softmax函数、 sigmo id函数。 5.根据权利要求1所述的基于多模型融合的特征蒸馏方法， 其特征在于， 所述第 二蒸馏 子网络与所述第一蒸馏子网络采用相同的网络结构。 6.根据权利要求1所述的基于多模型融合的特征蒸馏方法， 其特征在于， 将所述第 一融 合特征和第二融合特 征输入第二蒸馏子网络之前， 还 包括： 对所述第一融合特 征采用降维算法进行降维处 理。 7.根据权利要求1所述的基于多模型融合的特征蒸馏方法， 其特征在于， 所述第 一蒸馏 子网络的数量与所述教师模型的数量相对应， 且每个第一蒸馏子网络 分别接收一个所述教 师模型的第一特 征。 8.一种基于多模型融合的特 征蒸馏系统， 其特 征在于， 包括： 第一特征获取模块， 用于通过预训练 的多个教师模型分别获取目标数据的特征作为第 一特征； 学生特征获取模块， 用于通过学生模型的主干网络获取所述目标数据的第二特征， 将 所述第二特征分别输入多个第一蒸馏子网络， 通过每个所述第一蒸馏子网络分别输出与所 述第一特 征相似度达 到设定阈值的第二特 征； 融合蒸馏模块， 用于将所有所述第一特征进行融合得到第一融合特征， 并将各所述蒸 馏子网络输出的第二特征进行融合得到第二融合特征， 将所述第一融合特征和 第二融合特 征输入第二蒸馏子网络， 获取 所述目标 数据的蒸馏特 征。 9.一种设备， 其特 征在于， 包括： 一个或多个处 理器； 和权　利　要　求　书 1/2 页 2 CN 114462546 A 2其上存储有指令的一个或多个机器可读介质， 当所述一个或多个处理器执行时， 使得 所述设备 执行如权利要求1 ‑7中一个或多个所述的方法。 10.一种机器可读介质， 其特征在于， 其上存储有指令， 当由一个或多个处理器执行时， 使得设备 执行如权利要求1 ‑7中一个或多个所述的方法。权　利　要　求　书 2/2 页 3 CN 114462546 A 3