(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210255817.8 (22)申请日 2022.03.15 (71)申请人 北京京东尚科信息技 术有限公司 地址 100086 北京市海淀区知春路76号8层 (72)发明人 郭子歆　白亚龙　张炜　梅涛　 周伯文　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 单冠飞 (51)Int.Cl. G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 模型训练方法、 目标识别方法、 装置、 设备及 存储介质 (57)摘要 本申请提出一种模型训练方法、 目标识别方 法、 装置、 设备及存储介质， 其中， 方法包括： 对样 本图像进行分块， 得到多个第一子图块； 分别对 多个第一子图块进行特征提取， 得到多个第一子 图块对应的子图像特征； 将各子图像特征输入识 别模型中的自注意力记忆神经网络层， 以根据各 子图像特征与对应目标图像特征之间的相似度， 采用注意力机制进行特征映射， 得到各第一子图 块对应的映射特征； 将多个第一子图块的映射特 征进行融合， 得到融合特征； 采用识别模型中的 预测层对融合特征进行目标预测， 得到预测标注 信息； 根据预测标注信息与 样本图像包括的实际 标注信息之间的差异， 对识别模型进行训练。 由 此， 可提升模型对残次目标的判别能力。 权利要求书4页 说明书19页 附图7页 CN 114663687 A 2022.06.24 CN 114663687 A 1.一种模型训练方法， 其特 征在于， 所述方法包括以下步骤： 获取样本图像， 并对所述样本图像进行分块， 得到多个第一子图块； 分别对多个所述第 一子图块进行特征提取， 以得到多个所述第 一子图块对应的子图像 特征； 将各所述第 一子图块对应的子图像特征输入识别模型中的自注意力记忆神经网络层， 以根据各所述第一子图块的子图像特征与对应目标图像特征之 间的相似度， 采用注意力机 制进行特征映射， 得到各所述第一子图块对应的映射特征； 其中， 所述 目标图像特征， 是包 含非残次 目标的正样本图像划分的各第二子图块的图像特征中， 与对应第一子图块的子图 像特征匹配的图像特 征； 将多个所述第一子图块的映射特 征进行融合， 以得到融合特 征； 采用所述识别模型中的预测层， 对所述融合特 征进行目标 预测， 得到预测标注信息； 根据所述预测标注信 息与所述样本图像包括的实际标注信 息之间的差异， 对所述识别 模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述将各所述第 一子图块对应的子图像特 征输入识别模型中的自注意力记忆神经网络层， 以根据各所述第一子图块的子图像特征与 对应目标图像特征之间的相似度， 采用注意力机制进行特征映射， 得到各所述第一子图块 对应的映射特 征， 包括： 获取所述自注意力记忆神经网络层存储的多个正例图像特征， 其中， 所述多个正例图 像特征， 是对所述 正样本图像进行分块后得到的各第二子图块， 进行 特征提取后得到的； 从所述多个正例图像特征中， 分别确定与 各所述第 一子图块的子图像特征匹配的目标 图像特征； 根据各所述第 一子图块的子图像特征与对应目标图像特征之间的相似度， 对各所述第 一子图块的子图像特征采用注意力机制进 行特征映射， 得到各所述第一子图块对应的映射 特征。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述多个正例图像特征中， 分别确 定与各所述第一子图块的子图像特 征匹配的目标图像特 征， 包括： 针对每个所述第 一子图块， 确定对应的子图像特征与多个所述正例图像特征之间的相 似度； 将最高相似度对应的正例图像特征， 作为与所述第 一子图块的子图像特征匹配的目标 图像特征。 4.根据权利要求2所述的方法， 其特征在于， 所述根据各所述第 一子图块的子图像特征 与对应目标图像特征之 间的相似度， 对各所述第一子图块的子图像特征采用注意力机制进 行特征映射， 得到各 所述第一子图块对应的映射特 征， 包括： 针对每个所述第 一子图块， 根据匹配的目标图像特征与多个所述第 一子图块的子图像 特征， 确定所述第一子图块对应的键值特 征； 根据所述第一子图块的子图像特征和对应目标图像特征之间的相似度， 确定中间特 征； 将所述中间特 征与所述键值特 征内积后进行归一 化， 得到注意力权值； 根据注意力权值对所述键值特 征进行加权， 以得到所述第一子图块对应的映射特 征。权　利　要　求　书 1/4 页 2 CN 114663687 A 25.根据权利要求2所述的方法， 其特征在于， 所述获取所述自注意力记忆神经网络层存 储的多个正例图像特 征之后， 所述方法还 包括： 针对每个所述第 一子图块， 确定所述第 一子图块的子图像特征与多个所述正例图像特 征之间的相似度； 根据所述第 一子图块的子图像特征与多个所述正例图像特征之间的相似度， 确定所述 第一子图块的子图像特 征与多个所述 正例图像特 征之间的权 重； 针对每个所述正例图像特征， 根据 所述正例图像特征与多个所述第 一子图块的子图像 特征之间的权 重， 对多个所述第一子图块的子图像特 征进行加权， 得到加权图像特 征； 根据所述加权图像特征对所述正例图像特征进行更新， 得到更新后的所述正例图像特 征。 6.根据权利要求1 ‑5任一项所述的方法， 其中， 所述采用所述识别模型中的预测层， 对 所述融合特 征进行目标 预测， 得到预测标注信息， 包括： 采用所述预测层中的全连接层， 对所述融合特征进行目标的类别预测， 以得到所述目 标所属的类别。 7.根据权利要求1 ‑5任一项所述的方法， 其中， 所述采用所述识别模型中的预测层， 对 所述融合特 征进行目标 预测， 得到预测标注信息， 包括： 采用所述预测层中的第一分支， 对所述融合特征进行目标的类别预测， 得到所述目标 所属的类别； 采用所述预测层中的第二分支， 对所述融合特征进行目标的回归预测， 得到包含所述 目标的预测框 。 8.一种目标识别方法， 其特 征在于， 所述方法包括以下步骤： 获取待检测图像， 并对所述待检测图像进行分块， 得到多个子图块； 分别对多个所述子图块进行 特征提取， 以得到多个所述子图块对应的子图像特 征； 将各所述子图块对应的子图像特征输入识别模型中的自注意力记忆神经网络层， 以输 出得到各所述子图块对应的映射特征； 其中， 所述识别模型是采用如权利要求 1‑7任一项所 述的方法训练得到的； 将多个所述子图块的映射特 征进行融合， 以得到融合特 征； 采用所述识别模型中的预测层， 对所述融合特征进行目标预测， 得到所述目标的识别 结果。 9.一种模型训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取样本图像； 切分模块， 用于对所述样本图像进行分块， 得到多个第一子图块； 提取模块， 用于分别对多个所述第一子 图块进行特征提取， 以得到多个所述第一子 图 块对应的子图像特 征； 输入模块， 用于将各所述第 一子图块对应的子图像特征输入识别模型中的自注意力记 忆神经网络层， 以根据各所述第一子图块的子图像特征与对应目标图像特征之间的相似 度， 采用注意力机制进行特征映射， 得到各所述第一子图块对应的映射特征； 其中， 所述目 标图像特征， 是包含非残 次目标的正样本图像划分的各第二子图块的图像特征中， 与对应 第一子图块的子图像特 征匹配的图像特 征；权　利　要　求　书 2/4 页 3 CN 114663687 A 3