(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210200453.3 (22)申请日 2022.03.03 (65)同一申请的已公布的文献号 申请公布号 CN 114333038 A (43)申请公布日 2022.04.12 (73)专利权人 百度在线网络技 术 （北京） 有限公 司 地址 100085 北京市海淀区上地十街10号 百度大厦三层 (72)发明人 张素芳　吕一　邓天生　于天宝　 贠挺　林赛群　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吕朝蕙 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 李海燕 等.基 于残缺图像样本的生成对抗 网络图像修复方法. 《北京航空航天大 学学报》 .2021,第47 卷(第10期),1949-1958. Shashank Tripathi 等.Learn ing to Generate Synthetic Data via Compositi ng. 《IEEE》 .2019,461-470. Debidatta Dwibedi等.Cut, Paste and Learn: Surprisi ngly Easy Synthesis for Instance Detecti on. 《IEEE》 .2017, 审查员 丁蓬莉 (54)发明名称 对象识别模 型的训练方法和对象识别方法、 装置、 设备 (57)摘要 本公开提供了一种对象识别模型的训练方 法和对象识别方法、 装置、 电子设备和存储介质， 涉及人工智能领域， 具体涉及计算机视觉领域和 深度学习领域， 可应用于人脸识别和内容审核等 场景下。 对象识别模型的训练方法的具体实现方 案为： 检测包括完整结构的目标对象的第一样本 图像， 得到目标对象的关键点信息； 根据关键点 信息裁剪第一样本图像， 得到针对目标对象 的多 个区域图像， 每个区域图像包括目标对象的残缺 结构； 将多个区域图像分别与预定背景图像融 合， 得到多个第二样本图像； 以及根据多个第二 样本图像对目标检测模型进行训练。 权利要求书4页 说明书15页 附图6页 CN 114333038 B 2022.06.07 CN 114333038 B 1.一种对象识别模型的训练方法， 其中， 所述对象识别模型包括目标检测模型； 所述方 法包括： 检测包括完整结构的目标对象的第一样本图像， 得到所述目标对象的关键点信息； 根据所述关键点信息裁剪所述第一样本图像， 得到针对所述目标对象的多个区域图 像， 每个区域图像包括所述目标对象的残缺结构； 将所述多个区域图像分别与预定背景图像融合， 得到多个第二样本图像； 以及 根据所述多个第二样本图像对所述目标检测模型进行训练， 其中， 所述对象识别模型还 包括目标分类模型； 所述方法还 包括： 根据所述关键点信息裁剪所述第一样本 图像， 得到针对所述目标对象的完整图像， 所 述完整图像包括所述目标对象的完整结构； 根据所述多个区域图像和所述完整图像， 得到多个第三样本 图像， 每个所述第三样本 图像包括表示所述目标对象的结构的实际类别； 将多个所述第 三样本图像输入所述目标分类模型， 得到针对多个所述第 三样本图像的 多个预测类别； 以及 根据多个所述第 三样本图像包括的多个实际类别和所述多个预测类别， 对所述目标分 类模型进行训练。 2.根据权利要求1所述的方法， 其中， 所述关键点信 息包括描述所述目标对象的多个关 键点的位置信息； 所述根据所述关键点信息裁剪所述第一样本图像， 得到针对所述 目标对 象的多个区域图像包括： 确定所述多个关键点中分别描述所述目标对象的多个目标部位的目标关键点， 得到分 别对应所述目标对象的多个残缺结构的多个目标关键点组； 分别根据 所述多个目标关键点组中关键点的位置信 息， 确定所述第 一样本图像中分别 针对所述多个残缺结构的多个区域； 以及 根据所述多个区域裁 剪所述第一样本图像， 得到所述多个区域图像。 3.根据权利要求2所述的方法， 其中， 所述多个目标关键点组中的每个目标关键点组包 括： 描述所述每个目标关键点组所对应的残缺结构的关键点； 以及描述所述多个目标部位 中与所述每 个目标关键点组所对应的残缺结构相邻的相邻部位的关键点。 4.根据权利要求3所述的方法， 其中， 所述分别根据 所述多个目标关键点组中目标关键 点的位置信息， 确定所述第一样本图像中分别针对所述多个残缺结构的多个区域包括： 针对所述多个目标关键点组中的每个目标关键点组， 根据 所述每个目标关键点组中关 键点的位置信息， 确定所述每 个目标关键点组所对应的残缺结构的边界参 考点； 以及 根据所述边界参考点和针对所述每个目标关键点组所对应的残缺结构的偏差参数， 确 定针对所述每 个目标关键点组所对应的残缺结构的区域。 5.根据权利要求4所述的方法， 其中， 所述偏差参数根据 所述每个目标关键点组中描述 残缺结构的关键点与描述相邻部位的关键点之间的距离确定 。 6.根据权利要求1所述的方法， 其中， 所述第一样本 图像包括多个图像， 所述多个图像 包括标识不同的多个预定对象； 所述方法还 包括： 将多个所述第 三样本图像输入所述目标分类模型， 得到针对多个所述第 三样本图像的 多个特征图；权　利　要　求　书 1/4 页 2 CN 114333038 B 2将多个所述特征图组成多个第 一特征图对和多个第 二特征图对； 每个所述第 一特征图 对中的两个特征图所针对的两个第三样本图像具有相同的实际类别； 每个所述第二特征图 对中的两个特 征图所针对的两个第三样本图像具有不同的实际类别； 以及 根据针对所述第一特征图对的第一差异与针对所述第二特征图对的第二差异之间的 差值， 对所述目标分类模型进行训练， 其中， 所述第一差异为所述第一特征图对中两个特征图之间的差异， 所述第二差异为 所述第二特 征图对中两个特 征图之间的差异。 7.根据权利要求1所述的方法， 其中， 所述将所述多个区域图像分别与 预定背景图像融 合， 得到多个第二样本图像包括： 根据预定尺寸比例调整所述多个区域图像， 得到多个调整后图像； 以及 将所述多个调整后图像与所述预定背景图像融合， 得到所述多个第二样本图像。 8.一种对象识别方法， 包括： 将包括目标对象的残缺结构的待识别图像输入对象识别模型包括的目标检测模型， 得 到所述待识别图像中所述目标对象的位置信息； 根据所述 位置信息 裁剪所述待识别图像， 得到针对所述目标对象的区域图像； 将所述区域图像输入所述对象识别模型包括的目标分类模型， 得到所述 区域图像的特 征图； 以及 根据所述特 征图确定多个预定对象中与所述目标对象匹配的对象， 其中， 所述对象识别模型 是采用权利要求1~7中任一项所述的方法训练的。 9.根据权利要求8所述的方法， 其中， 所述根据所述特征图确定针对所述目标对象的识 别结果包括： 根据所述特征图查询特征库， 确定所述特征库中与 所述特征图匹配的目标特征； 其中， 所述特征库包括描述所述多个预定对象的残缺结构的多个特 征图； 以及 确定所述多个预定对象中所述目标 特征所针对的对象为与所述目标对象匹配的对象。 10.一种对象识别模型的训练装置， 其中， 所述对象识别模型包括目标检测模型； 所述 装置包括： 关键点检测模块， 用于检测包括完整结构的目标对象的第一样本 图像， 得到所述目标 对象的关键点信息； 第一裁剪模块， 用于根据所述关键点信息裁剪所述第一样本 图像， 得到针对所述目标 对象的多个区域图像， 每 个区域图像包括所述目标对象的残缺结构； 图像融合模块， 用于将所述多个区域图像分别与预定背景图像融合， 得到多个第二样 本图像； 以及 第一训练模块， 用于根据所述多个第二样本图像对所述目标检测模型进行训练， 其中， 所述对象识别模型还 包括目标分类模型； 所述装置还 包括： 第二裁剪模块， 用于根据所述关键点信息裁剪所述第一样本 图像， 得到针对所述目标 对象的完整图像， 所述完整图像包括所述目标对象的完整结构； 图像生成模块， 用于根据 所述多个区域图像和所述完整图像， 得到多个第 三样本图像， 每个所述第三样本图像包括表示所述目标对象的结构的实际类别； 类别预测模块， 用于将多个所述第三样本 图像输入所述目标分类模型， 得到针对多个权　利　要　求　书 2/4 页 3 CN 114333038 B 3