(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211277547.7 (22)申请日 2022.10.19 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 田宽　张军　韩骁　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 徐耿铭 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01) (54)发明名称 图像识别模型的训练方法、 装置、 设备和介 质 (57)摘要 本申请公开了一种图像识别模型的训练方 法、 装置、 设备和介质， 涉及机器学习领域。 该方 法包括： 获取样本图像集合， 对所述样本图像集 合中的样 本图像进行区域分割， 生成第一样本切 片包和第二样本切片包， 通过图像识别模型对所 述第一样本切片包中的样本图像切片进行特征 分析， 基于所述切片标签和切片分析结果之间的 差异确定第一损失值； 通过所述图像识别模型对 所述第二样 本切片包进行特征分析， 基于所述样 本标签和切片 包分析结果之间的差异， 确定所述 样本图像对应的第二损失值和所述第二样本切 片包对应的第三损失值； 基于损失值对所述图像 识别模型进行训练。 提高了图像识别模型对样本 图像切片中目标图像内容的准确性和识别精度。 权利要求书3页 说明书23页 附图7页 CN 115359325 A 2022.11.18 CN 115359325 A 1.一种图像识别模型的训练方法， 其特 征在于， 所述方法包括： 获取样本 图像集合， 所述样本 图像集合中包括标注有样本标签的样本 图像， 所述样本 标签用于指示所述样本图像中目标图像内容的包 含情况； 对所述样本图像集合中的样本图像进行区域分割， 生成第 一样本切片包和第 二样本切 片包， 其中， 所述第一样本切片包中的样本图像切片从不同样本图像采集得到， 所述第二样 本切片包中的样本图像切片从同一样本图像采集得到， 所述第一样本切片包中的样本图像 切片标注有所述样本标签对应的切片标签； 通过图像识别模型对所述第 一样本切片包中的样本图像切片进行特征分析， 基于所述 切片标签和 切片分析 结果之间的差异确定第一损失值； 通过所述图像识别模型对所述第 二样本切片包进行特征分析， 基于所述样本标签和切 片包分析结果之间的差异， 确定所述样本图像对应的第二损失值和所述第二样本切片包对 应的第三损失值； 基于所述第 一损失值、 所述第 二损失值和所述第 三损失值对所述图像识别模型进行训 练， 训练得到的图像识别模型用于对图像中的目标图像内容进行识别。 2.根据权利要求1所述的方法， 其特征在于， 所述通过图像识别模型对所述第 一样本切 片包中的样本图像切片进 行特征分析， 基于所述切片标签和切片分析结果之间的差异确定 第一损失值， 包括： 通过特征提取模型对所述第 一样本切片包中的样本图像切片进行特征提取， 得到所述 样本图像切片的第一特征表示， 其中， 所述特征提取模型是通过与所述样本图像同类型 的 图像预训练得到的模型； 对所述第一特征表示进行特征分析， 得到所述第 一样本切片包中所述样本图像切片的 第一切片分析 结果； 基于所述切片标签和所述第一切片分析 结果之间的差异， 确定所述第一损失值。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第一特征表示进行特征分析， 得到所述第一样本切片包中所述样本图像切片的第一切片分析 结果， 包括： 对所述第一特征表示进行注意力分析， 得到第一切片注意力表示和第一切片特征表 示； 对所述第一切片注意力表示和所述第 一切片特征表示进行特征计算， 得到第 二特征表 示； 对所述第二特征表示进行分类分析， 得到所述第 一样本切片包中所述样本图像切片的 第一切片分析 结果。 4.根据权利要求1所述的方法， 其特征在于， 所述通过所述图像识别模型对所述第 二样 本切片包进行特征分析， 基于所述样本标签和切片包分析结果之间的差异， 确定所述样本 图像对应的第二损失值和所述第二样本切片包 对应的第三损失值， 包括： 通过特征提取模型对所述第 二样本切片包中的样本图像切片进行特征提取， 得到所述 样本图像切片的第三特征表示， 其中， 所述特征提取模型是通过与所述样本图像同类型 的 图像预训练得到的模型； 对所述第三特征表示进行特征分析， 得到所述第 二样本切片包中所述样本图像切片的 第二切片包分析 结果；权　利　要　求　书 1/3 页 2 CN 115359325 A 2基于所述样本标签和所述第二切片包分析 结果之间的差异， 确定所述第二损失值。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述第三特征表示进行特征分析， 得到所述第二样本切片包中所述样本图像切片的第二切片包分析 结果， 包括： 对所述第三特征表示进行注意力分析， 得到第二切片注意力表示和第二切片特征表 示； 对所述第二切片注意力表示和所述第 二切片特征表示进行特征聚合， 得到第四特征表 示； 对所述第四特征表示进行分类分析， 得到所述第 二样本切片包中所述样本图像切片的 第二切片包分析 结果。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述第 二切片注意力表示和所述第 二切片特 征表示进行 特征聚合， 得到第四特 征表示， 包括： 通过对所述第 二切片注意力表示进行归一化处理， 得到所述第 二样本切片包中样本图 像切片的第三切片注意力表示； 通过对所述第 三切片注意力表示进行线性归一化处理， 得到所述第 二样本切片包中样 本图像切片的第四切片注意力表示； 基于所述第四切片注意力表示和所述第 二切片特征表示进行相乘 处理， 得到所述第 二 样本切片包的所述第四特 征表示。 7.根据权利要求5所述的方法， 其特征在于， 所述对所述第三特征表示进行注意力分 析， 得到第二切片注意力表示和第二切片特 征表示之后， 还 包括： 基于所述第 二切片注意力表示对应的数值， 选取数值最高的K个所述样本图像切片， 作 为候选样本切片包， 其中， K为预设数值， 所述候选样本切片包中的样本图像切片标注有所 述样本标签对应的切片标签； 基于所述候选样本切片包中样本图像切片的所述第 二切片特征表示， 获得所述候选样 本切片包中样本图像切片的第五特 征表示； 对所述第五特征表示进行特征分析， 得到所述候选样本切片包中所述样本图像切片的 第三切片分析 结果； 基于所述切片标签和所述第三切片分析 结果之间的差异， 确定所述第三损失值。 8.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一损 失值、 所述第二损 失 值和所述第三损失值对所述图像识别模型进行训练， 包括： 计算所述第一损失值、 所述第二损失值、 所述第三损失值的加权和， 得到损失值总和； 基于所述损失值总和， 对所述图像识别模型进行训练。 9.根据权利要求2或3所述的方法， 其特 征在于， 所述方法还 包括： 通过对所述第 一切片注意力表示进行归一化处理， 得到所述第 一样本切片包中样本图 像切片的第五切片注意力表示； 基于所述第五切片注意力表示和所述第 一切片分析结果进行相乘 处理， 得到所述第 一 样本切片包中样本图像切片的第四切片分析 结果； 基于所述切片标签和所述第四切片分析 结果之间的差异， 确定第四损失值； 基于所述第四损失值， 对所述图像识别模型进行训练。 10.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 2/3 页 3 CN 115359325 A 3