(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658421.X (22)申请日 2021.12.3 0 (71)申请人 北京爱奇艺科技有限公司 地址 100089 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 毕泊　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 代理人 葛钟 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) (54)发明名称 模型训练方法、 服饰识别处理方法、 装置和 介质 (57)摘要 本发明公开了模 型训练方法、 服饰识别处理 方法、 装置和介质， 属于服饰识别领域； 模型训练 时， 将包括角色信息不同的样本图像输入， 然后 根据样本图像中服饰区域图像的特征对服饰区 域图像进行分类得到分类结果， 并将分类结果中 任一分类中角色相同的服饰区域图像作为一个 聚类簇， 以得到聚类结果； 然后判断聚类结果中 每个聚类簇中附属区域图像的角色信息是否相 同， 相同则完成训练， 不相同， 则重新获取角色信 息进行训练调整。 由于在模型训练时， 将分类结 果根据角色信息进行聚类， 这样最终得到的聚类 簇中， 角色信息相同， 解决了现有服饰聚类模型 分类不准确的问题， 这样在 使用该模 型识别服饰 信息时， 能够保证通过该模型得到的服饰信息与 实际信息相同。 权利要求书3页 说明书13页 附图3页 CN 114299548 A 2022.04.08 CN 114299548 A 1.一种模型训练方法， 其特 征在于， 包括以下步骤： 输入样本图像集， 所述样本图像集包括角色信息不同的样本图像； 获取所述样本 图像的服饰区域图像； 提取所述服饰区域图像的特征， 根据所述特征对 所述服饰区域图像进行分类得到分类结果； 获取所述服饰区域图像对应的角色信 息， 并将所述分类结果的任一分类中角色信 息相 同的服饰区域图像作为 一个聚类簇， 得到所述 服饰图像区域的聚类结果； 根据所述样本图像的角色标注信 息， 判断所述聚类结果中任一 聚类簇中服饰区域图像 的角色信息是否相同； 若是， 判断完成则所述模型训练； 若否， 则 重新执行获取所述服饰区域图像对应的角色 信息的步骤及其后续 步骤。 2.根据权利要求1所述的方法， 其特征在于： 所述获取所述服饰区域图像对应的角色信 息， 包括： 获取所述样本图像中人体图像区域以及所述人体图像区域对应的角色信息； 计算所述 服饰图像区域与人体图像区域的重合度； 当所述重合度 大于预设重合度时， 将所述人体图像区域对应的角色信 息作为所述服饰 区域图像的角色信息 。 3.根据权利要求2所述的方法， 其特征在于： 所述获取所述人体图像区域对应的角色信 息， 包括： 提取所述人体图像区域的人体特 征信息； 计算各人体图像区域中人体特 征信息间的相似度； 将相似度大于等于预设相似度的人体图像区域作为同一角色信息 。 4.根据权利要求3所述的方法， 其特征在于： 所述重新执行获取所述服饰区域图像对应 的角色信息的步骤及其后续 步骤， 包括： 调整所述预设相似度的值， 并重新执行获取所述服饰区域图像对应的角色信 息的步骤 及其后续 步骤。 5.根据权利要求1所述的方法， 其特征在于： 所述提取所述服饰区域图像的特征， 根据 所述特征对所述 服饰区域图像进行分类得到分类结果， 包括： 将任一服饰区域图像作为一个顶点， 以不同的服饰区域图像的特征的相似度判断任一 顶点是否与其 余顶点连接， 以构建包 含所有顶点及其连接关系的关联图； 将所述关联图输入到已训练 的第一图卷积神经网络 中， 得到所述关联图中所有顶点的 第一置信度， 所述第一图卷积神经网络为： 采用任一图卷积神经网络模型， 对包含第一训练 关联图的训练样本， 进行训练后修改所述图卷积神经网络模型的参数得到， 所述第一训练 关联图中存在任意两个顶点 不连接同一顶点； 获取所有第一置信度大于第一预设置信度的第一目标顶点； 构建任一第 一目标顶点的候选集子图， 所述任一第 一目标顶点的候选集子图包括所述 任一第一目标顶点及与其相邻的第一目标顶点； 将任一候选集子图输入到已训练的第 二图卷积神经网络中， 得到所述任一候选集子图 中第一目标顶点的第二置信度， 所述第二图卷积神经网络为： 采用任一图卷积神经网络模 型， 对仅包括第二训练关联图的训练样本， 进行训练后修改所述图卷积神经网络模型 的参权　利　要　求　书 1/3 页 2 CN 114299548 A 2数得到， 任一第二训练关联图中存在一个顶点与其 余所有顶点连接； 获取所有第二置信度大于第二预设置信度的第二目标顶点； 将任一所述第 二目标顶点以及与其相邻的第 二目标顶点作为同一 聚类簇， 以得到第 一 分类结果。 6.根据权利要求5所述的方法， 其特征在于： 所述提取所述服饰区域图像的特征， 根据 所述特征对所述 服饰区域图像进行分类得到分类结果， 还 包括： 对所述第 一分类结果中各聚类簇， 进行至少一 次迭代合并以得到第二分类结果； 其中， 任意一次迭代合并， 包括： 获取第一聚类结果中各聚类簇的聚类中心， 其中， 所述第一聚类结果为任意一次迭代 合并前的聚类结果； 计算任意两个聚类中心之间的距离， 若所述距离不大于预设阈值距离， 则将所述任意 两个聚类中心对应的两个聚类簇合并。 7.根据权利要求1所述的方法， 其特征在于， 所述样本图像集是通过提取视频的视频帧 得到。 8.一种模型训练装置， 其特 征在于， 包括： 样本集输入模块， 用于输入样本 图像集， 所述样本 图像集包括角色信息不同的样本 图 像； 服饰区域图像分类模块， 用于获取所述样本 图像的服饰区域图像； 提取所述服饰区域 图像的特 征， 根据所述特 征对所述 服饰区域图像进行分类得到分类结果； 分类结果聚类模块， 用于获取所述服饰区域图像对应的角色信息， 并将所述分类结果 的任一分类中角色信息相同的服饰区域图像作为一个聚类簇， 得到所述服饰图像区域的聚 类结果； 聚类结果验证模块， 用于根据所述样本 图像的角色标注信息， 判断所述聚类结果中任 一聚类簇中服饰区域图像的角色信息是否相同； 调整确定模块， 用于若是， 判断完成则所述模型训练； 若否， 则重新执行获取所述服饰 区域图像对应的角色信息的步骤及其后续 步骤。 9.一种服饰识别处理方法， 其特征在于： 所述方法应用于服饰信 息查询请求接收端， 所 述服饰信息查询请求接收端部署有通过权利要求1 ‑7任一项所述方法训练得到的模型， 所 述方法包括： 当接收到服饰信 息查询请求发送端发送的服饰信 息查询请求 时， 将所述服饰信 息查询 请求携带 的服饰图像输入到所述模型， 以通过所述模型确定对应的服饰图像集， 获取确定 出的服饰图像集对应的参 考图像， 得到所述 参考图像对应的服饰信息； 将所述参考图像对应的服饰信息作为服饰识别信息发送回所述服饰信息查询请求发 送端， 以在所述 服饰信息查询请求发送端上显示所述 服饰识别 信息。 10.一种服饰识别处理装置， 其特征在于， 所述装置应用于服饰信息查询请求接收端， 所述服饰信息查询请求接 收端部署有通过权利要求1 ‑7任一项所述方法训练得到的模型， 所述装置包括： 参考图像服饰信 息得到模块， 用于当接收到服饰信 息查询请求发送端发送的服饰信 息 查询请求时， 将所述服饰信息查询请求携带 的服饰图像输入到所述模型， 以通过所述模型权　利　要　求　书 2/3 页 3 CN 114299548 A 3