(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210291728.9 (22)申请日 2022.03.24 (65)同一申请的已公布的文献号 申请公布号 CN 114387680 A (43)申请公布日 2022.04.22 (73)专利权人 广东红橙云大 数据有限公司 地址 510700 广东省广州市黄埔区瑞和路 39号G2栋215房G2栋216房G2栋217房 G2栋218房G2栋219房G2栋2 20房 (72)发明人 林伟辉　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张萍 (51)Int.Cl. G06V 40/70(2022.01)G06V 20/52(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 111985374 A,2020.1 1.24 CN 112215201 A,2021.01.12 US 2021142477 A1,2021.0 5.13 CN 108875540 A,2018.1 1.23 汤一平等.非约束环境下 人脸识别技 术的研 究. 《浙江工业大 学学报》 .2010,第38卷(第02 期),第15 5-161页. 审查员 王菲 (54)发明名称 评估信息的生成方法、 装置、 电子设备及介 质 (57)摘要 本申请提供一种评估信息的生成方法、 装 置、 电子设备及介质。 该方法在通过训练好的人 脸特征模型， 确定出待处理图像中待监测儿童的 人脸框信息对应的各人脸框图像的待监测儿童 的身份信息， 从而获取各人体框图像对应的待监 测儿童的身份信息； 在确定各人体框图像对应的 至少一个群人体框图像后， 将 至少一个群人体框 图像输入多标签 分场景类模型， 得到各群人体框 图像的标签信息和相应标签激活热力图； 基于各 群人体框图像对应的标签激活热力图和相应人 体框图像， 确定群人体框图像的标签信息对应的 目标待监测儿童的身份信息， 从而生成待监测儿 童成长过程的评估信息。 该方法节省了获取评估 信息的时间， 提高了评估信息的获取效率和准确 性。 权利要求书3页 说明书11页 附图3页 CN 114387680 B 2022.05.27 CN 114387680 B 1.一种评估信息的生成方法， 其特 征在于， 所述方法包括： 将采集的包含待监测儿童的成长过程性图像确定为待处理图像； 所述待处理图像包括 所述待监测儿童的人脸框信息和人体框信息； 基于训练好的人脸特征模型和所述人脸框信 息中的人脸特征， 确定所述人脸框信 息中 各人脸框图像对应的待监测儿童的身份信息； 基于所述各人脸框图像对应的待监测儿童的身份信 息， 对所述各人脸框图像和所述人 体框信息中的各人体框图像进 行处理， 获取所述各人体框图像对应的待监测儿童的身份信 息； 确定所述各人体框图像对应的至少一个群人体框图像， 所述群人体框图像是所述各人 体框图像中满足预设筛 选条件的至少一个人体框的集 合图像； 将所述至少一个群人体框图像输入多标签分场景类模型， 得到各群人体框图像的标签 信息和相应标签激活热力图； 所述标签信息为所述多标签分场景类模型的输出层输出的所 述待监测儿童的行为标签、 行为对 象标签和场景标签； 所述标签激活热力图为所述多标签 分场景类模型的第4阶段 卷积层输出的热力图； 针对各群人体框图像， 基于所述群人体框图像对应的标签激活热力图和相应人体框图 像， 确定所述群人体框图像的标签信息对应的目标待监测儿童的身份信息； 基于所述各群人体框图像的标签信 息、 所述标签信 息对应的目标待监测儿童的身份信 息、 所述待处 理图像和相应的图像采集时间， 生成所述待监测儿童成长过程的评估信息 。 2.如权利要求1所述的方法， 其特征在于， 基于所述各人脸框图像对应的待监测儿童的 身份信息， 对所述各人脸框图像和所述人体框信息中的各人体框图像进行处理， 获取所述 各人体框图像对应的待监测儿童的身份信息， 包括： 基于预设的二分类图像匹配算法， 对所述各人脸框图像和所述各人体框图像进行匹配 处理， 得到与各 人脸框图像匹配的人体框图像； 将所述各人脸框图像对应的待监测儿童的身份信 息， 确定为匹配的人体框图像对应的 待监测儿童的身份信息 。 3.如权利要求2所述的方法， 其特征在于， 所述预设的二分类图像匹配算法为匈牙利算 法或KM算法； 基于预设的二分类图像匹配算法， 对所述各人脸框图像和所述各人体框图像进行匹配 处理， 得到与各 人脸框图像匹配的人体框图像， 包括： 基于各人脸框图像和各 人体框图像， 构建二分类图； 在所述二分类图中， 若任一人脸框图像与任一人体框图像的重叠面积与该人脸框图像 所占面积的比值大于预设 关联阈值， 则确定该 人脸框图像与该 人体框图像存在关联关系； 基于匈牙利算法或KM算法， 对存在 关联关系的各人脸框图像和各人体框图像进行匹配 处理， 得到与各 人脸框图像匹配的人体框图像。 4.如权利要求1所述的方法， 其特征在于， 确定所述各人体框图像对应的至少一个群人 体框图像， 包括： 对所述各人体框图像中各完整人体框图像的各边界向外移动预设延伸阈值后， 确定边 界延伸后的完整 人体框图像组成的至少一个外接矩形框； 所述外接矩形框内包括区域相交 的至少一个边界延伸后的完整人体框图像；权　利　要　求　书 1/3 页 2 CN 114387680 B 2在所述至少一个外接矩形框对应的区域面积中， 将满足预设删除条件的区域面积对应 的外接矩形框删除， 得到 至少一个目标外 接矩形框； 将每个目标外 接矩形框内的图像确定为 一个群人体框图像。 5.如权利要求4所述的方法， 其特征在于， 在所述至少一个外接矩形框对应的矩形面积 中， 将满足预设删除条件的矩形面积对应的外接矩形框删除， 得到至少一个目标外接矩形 框， 包括： 获取各外接矩形框对应的区域 面积； 若存在区域面积与 所述至少一个外接矩形框的总区域面积的比值不大于预设系数， 则 删除该区域 面积对应的外 接矩形框， 得到 至少一个目标外 接矩形框 。 6.如权利要求1所述的方法， 其特征在于， 基于所述群人体框图像对应的标签激活热力 图和相应人体框图像， 确定所述群人体框图像的标签信息对应的目标待监测儿童的身份信 息， 包括： 基于最大类间方差算法， 对所述群人体框图像对应的标签激活热力图进行二值化处 理， 得到标签掩码图； 计算所述标签掩码图和各人体框图像的相交区域的区域面积， 与该人体框图像所占区 域面积的比值； 若所述比值大于预设比例阈值， 则确定所述标签信 息对应的主要参与对象的身份信 息 为该人体框图像对应的待监测儿童的身份信息 。 7.如权利要求1所述的方法， 其特征在于， 基于所述各群人体框 图像的标签信息、 所述 标签信息对应的目标待监测儿童的身份信息、 所述待处理图像和相 应的图像采集时间， 生 成所述待监测儿童成长过程的评估信息， 包括： 根据预设的行为标签与评估类别的映射表， 将所述行为标签映射 为评估类别； 基于所述评估类别、 所述图像采集时间和相应目标待监测 儿童的身份信息， 对所述待 处理图像进行分类， 得到每 个待监测儿童成长过程的评估信息 。 8.一种评估信息的生成装置， 其特 征在于， 所述装置包括： 确定单元， 用于将采集的包含待监测 儿童的成长过程性图像确定为待处理图像； 所述 待处理图像包括所述待监测儿童的人脸框信息和人体框信息； 以及， 基于训练好的人脸特征模型和所述人脸框信息中的人脸特征， 确定所述人脸框 信息中各 人脸框图像对应的待监测儿童的身份信息； 获取单元， 用于基于所述各人脸框 图像对应的待监测 儿童的身份信息， 对所述各人脸 框图像和所述人体框信息中的各人体框图像进行 处理， 获取所述各人体框图像对应的待监 测儿童的身份信息； 所述确定单元， 还用于确定所述各人体框 图像对应的至少一个群人体框 图像， 所述群 人体框图像是 所述各人体框图像中满足预设筛 选条件的至少一个人体框的集 合图像； 所述获取单元， 还用于将所述至少一个群人体框 图像输入多标签分场景类模型， 得到 各群人体框图像的标签信息和相应标签激活热力图； 所述标签信息为所述多标签分场景类 模型的输出层输出 的所述待监测儿童的行为标签、 行为对 象标签和场景标签； 所述标签激 活热力图为所述多标签分场景类模型的第4阶段 卷积层输出的热力图； 所述确定单元， 还用于针对各群人体框 图像， 基于所述群人体框 图像对应的标签激活权　利　要　求　书 2/3 页 3 CN 114387680 B 3