(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210435144.4 (22)申请日 2022.04.24 (71)申请人 上海悠络客电子科技股份有限公司 地址 201702 上海市青浦区徐泾镇 华徐公 路888号6幢 (72)发明人 张祥祥　沈修平　 (74)专利代理 机构 上海领匠知识产权代理有限 公司 31404 专利代理师 陈剑 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/62(2022.01) G06V 30/19(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视觉算法的商品货架空置识别预警方 法及系统 (57)摘要 本发明提供一种基于视觉算法的商品货架 空置识别预警方法及系统。 本发 明的识别预警方 法包括以下步骤： 提取并选定多个训练图像； 对 每个训练图像进行人工标注得到对应的标注空 置区域数据、 标注商品标签框数据和标注商品识 别字符数据； 构建空置区域检测模型、 商品标签 框检测模型、 标签字符识别模型并进行训练； 通 过训练后的商品标签框检测模型、 标签字符识别 模型和空置区域检测模型得到当前图像对应的 当前商品标签框数据、 当前商品识别字符以及当 前空置区域数据， 并计算得到存放有对应的商品 的区域中的当前空置区域占比； 判断当前空置区 域占比是否大于预设空置区域占比； 在判断结果 为是时发出包含有当前空置区域占比和对应的 商品识别字符的预警信息 。 权利要求书2页 说明书5页 附图2页 CN 114863362 A 2022.08.05 CN 114863362 A 1.一种基于视觉算法的商 品货架空置识别预警方法， 用于对商 品货架的空置区域进行 识别预警， 所述商品货架上用于存放同一种商品的区域的起始 位置和终点位置各设有一个 商品标签， 每 个商品标签框内具有对应商品的商品识别字符， 其特 征在于， 包括以下步骤： 步骤S1， 从收集到的目标场景下的至少一段监控视频中提取多个单帧图像， 并从该多 个单帧图像中选 定多个具有空置区域的单帧图像作为训练图像； 步骤S2， 对每个所述训练图像进行人工标注得到对应的标注空置区域数据、 标注商品 标签框数据以及标注商品识别字符数据； 步骤S3， 构建空置区域检测模型， 按照预设目标检测算法并使用所述标注空置区域数 据对该空置区域检测模型进行训练得到训练后的空置区域检测模型； 步骤S4， 构建商品标签框检测模型， 按照预设字符检测算法并使用所述标注商品标签 框数据对该商品标签框检测模型进行训练得到训练后的商品标签框检测模型； 步骤S5， 构建标签字符识别模型， 按照预设字符识别算法并使用所述标注商品识别字 符数据对该 标签字符识别模型进行训练得到训练后的标签字符识别模型； 步骤S6， 从实时获取的监控视频中提取单帧图像作为当前图像， 通过训练后的商品标 签框检测模型、 标签字符识别模型以及空置区域检测模型分别得到该当前图像对应的当前 商品标签框数据、 当前商品识别字符以及当前空置区域数据， 并根据所述当前空置区域数 据和所述当前商品标签框数据计算得到存放有对应的商品的区域中的当前空置区域占比； 步骤S7， 判断所述当前空置区域占比是否大于预设空置区域占比； 步骤S8， 在判断结果为是时发出包含有所述当前空置区域占比和对应的商品识别字符 的预警信息 。 2.根据权利要求1所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述标注空置区域数据包 含标注空置区域的左上角和右下角坐标及类别， 所述标注商品标签框数据包 含标注商品标签框的左上角和右下角坐标及类别。 3.根据权利要求1所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述预设目标检测算法为YOLOv4 算法。 4.根据权利要求3所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述空置区域检测模型 所采用的初始学习率 为0.001， 训练数据迭代轮数为 443。 5.根据权利要求1所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述预设字符检测算法为TextBPN 算法。 6.根据权利要求5所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述商品标签框检测模型所采用的初始学习率为0.001， 训练数据迭代轮数为 590。 7.根据权利要求1所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述预设字符识别算法为CRN N算法。 8.根据权利要求7 所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述标签字符识别模型所采用的初始学习率为0.0001， 训练数据迭代轮数为 150。 9.根据权利要求1所述的基于 视觉算法的商品货架空置识别预警方法， 其特 征在于： 其中， 所述商品识别字符为商品名称。权　利　要　求　书 1/2 页 2 CN 114863362 A 210.一种基于视觉算法的商品货架空置识别预警系统， 用于对商品货架的空置区域进 行识别预警， 所述商品货架上用于存放同一种商品的区域的起始位置和终点位置各设有一 张商品标签， 每个所述商品标签的检测框内具有对应商品的商标识别字符， 其特征在于， 包 括： 单帧图像提取模块， 用于从监控视频中提取 出单帧图像； 人工标注模块， 用于让操作者对作为训练图像的单帧图像进行标注得到对应的标注 空 置区域数据、 标注商品标签框数据以及标注商品识别字符数据； 模型构建模块， 用于构建空置区域检测模型、 商品标签框检测模型以及标签字符识别 模型； 模型训练模块， 用于按照预设目标检测算法并使用所述标注 空置区域数据对所述空置 区域检测模型进 行训练得到训练后的空置区域检测模型， 也用于按照预设字符检测算法并 使用所述标注商品标签框数据对所述商品标签框检测模型进行训练得到训练后的商品标 签框检测模型， 还用于按照预设字符检测算法 并使用所述标注商品标签框数据对所述商品 标签框检测模型进行训练得到训练后的商品标签框检测模型； 计算模块， 用于通过训练后的商品标签框检测模型、 标签字符识别模型以及空置区域 检测模型分别得到作为当前图像的单帧图像对应的当前商品标签框数据、 当前商品识别字 符以及当前空置区域数据， 并根据所述当前空置区域数据和所述当前商品标签框数据计算 得到存放有对应的商品的区域中的当前空置区域占比； 判断模块， 用于判断所述当前空置区域占比是否大于预设空置区域占比； 以及 预警模块， 用于在判断所述当前空置区域占比大于预设空置区域占比时发出包含有该 当前空置区域占比和对应的当前商品识别字符的预警信息 。权　利　要　求　书 2/2 页 3 CN 114863362 A 3