(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639176.8 (22)申请日 2021.12.2 9 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 万洪林　张理继　仲宗锋　孙景生　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 朱忠范 (51)Int.Cl. G06V 20/00(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 零售场景下的商品识别检测计数方法及系 统 (57)摘要 本发明提供一种零售场景下的商品识别检 测计数方法及系统， 属于计算机视觉技术领域， 包括： 获取待检测的零售场景图像； 利用预先训 练好的检测模型处理所述待检测的零售场景图 像， 获取图像中包含的商品的类型及数量； 其中， 所述预先训练好的检测模型由训练集训练得到， 所述训练集包括多张包含有零售商品的照片以 及在所述照片中标注商品类别信息和商品数量 信息的标签； 其中， 所述训练集中将零售场景照 片的标注转化为COCO数据集采用的格式。 本发明 利用深度卷积神经网络能够有效的对零售场景 中商品进行检测， 用一个边界框表 示一组商品名 称的同时给出这组商品的准确数量实现商品类 别检测的同时能够获得商品的数量信息， 提高了 商品定位精度。 权利要求书1页 说明书7页 附图4页 CN 114494823 A 2022.05.13 CN 114494823 A 1.一种零售场景 下的商品识别检测计数 方法， 其特 征在于， 包括： 获取待检测的零售场景图像； 利用预先训练好的检测模型处理所述待检测的零售场景图像， 获取图像中包含的商品 的类型及数量； 其中， 所述预先训练好的检测模型由训练集训练得到， 所述训练集包括多张 包含有零售商品的照片以及在所述照片中标注商品类别信息和商品数量信息的标签； 其 中， 所述训练集中将零售场景照片的标注转 化为COCO数据集采用的格式。 2.根据权利要求1所述的零售场景下的商 品识别检测计数方法， 其特征在于， 使用残差 网络与特征金字塔结构作为所述检测模型 的主干网络； 所述主杆网络中， 对图像进行卷积 操作后利用残差块获得不同尺度的特征图， 利用特征金字塔结构对不同尺度的特征图进 行 特征融合， 得到融合特 征图。 3.根据权利要求2所述的零售场景下的商 品识别检测计数方法， 其特征在于， 所述主干 网络连接候选 框生成网络， 融合特 征图输入到候选 框生成网络对进行候选 框的生成。 4.根据权利要求3所述的零售场景下的商 品识别检测计数方法， 其特征在于， 所述候选 框生成网络包括两条支路， 一条是对生成的候选框进行分类， 对候选框内所包含图像进行 判断， 将其分为前景背景； 另一条支路是对候选框进行初步调整， 得到初步的目标建议； 所 述候选框生成网络最终整合两条支路的检测建议， 通过计算得到最终的检测目标建议。 5.根据权利要求4所述的零售场景下的商 品识别检测计数方法， 其特征在于， 所述候选 框生成网络连接级联 的目标检测网络结构， 依据检测目标建议， 进行多阶段 的定位计数与 分类， 生成最终的目标检测框， 其中包 含最终的商品类别和所包 含商品的数量。 6.根据权利要求1 ‑5任一项所述的零售场景下的商品识别检测计数方法， 其特征在于， 在训练所述检测模型时， 使用多任务损失函数来实现端到端的训练， 多任务损失函数 由分 类损失、 回归损失、 计数损失构成。 7.一种零售场景 下的商品识别检测计数系统， 其特 征在于， 包括： 获取模块， 用于获取待检测的零售场景图像； 检测模块， 用于利用预先训练好的检测模型处理所述待检测的零售场景图像， 获取图 像中包含的商品的类型及数量； 其中， 所述预先训练好的检测模型由训练集训练得到， 所述 训练集包括多张包含有零售商品的照片以及在所述照片中标注商品类别信息和商品数量 信息的标签； 其中， 所述训练集中将零售场景照片的标注转 化为COCO数据集采用的格式。 8.一种非暂态计算机可读存储介质， 其特征在于， 所述非暂态计算机可读存储介质用 于存储计算机指 令， 所述计算机指 令被处理器执行时， 实现如权利要求 1‑6任一项所述的零 售场景下的商品识别检测计数 方法。 9.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序当在一个或多 个处理器上运行时， 用于实现如权利要求1 ‑6任一项所述的零售场景下的商品识别检测 计 数方法。 10.一种电子设备， 其特征在于， 包括： 处理器、 存储器以及计算机程序； 其中， 处理器与 存储器连接， 计算机程序被存储在 存储器中， 当电子 设备运行时， 所述处理器执行所述存储 器存储的计算机程序， 以使电子设备执行实现如权利要求1 ‑6任一项所述的零售场景下 的 商品识别检测计数 方法的指令 。权　利　要　求　书 1/1 页 2 CN 114494823 A 2零售场景下的 商品识别检测计数方 法及系统 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体涉及一种基于深度神经网络学习的零售场 景下的商品识别检测计数 方法及系统。 背景技术 [0002]针对零售场景下的商品结算， 目前现有的方法， 主要是利用射频通信实现的非接 触式自动识别技 术和基于深度学习的目标检测算法两种方式。 [0003]利用射频通信实现的非接触式自动识别技术， 通过RFID标签进行非可视化识别。 但是由于射频标签成本较高， 特别是对于价格相对低廉的商品， RFID标签的使用会对生厂 商和销售门店的利 润造成较大影响。 [0004]基于深度学习的目标检测算法， 利用卷积神经网络对货架上的商品进行定位回归 分类。 但是卷积神经网络的检测结果， 都是一个边界框表示一个物品， 当商品存在遮挡时， 难以准确进行判断， 并且无法实现计数功能。 发明内容 [0005]本发明的目的在于提供一种能够对零售场景货架上严重遮挡商品进行回归识别 和计数的， 基于深度神经网络的零售场景下 的商品识别检测计数方法及系统， 以解决上述 背景技术中存在的至少一项技 术问题。 [0006]为了实现上述目的， 本发明采取了如下技 术方案： [0007]一方面， 本发明提供一种零售场景 下的商品识别检测计数 方法， 包括： [0008]获取待检测的零售场景图像； [0009]利用预先训练好的检测模型处理所述待检测的零售场景图像， 获取图像中包含的 商品的类型及数量； 其中， 所述预先训练好的检测模型由训练集训练得到， 所述训练集包括 多张包含有零售商品的照 片以及在所述照 片中标注商品类别信息和商品数量信息的标签； 其中， 所述训练集中将零售场景照片的标注转 化为COCO数据集采用的格式。 [0010]优选的， 使用残差网络与特征金字塔结构作为所述检测模型的主干网络； 所述主 杆网络中， 对图像进行卷积操作后利用残差块获得不同尺度的特征图， 利用特征金字塔结 构对不同尺度的特 征图进行 特征融合， 得到融合特 征图。 [0011]优选的， 所述主干网络连接候选框生成网络， 融合特征图输入到候选框生成网络 对进行候选 框的生成。 [0012]优选的， 所述候选框生成网络包括两条支路， 一条是对生成的候选框进行分类， 对 候选框内所包含图像进 行判断， 将其分为前景背 景； 另一条支路是对候选框进 行初步调整， 得到初步的目标建议； 所述候选框生成网络最终整合两条支路的检测建议， 通过计算得到 最终的检测目标建议。 [0013]优选的， 所述候选框生成网络连接级联的目标检测网络结构， 依据检测目标建议， 进行多阶段的定位计数与分类， 生成最终的目标检测框， 其中包含最终的商品类别和所包说　明　书 1/7 页 3 CN 114494823 A 3