(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210795536.1 (22)申请日 2022.07.07 (71)申请人 西安超嗨网络科技有限公司 地址 710000 陕西省西安市高新区鱼化 街 办天谷七路996号西安国家数字出版 基地A-11804室 (72)发明人 李仓库　成坤　 (74)专利代理 机构 北京知果之信知识产权代理 有限公司 1 1541 专利代理师 苏利 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/34(2022.01)G06V 10/36(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06K 19/06(2006.01) G06Q 30/06(2012.01) (54)发明名称 商品智能识别方法、 装置、 终端及存 储介质 (57)摘要 本申请公开了一种商品智能识别方法、 装 置、 终端及存储介质， 方法与图像获取系统相匹 配， 包括对 所获取的多张商品原始图像进行图像 过滤处理， 得到多张第一处理图像； 对第一处理 图像逐一进行条形码图像分离处理， 得到多张第 二处理图像； 对多张第二处理图像进行条形码纠 正拟合处理， 得到用户所购买商品对应的商品条 形码， 并依据商品条形码获得相对应的商品信 息。 本发明所提出的一种商品智 能识别方法， 利 用图像视觉识别算法， 配合商超场景中的硬件条 件， 实现了对商品条形码的高效、 准确、 智能识 别， 免除用户购买商品时的额外操作， 降低操作 错误率， 显著地 提高了用户体验。 权利要求书2页 说明书10页 附图2页 CN 114882370 A 2022.08.09 CN 114882370 A 1.一种商品智能识别方法， 与设置于购物车上的图像获取系统相匹配， 所述图像获取 系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置， 其特征在于， 方 法包括如下步骤： 对所获取的多张商品原始图像进行图像过滤处理， 其中， 所述图像过滤处理包括购物 车外商品图像剔除及 购物车内商品图像剔除， 得到多张第一处 理图像； 对所述第一处理图像逐一进行条形码图像分离处理， 得到包含有用户所购买商 品对应 的条形码图像的多张第二处 理图像； 对多张所述第 二处理图像进行条形码纠正拟合处理， 得到用户所购买商 品对应的商品 条形码， 并依据所述商品条 形码获得相对应的商品信息 。 2.根据权利要求1所述的商品智能识别方法， 其特 征在于， 还 包括如下步骤： 对所获取的多张商 品原始图像进行背景减除处理， 结合多 张所述商 品原始图像的获取 时间以及经 过背景减除处 理后的所述商品原 始图像， 对用户的购物动作进行识别。 3.根据权利要求1所述的商 品智能识别方法， 其特征在于， 所述对所获取的多张商品原 始图像进行图像过滤处理， 其中， 所述图像过滤处理包括购物车外商品图像剔除及购物车 内商品图像剔除， 得到多张第一处 理图像， 包括如下步骤： 获取来自所述图像获取系统的多 张商品原始图像， 对所获取的多 张商品原始图像进行 图像过滤处理， 其中， 对于图像中包含有购物车外商品的所述商品原始图像， 利用ROI感兴趣区域图像过滤 技术进行图像剔除； 对于图像中包含有购物车内商品的所述商品原始图像， 利用背景减除算法中的KNN最 临近结点 算法的帧差法进行图像剔除； 将经过图像过 滤处理的图像进行汇总， 得到多张第一处 理图像。 4.根据权利要求3所述的商 品智能识别方法， 其特征在于， 所述对所述第 一处理图像逐 一进行条形码图像分离处理， 得到包含有用户所购买商品对应的条形码图像的多张第二处 理图像， 包括如下步骤： 对所述第一处 理图像逐一进行 灰度处理， 将所述第一处 理图像转换为灰度图； 对所述灰度图使用Scharr算子， 得到所述灰度图在水平方向和垂直方向上的梯度值表 示， 将水平方向的梯度值减去垂直方向上 的梯度值， 得到高水平梯度和低垂直梯度的图像 区域； 执行高斯模糊并将所述图像区域转化为二值化的梯度图像， 并使用卷积核大小为9x9 的均值滤波作用于所述梯度图像； 构建掩码并将其应用于所述梯度图像中， 并对所述梯度图像进行多次膨胀及腐蚀操作 直至所述梯度图像中的噪声低于预设标准； 利用基于阈值的最大类间方差法对所述梯度图像进行分割， 检测所分割出的最大轮 廓， 计算得到该轮廓的最小外界矩形并将其作为第二处 理图像。 5.根据权利要求4所述的商 品智能识别方法， 其特征在于， 所述对多 张所述第 二处理图 像进行条形码纠正拟合处理， 得到用户所购买商品对应的商品条形码， 并依据所述商品条 形码获得相对应的商品信息， 包括如下步骤： 若多张所述第二处 理图像中没有任意 一张清晰展示商品条 形码， 则权　利　要　求　书 1/2 页 2 CN 114882370 A 2从所述第二处理图像中提取出多 张拆分图像， 从中位将所述条形码图像再进行一步分 割， 将分割所 得的图像进行组装拟合成为 新的条形码图像； 对所述新的条形码图像进行二值化处理， 对经过二值化处理后的所述新的条形码按序 进行确定ROI感兴趣区域、 去噪、 去条 形码及优化， 得到用户所购买商品对应的商品条 形码； 对所述商品条形码进行识别， 若能够识别并校验通过， 则认为所述商品条形码正确， 否 则认为所述商品条形码错误， 跳转回到从所述第二处理图像中提取出多张拆分图像的操 作， 按序执 行后续流程， 直至所述商品条 形码正确。 6.一种商品智能识别装置， 与设置于购物车上的图像获取系统相匹配， 所述图像获取 系统包括多台用于获取用户所购买商品对应的商品原始图像的摄像装置， 其特征在于， 包 括： 图像过滤模块， 被配置为对所获取的多张商品原始图像进行图像过滤处理， 其中， 所述 图像过滤 处理包括购物车外商品图像剔除及购物车内商品图像剔除， 得到多张第一处理图 像； 条形码图像分离模块， 被配置为对所述第一处理图像逐一进行条形码图像分离处理， 得到包含有用户所购买商品对应的条 形码图像的多张第二处 理图像； 多图像条形码纠正拟合模块， 被配置为对多 张所述第 二处理图像进行条形码纠正拟合 处理， 得到用户所购买商品对应的商品条形码， 并依据所述商品条形码获得相对应的商品 信息。 7.根据权利要求6所述的商品智能识别装置， 其特 征在于， 还 包括： 用户购物动作识别模块， 被配置为对所获取的多张商品原始图像进行背景减 除处理， 结合多张所述商品原始图像的获取时间以及经过背景减除处理后的所述商品原始图像， 对 用户的购物动作进行识别。 8.根据权利要求6所述的商品智能识别装置， 其特 征在于， 所述图像过 滤模块， 包括： 第一图像过滤单元， 被配置为获取来自所述图像获取系统的多张商品原始图像， 对所 获取的多张商品原 始图像进行图像过 滤处理， 其中， 第二图像过滤单元， 被配置为对于 图像中包含有购物车外商品的所述商品原始图像， 利用ROI感兴趣区域图像过 滤技术进行图像剔除； 第三图像过滤单元， 被配置为对于 图像中包含有购物车内商品的所述商品原始图像， 利用背景减除算法中的KN N最临近结点 算法的帧差法进行图像剔除； 第四图像过滤单元， 被配置为将经过图像过滤处理的图像进行汇总， 得到多张第一处 理图像。 9.一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至5中任 一所述的商品智能识别方法中的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行所述计算机程序时实现如权利要求 1至5中任一所述的商 品智能识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114882370 A 3