(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111683403.7 (22)申请日 2021.12.31 (71)申请人 广东哈士 奇制冷科技股份有限公司 地址 528300 广东省佛山市顺德区均安 镇 均安社区盈安 三路1号 (72)发明人 王卫　刘亚雪　吴焕栋　刘吉潮　 刘军　 (74)专利代理 机构 北京劲创知识产权代理事务 所(普通合伙) 11589 代理人 常柯阳 (51)Int.Cl. G06V 20/60(2022.01) G06V 10/422(2022.01) G06V 10/50(2022.01) G06V 10/30(2022.01)G06V 10/34(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种货柜中瓶体商品的检测方法及系统 (57)摘要 本发明公开了一种货柜中瓶体商品的检测 方法， 采集饮料瓶体的 图像后进行预处理后得到 预处理后图像； 针对所述预处理后的图像， 判断 图像中的饮料瓶体是否具有盖体； 再判断所述盖 体的位置， 对盖体图案进行识别， 若识别的图案 不为商家的预设图案则跳转至告警步骤， 若识别 的图案为商家预设的图案， 则对瓶体的图案进行 识别， 若识别判断所述瓶体的图案为商家预设图 案则确定 该瓶体为商家商品， 若判断所述瓶体的 图案不为商家预设图案则跳转至对识别的瓶体 进行计数， 得到不为商家商品的瓶体数量， 若检 测到的瓶体数量小于第二预设值则识别的非商 家商品进行类别统计并生 成竞品分析报告， 若检 测到的瓶体数量大于第二值， 则直接向商家预设 终端发送告警信息 。 权利要求书3页 说明书6页 附图1页 CN 114359882 A 2022.04.15 CN 114359882 A 1.一种货柜中瓶体商品的检测方法， 其特 征在于， 所述方法进一 步包括： 步骤1， 采集饮料瓶体的图像， 并对饮料瓶体的图像进行 预处理后得到预处 理后图像； 步骤2， 针对所述预处理后的图像， 判断图像中的饮料瓶体是否具有盖体， 若不具有盖 体则跳转至步骤6， 若具有则盖体则跳转至步骤3； 步骤3， 通过直线拟合算法对饮料体上的盖体进行检测， 通过hough转换求出所述盖体 与瓶体固定中心点所在的直线方程1， 再用直线拟合算法求出盖体的盖顶所在直线方程2， 通过比较所述直线方程 1和所述直线方程2的叙率和截距判断盖体相对于瓶体的位置， 若判 断所述盖体相对于瓶体的位置超出商家输入的预设范围值， 则跳转至步骤6， 如果所述盖体 相对于瓶体的位置并未超出商家输入的预设范围值则跳转至步骤4； 步骤4， 对盖体图案进行识别， 若识别的图案不为商家的预设图案则跳转至步骤6， 若识 别的图案为商家预设的图案， 则进行跳转至步骤5； 步骤5， 对瓶体的图案进行识别， 若识别判断所述瓶体的图案为商家预设图案则确定该 瓶体为商家商品， 跳转回步骤1重新对其他瓶体的图像进行采集， 若判断所述瓶体的图案不 为商家预设图案则跳转至步骤6； 步骤6， 对识别的瓶体进行计数， 得到不为商家商品的瓶体数量， 若检测到的瓶体数量 大于第一预设值且小于第二预设值， 则将识别的非商家商品进行类别统计， 并生成竞品商 品的分析报告， 若检测到的瓶体数量大于第二预设值， 则直接 向商家预设终端发送告警信 息。 2.如权利要求1所述的一种货柜中瓶体商品的检测方法， 其特征在于， 所述步骤3进一 步包括： 假设在图像空间上有一 点(xn， yn)， 那么所有过这 点的直线方程可以表示 为： yn＝α xn+β 其中， α 是直线的斜 率， β 是直线的截距； 设图像空间有一点(xk， yk)， 在参数空间同样存在一条直线和这点相对应， 如果这两条 直线不是平行线， 那么这两条直线肯定相交于一点( α ’， β’)。 在α’， β’分别代表的是图像空 间中(xn， yn)和(xk， yk)所代表的这条直线的斜率和截距； 通过点(xn， yn)和点(xk， yk)确定 一条直线， 并且这条直线上的点在参数空间所对应的直线都通过点( α ’， β’)， 经过直线拟合 算法变换将图像空间中直线的检测转换到 了参数空间中点的检测。 3.如权利要求3所述的一种货柜中瓶体商 品的检测方法， 其特征在于， 所述并对饮料瓶 体的图像进行预处理后得到预处理后图像进一步包括： 将彩色图像做灰度 处理， 灰度范围 0‑255， 再对 灰度图像做直方图均衡得到所述饮料瓶体的图像的灰度直方图， 设置预设模板 并通过模版中值来代替对应像素点的灰度值以滤除高频噪声得到平滑图形， 其中， 所述预 设模板为中值滤波作为一种邻域运算的模板， 通过将数字图像中任一点的值用该点的一个 领域中各像素点 值的中值 来替代， 使得相邻的数值更接 近实际值， 进 而消除图像的噪声点。 4.如权利要求3所述的一种货柜中瓶体商 品的检测方法， 其特征在于， 判断图像是否匹 配的方法包括： 通过对图像的特征值的相似度进行计算得到图像之间的差异， 在相似度大 于预设阈值时， 判定图像匹配。 5.如权利要求4所述的一种货柜中瓶体商 品的检测方法， 其特征在于， 所述相似度的预 设阈值为0.8。 6.如权利要求5所述的一种货柜中瓶体商品的检测方法， 其特征在于， 所述步骤3进一权　利　要　求　书 1/3 页 2 CN 114359882 A 2步包括： 在进行直线拟合算法定位前/后通过采用第一神经网络模型对图像进行分析和处 理， 其中， 首先把要检测的饮料瓶体的图像 分为划分为3 ×3的网格， 再将 每个格子与学习标 签进行匹配， 其中， 所述学习标签为盖体图像数据标签， 若检测图片中物体的中心是落在划 分的网格里面， 那么该网格就预测 落入其中的这个盖体对应的瓶体， 以此实现双重算法识 别， 得到更准确的盖体识别结果。 7.如权利要求6所述的一种货柜中瓶体商 品的检测方法， 其特征在于， 其中所述第 一神 经网络模型为YOLO  v1网络， 网络结构有24个卷积层以及2个全连接层和一个输出层。 8.一种货柜中瓶体商品的检测系统， 其特征在于， 图像采集单元， 采集饮料瓶体的图 像， 并对饮料瓶体的图像进 行预处理后得到预 处理后图像， 其中， 所述并对饮料瓶体的图像 进行预处理后得到预处理后图像进一步包括： 将彩色图像做灰度处理， 灰度范围0 ‑255， 再 对灰度图像做直方图均衡得到所述饮料瓶体的图像的灰度直方图， 设置预设模板并通过模 版中值来代替对应像素点的灰度值以滤除高频噪声得到平滑图形， 其中， 所述预设模板为 中值滤波作为一种邻域运算的模板， 通过将数字图像中任一点的值用该点的一个领域中各 像素点值的中值来替代， 使得相 邻的数值更接近实际值， 进而消除图像的噪声点； 盖体判断 单元， 针对所述预处 理后的图像， 判断图像中的饮料瓶体是否具有盖体； 盖体检测识别单元， 通过直线拟合算法对饮料体上的盖体进行检测， 通过hough转换求 出所述盖体与瓶体固定中心点所在的直线方程1， 再用直线拟合算法求出盖体的盖顶所在 直线方程2， 通过比较所述直线方程1和所述直线方程2的叙率和截距判断盖体相对于瓶体 的位置， 判断所述盖体相对于瓶体的位置是否超出商家输入的预设范围值， 其中， 假设在图 像空间上有一 点(xn， yn)， 那么所有过这 点的直线方程可以表示 为： yn＝α xn+β 其中， α 是直线的斜 率， β 是直线的截距； 设图像空间有一点(xk， yk)， 在参数空间同样存在一条直线和这点相对应， 如果这两条 直线不是平行线， 那么这两条直线肯定相交于一点( α ’， β’)。 在α’， β’分别代表的是图像空 间中(xn， yn)和(xk， yk)所代表的这条直线的斜率和截距； 通过点(xn， yn)和点(xk， yk)确定 一条直线， 并且这条直线上的点在参数空间所对应的直线都通过点( α ’， β’)， 经过直线拟合 算法变换将图像空间中直线的检测 转换到了参数空间中点的检测； 对盖体图案进行识别， 若识别的图案不 为商家的预设图案则跳转至统计分析与告警单 元； 瓶体识别单元， 对瓶体的图案进行识别， 若识别判断所述瓶体的图案为商家预设图案 则确定该瓶体为商家商品， 若判断所述瓶体的图案不为商家预设图案则跳转至统计分析与 告警单元； 统计分析与告警单元， 对识别的瓶体进行计数， 得到不为商家商品的瓶体数量， 若检测 到的瓶体数量大于第一预设值且小于第二预设值， 则将识别的非商家商品进行类别统计， 并生成竞品商品的分析报告， 若检测到的瓶体数量大于第二预设值， 则直接 向商家预设终 端发送告警信息 。 9.一种电子设备， 其特征在于， 包括处理器、 存储器、 通信接口， 以及一个或多个程序， 所述一个或多个程序被存储在所述存储器中， 并且被配置由所述处理器执行， 所述程序包 括用于执 行如权利要求17任一项所述的方法中的步骤的指令 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储计算机权　利　要　求　书 2/3 页 3 CN 114359882 A 3