(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210051265.9 (22)申请日 2022.01.17 (71)申请人 胡水花 地址 333100 江西省上饶市鄱阳县古县鄱 渡镇郑家村 (72)发明人 胡水花　 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/26(2022.01) G06V 10/75(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06T 19/20(2011.01) G06K 9/62(2022.01) (54)发明名称 基于货物拼接识别的自动货物识别方法及 装置 (57)摘要 本发明属于图像识别技术领域， 具体涉及基 于货物拼接识别的自动货物识别方法及装置。 所 述方法通过将货物的三维图像信息进行拼接后， 使用拼接后的图像拼接结果来识别目标场景或 仓库中的堆叠的货物。 本发明所使用的方法， 不 仅可以对堆叠的货物进行更好的识别， 提升识别 的准确率， 相较于现有技术， 其还提升了大场景 中物体的识别效率。 权利要求书2页 说明书8页 附图3页 CN 114387595 A 2022.04.22 CN 114387595 A 1.基于货物拼接识别的自动货物 识别方法， 其特 征在于， 所述方法执 行以下步骤： 步骤1： 录入目标仓库中的所有不同种类的货物的三维图像信 息； 所述货物的种类记为 ， 满足 ； 步骤2： 基于录入的货物 的三维图像信息进行穷举拼接； 所述穷举拼接的步骤包括： 从 种不同的三维图像信息中， 按照组合的方式， 依次取出2,3 …N种三维图像信息， 然后按照 排列的方式进行三维图像拼接， 得到若干三维图像拼接结果； 步骤3： 在每个三维图像拼接结果中标注出每个三维图像信 息对应的货物的种类， 同时 标注出每 个三维图像信息的质心； 步骤4： 将每个三维图像拼接结果进行模型差异比对， 将模型差异的比率在 设定的阈值 范围的三维 图像拼接结果归为一组， 以此得到若干三维 图像拼接组， 提取每个三维 图像拼 接组的公共轮廓， 作为每 个三维图像拼接组的特 征； 步骤5： 获取目标仓库中某个区域的待识别三维图像信 息， 首先使用得到的三维图像拼 接组进行第一次货物识别， 具体包括： 提取待识别三 维图像信息的轮廓， 基于三维图像拼接 组的特征进行比对识别， 若识别通过， 则判断待识别三维 图像信息隶属于该特征对应的三 维图像拼接组； 步骤6： 再从待识别三维图像信息隶属的三维图像拼接组中分别提取每个三维图像拼 接结果， 对待识别三维图像信息进行识别， 以判断待识别三 维图像信息的货物种类， 完成货 物识别。 2.如权利要求1所述的方法， 其特征在于， 所述步骤4中对每个三维图像拼接结果进行 模型差异比对的方法执行以下步骤： 提取每个三维 图像拼接结果的轮廓， 对提取 的每个三 维图像拼接结果的轮廓进行相互的比对识别， 以得到轮廓的差异的比率； 将差异的比率在 设定的阈值范围的两个三维图像拼接结果归为 一组。 3.如权利要求2所述的方法， 其特征在于， 所述提取每个三维图像拼接结果的轮廓的方 法以下步骤： 获取三维 图像拼接结果的像素偏移值； 所述像素偏移值定义为图像中某个像 素的像素值与图像边缘的像素均值的差值； 获取所述输入图像各像素点与四个方向上相 邻 像素点的像素偏移值差的绝对值； 根据所获取各像素点的像素偏移值差的绝对值， 计算出 各像素点的平均像素偏移值差； 其中， 所述平均像素偏移值差为输入图像各像素点与四个 方向上相 邻像素点的像素偏移值差的绝对值的平均值； 将各像素点的平均像素偏移 值差与 预设的像素偏移 值差阈值进行比较， 如果所述平均像素偏移 值差小于预设的像素偏移值差 阈值， 则将该像素点确定为输入图像的轮廓特 征点。 4.如权利要求3所述的方法， 其特征在于， 获取所述输入图像各像素点与四个方向上相 邻像素点的像素偏移 值差的绝对值的步骤包括： 计算所述输入图像各像素点的像素偏移 值 与该像素点四个方向上的相邻像素点的像素偏移值差， 其中， 所述四个方向包括以下： 上 方、 下方、 左方和右方。 5.如权利要求4所述的方法， 其特征在于， 提取每个三维图像拼接组的公共轮廓， 作为 每个三维图像拼接组的特征的方法执行以下步骤： 将三 维图像拼接组中的每个三 维图像拼 接结果的轮廓进行轮廓融合， 得到三维 图像拼接组的公共轮廓； 所述轮廓融合的方法执行 以下步骤： 将所有三维图像拼接结果的轮廓进行像素叠加， 得到一个融合轮廓后， 再对融合权　利　要　求　书 1/2 页 2 CN 114387595 A 2轮廓中的每 个像素的像素值除以三维图像拼接结果的数量， 最终得到的轮廓为公共轮廓。 6.如权利要求5所述的方法， 其特征在于， 所述步骤5中提取待识别三维图像信息的轮 廓， 基于三维 图像拼接组的特征进行比对识别的方法执行以下步骤： 将三维 图像拼接组的 特征与待识别三维 图像信息的轮廓进行叠加， 得到中间叠加轮廓； 在中间叠加轮廓统计得 到每个对应位置的像素点间距阈值后， 首先对中间叠加轮廓进 行分割， 得到多个分割轮廓， 然后以中间叠加轮廓上的非重叠像素点数量， 作为点数阈值； 使用预设的比对模 型， 对每个 分割轮廓进行比对识别， 以得到每个分割轮廓的比对识别结果值； 所述比对使用如下公式 进行表示：  ； 其中， 表示得到的每个分割 轮廓的比对识别 结果值； 为中间叠加轮廓的像素矩阵， 表示求矩阵转置运算； ||表示求 矩阵行列式值运算； 表示点数阈值， 为像素点间距阈值； 为非重叠像素点占整个中间 地接轮廓中的像素点的数量； A、 B和C均表示调整系数， 取值范围为： 1~5的正整数。 7.如权利要求6所述的方法， 其特征在于， 所述步骤6中再从待识别三维图像信息隶属 的三维图像拼接组中分别提取每个三 维图像拼接结果， 对待识别三 维图像信息进 行识别的 方法执行以下步骤： 将待识别三 维图像信息和三 维图像拼接结果均投影到平面直角坐标系 中； 然后基于投影到平面直角坐标系中的三维 图像拼接结果， 在平面直角坐标系中的每个 象限中进 行重叠部分选取； 基于找到的重叠部 分， 再计算重叠部 分的重叠质心， 然后计算重 叠质心到三维 图像拼接结果中每个三维 图像信息的质心的距离； 同时， 对投影到平面直角 坐标系中的待识别三 维图像信息进行同样的处理， 以得到待识别三 维图像信息的重叠质心 到待识别三 维图像信息中每个去除重叠部 分以外的其余部 分的质心的距离； 若前后得到的 距离的差值在设定的阈值范围内， 则判断待识别的三 维图像信息属于对应的三维图像拼接 结果； 再基于该三维图像品结果判断待识别三维图像信息的货物种类， 完成货物 识别。 8.如权利要求7所述的方法， 其特征在于， 所述重叠部分选取的方法执行以下步骤： 在 平面直角坐标系中， 对投影后的待识别三维图像信息或三维图像拼接结果的每个点的像素 值进行获取， 对获取到的像素值与设定的阈值进行作差后的绝对值计算， 若计算结果超过 设定的重 叠阈值， 则判断该像素值 为属于重叠部分。 9.如权利要求7所述的方法， 其特征在于， 所述设定的重叠阈值为投影后的待识别三维 图像信息或三维图像拼接结果的所有点的像素值的均值。 10.用于实现权利要求1至9之一所述方法的基于货物拼接识别的自动货物 识别。权　利　要　求　书 2/2 页 3 CN 114387595 A 3