(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210705688.8 (22)申请日 2022.06.21 (71)申请人 科大智能物联技 术股份有限公司 地址 230031 安徽省合肥市中国(安徽)自 由贸易试验区合肥市高新区望江西路 900号中安创谷科技园一期A1楼6、 7层 (72)发明人 岳晨　张歌　朱立民　姚鹏　 张道亮　钟智敏　刘伟　王筱圃　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 娄岳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于形状分析与图像分割融合的泵头 倾斜检测方法 (57)摘要 本发明公开了一种基于形状分析与图像分 割融合的泵头倾斜检测方法， 包括基于图像特征 增强与BiSeNetV2主干结构融合的方法， 构建融 合语义分割模 型； 将待检测的图像送入融合语义 分割模型， 得到泵头区域的分割图像； 提取分割 图像的所有连通域， 得到所有连通域的关键点坐 标， 以及罐装瓶的基准方向向量； 求取关键点坐 标和罐装瓶的基准方向向量的夹角， 得到泵头倾 斜角度； 判定所述泵头倾斜角度是否处于正常阈 值范围， 若处于正常阈值范围则判定泵头倾斜角 度正常， 否则判定泵头倾斜角度异常。 本发明通 过非接触式的视觉检测方法， 通过分析装箱产品 的泵头形状， 并结合轮廓分析与图像分割算法， 能够准确地对装箱产品泵头倾斜缺陷进行自动 检测。 权利要求书2页 说明书5页 附图9页 CN 115100407 A 2022.09.23 CN 115100407 A 1.一种基于形状分析与图像分割融合的泵头倾斜检测方法， 其特征在于， 具体步骤包 括： 步骤S1、 基于图像增强方法建立图像特征增强模块， 并将BiSeNetV2作为模型的主干结 构融合所述图像特 征增强模块， 构建融合语义分割模型； 步骤S2、 将获取装箱罐装瓶图像形成的训练集输入所述融合语义分割模型进行训练， 再将待检测的装箱罐装瓶图像送入训练好的融合语义分割模型， 得到泵头区域的分割图 像； 步骤S3、 提取所述泵头区域的分割图像的所有连通域， 得到所有连通域的关键点坐标， 以及罐装瓶的基准方向向量， 所述连通域的关键点坐标包括每个连通域的最大内接圆中心 坐标、 每个连通域的轮廓重心坐标， 以及距离最大内接圆最远的连通 域的轮廓上的点 坐标； 步骤S4、 求取所述关键点坐标和所述罐装瓶的基准方向向量的夹角， 得到泵头倾斜角 度； 步骤S5、 判定所述泵头倾斜角度是否处于正常阈值范围， 若处于正常阈值范围则判定 泵头倾斜角度正常， 否则判定泵头倾 斜角度异常。 2.根据权利要求1所述一种基于形状分析与图像分割融合的泵头倾斜检测方法， 其特 征在于， 所述 步骤S1中基于图像增强方法建立图像特 征增强模块的具体步骤 包括： 所述图像特征增强模块分别由基于图像边缘检测方法构建的边缘层、 基于图像均值滤 波方法构建的滤波层， 以及基于图像灰度变换 方法构建的灰度变换层组成； 将输入的装箱罐装瓶图像分别进行边缘层和滤波层的特征提取， 再将边缘层的特征提 取的结果输入到灰度变换层进 行特征提取， 并将灰度变换层与滤波层的特征提取结果通过 Add方式连接 。 3.根据权利要求1所述一种基于形状分析与图像分割融合的泵头倾斜检测方法， 其特 征在于， 所述 步骤S3中获取 所有连通 域的关键点 坐标的具体步骤 包括： 对所述泵头区域的分割图像Canny边缘检测后提取每个连通域的轮廓， 得到每个连通 域的轮廓的外 接矩形； 采用每个连通域的轮廓坐标累加 和均值的方法， 求取每 个连通域的轮廓重心坐标； 以所述轮廓重心坐标作为中心点， 选取最大内接圆中心坐标的候选区域， 遍历求取候 选区域内的所有像素点到连通域的轮廓上的最近距离， 得到的最近距离集合中的最大值对 应的像素点 为最大内接圆中心坐标； 根据最大内接圆中心坐标， 遍历求取连通域的轮廓的上的像素点到最大内接圆中心坐 标的距离， 得到的距离集合中的最大值对应的像素点为距离最大内接圆最远的连通域的轮 廓上的点 坐标。 4.根据权利要求3所述一种基于形状分析与图像分割融合的泵头倾斜检测方法， 其特 征在于， 所述 步骤S3中求取 罐装瓶的基准方向 向量的具体步骤 包括： 根据装箱罐装瓶图像中的罐装瓶行列数量分布先验信 息， 对得到的每个连通域的最大 内接圆中心坐标进行排序， 得到每行 所有的连通 域的最大内接圆中心坐标； 再采用最小二乘法， 对每行所有的连通域的最大内接圆中心坐标进行直线拟合， 得到 每行罐装瓶的基准方向 向量。 5.根据权利要求1所述一种基于形状分析与图像分割融合的泵头倾斜检测方法， 其特权　利　要　求　书 1/2 页 2 CN 115100407 A 2征在于， 所述步骤S4中求取所述关键点坐标和所述罐装瓶的基准方向向量的夹角， 得到泵 头倾斜角度的具体步骤 包括： 求取装箱罐装瓶图像中每行所有连通域的最大内接圆中心坐标到轮廓重心坐标的方 向向量， 与当前 行的罐装瓶的基准方向 向量形成的夹角； 以及 求取装箱罐装瓶图像中每行所有连通域的轮廓重心坐标到距离最大内接圆中心坐标 最远的轮廓上的点 坐标的方向 向量， 与当前 行的罐装瓶基准方向 向量形成的夹角； 选取两个夹角中较小的夹角为泵头倾 斜角度。权　利　要　求　书 2/2 页 3 CN 115100407 A 3