(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210744791.3 (22)申请日 2022.06.29 (65)同一申请的已公布的文献号 申请公布号 CN 114821283 A (43)申请公布日 2022.07.29 (73)专利权人 山东施卫普环保科技有限公司 地址 272000 山东省济宁市任城区南张街 道幸福渠东 (72)发明人 焦兴健　赵捍东　宋媛媛　崔红光　 宋宁宁　张宝生　祝玉鲁　田国政　 (74)专利代理 机构 济宁仁礼信知识产权代理事 务所(普通 合伙) 37383 专利代理师 李琼 (51)Int.Cl. G06V 20/00(2022.01)G06V 10/22(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) E01H 1/00(2006.01) (56)对比文件 CN 112845143 A,2021.0 5.28 US 2020050922 A1,2020.02.13 审查员 刘梦佳 (54)发明名称 一种基于视觉感知的清扫车垃圾清扫方法 及系统 (57)摘要 本公开涉及图像数据处理技术领域， 具体涉 及一种基于视觉感知 的清扫车垃圾清扫方法及 系统， 该方法包括： 获取目标图像序列， 然后， 对 目标图像序列中的每个目标图像进行预处理， 确 定目标图像对应的垃圾轮廓图像； 确定垃圾轮廓 图像序列中的垃圾轮廓图像中的每个垃圾轮廓 对应的运动矢量； 预测目标时间间隔后各个垃圾 轮廓对应的位置； 确定第二相机所需移动的位 移； 移动第二相机； 调节目标清扫车的扫盘档位， 清扫类别垃圾集合中各个类别垃圾。 因此， 本公 开提供的方法采用图像数据处理的方式， 进行相 关的图像数据处理， 解决了 路面垃圾处理的准确 度低下的技术问题， 产生了提高了路面垃圾处理 的准确度的技 术效果。 权利要求书4页 说明书15页 附图1页 CN 114821283 B 2022.09.09 CN 114821283 B 1.一种基于 视觉感知的清扫车 垃圾清扫方法， 其特 征在于， 包括以下步骤： 通过第一相机获取目标图像序列， 对目标图像序列中的每个目标图像进行预处理， 确 定所述目标图像对应的垃圾轮廓图像， 得到垃圾轮廓图像序列； 根据垃圾轮廓图像序列， 确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓 对应的运动矢量， 得到运动矢量 集合序列； 根据运动矢量集合序列中的最后 一个运动矢量集合、 垃圾轮廓图像序列中的最后一帧 垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图 像的时间与预设的第二相机采集图像的时间之 间的目标时间间隔， 预测目标时间间隔后各 个垃圾轮廓对应的位置； 对垃圾轮廓图像序列中的最后 一帧垃圾轮廓图像包含的垃圾轮廓进行聚类， 得到类别 垃圾组集 合； 根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置， 确定第 二相机所需 移动的位移， 作为第二相机位移； 根据第二相机位移， 移动第二相机， 通过第二相机采集垃圾图像； 根据垃圾图像， 调节目标清扫车的扫盘档位， 清扫类别垃圾 集合中各个 类别垃圾； 所述根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置， 确定第 二相机 所需移动的位移， 作为第二相机位移， 包括： 确定类别垃圾组集 合中每个类别垃圾组中各个 类别垃圾的总面积， 得到总面积集 合； 从所述总面积集 合中筛选出总面积最小的总面积， 作为待放大 垃圾轮廓面积； 根据所述待放大垃圾轮廓 面积和目标时间间隔后各个垃圾轮廓对应的位置， 确定第 二 相机位移； 所述确定第二相机位移对应的公式为： 其中， 是所述待放大垃圾轮廓面积对应的类别垃圾组中第 个类别垃圾对应的目标时 间间隔后的类别垃圾的中心点的横坐标， 是垃圾腐蚀轮廓图像序列中的最后一帧垃圾轮 廓图像对应的目标时间间隔后的图像的中心点的横坐标， 是所述待放大垃圾轮廓面积对 应的类别垃圾组中第 个类别垃圾对应的目标时间间隔后的类别垃圾关于位置的参数， 是 所述待放大垃圾轮廓面积， 是所述待放大垃圾轮廓面积对应的类别垃圾组中类别垃圾的 数量， 是所述待放大垃圾轮廓面积对应的类别垃圾组中第 个类别垃圾对应的目标时间 间隔后的类别垃圾的轮廓面积， 是第二相机位移。 2.根据权利要求1所述的方法， 其特征在于， 所述对目标图像序列中的每个目标图像进 行预处理， 确定所述目标图像对应的垃圾轮廓图像， 包括： 标记分割所述目标图像中的各个垃圾区域， 得到所述目标图像对应的垃圾区域图像；权　利　要　求　书 1/4 页 2 CN 114821283 B 2对所述目标图像对应的垃圾 区域图像中的各个垃圾 区域进行边缘检测， 得到所述目标 图像对应的垃圾轮廓图像。 3.根据权利要求1所述的方法， 其特征在于， 所述根据垃圾轮廓图像序列， 确定垃圾轮 廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量， 得到运动矢量集合序 列， 包括： 根据目标清扫车的运动速度， 确定第一 运动矢量 准确性； 对垃圾轮廓图像序列中的每个垃圾轮廓图像中的各个垃圾轮廓进行腐蚀操作， 确定所 述垃圾轮廓图像对应的垃圾腐蚀轮廓图像， 得到垃圾腐蚀轮廓图像序列； 对垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像包含的各个垃圾腐蚀轮廓划分 成多个预设大小的像素块， 确定所述垃圾腐蚀轮廓图像对应的像素块组集 合； 通过合并相似性公式， 确定所述像素块组集合中相邻两个像素块的合并相似性， 所述 合并相似性公式为： 其中， 是合并代替 次数相关系数， 是与所述像素块组集合中相邻 两个像素块的左边 相邻的像素块的合并次数， 是与所述像素块组集合中相邻两个像素块的右边相邻的像素 块的合并次数， 是 与 进行与运算得到的 矩阵， 与 分别是所述像素块组集合中 相邻两个像 素块的 邻域内是否存在像 素块的位置矩阵， 位置矩阵是 矩阵， 位置矩 阵中对应的值为 1的元素对应的邻域存在像素块， 位置矩阵中对应的值为0的元素对应的邻 域不存在像素块， 位置矩阵中的元素对应的值由0或1构成， 是与运算， 是所述像素块组 集合中相邻两个像素块的相似度， 是矩阵 中第 行第 列元素对应的值， 是所述像 素块组集合 中相邻两个像素块的合并意愿， 用于判断所述像素块组集合 中相邻两个像素 块是否可以合并， 和 分别是所述像素块组集合中相邻两个像素块在对应的 邻域 内包含的像素块的数量； 响应于所述像素块组集合中相邻 两个像素块的合并相似性大于预设合并阈值， 将所述 像素块组集 合中相邻两个 像素块进行合并， 其中， 进行合并的像素块对应的运动矢量 一样； 从垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像对应的像素块组集合中筛选出 满足目标筛选条件的像素块， 确定所述垃圾腐蚀轮廓图像对应的目标像素块组集合， 其中， 所述目标筛选条件是像素块组集合中的像素块对应的运动矢量不同， 目标像素块组集合是 像素块组集 合中去除了进行合并的像素块； 根据高斯模板， 确定垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块权　利　要　求　书 2/4 页 3 CN 114821283 B 3