(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210729324.3 (22)申请日 2022.06.24 (71)申请人 盛视科技股份有限公司 地址 518000 广东省深圳市福田区华 富街 道莲花一村社区彩田路7018号新浩壹 都A4201-420 6(整层） 、 43整层、 45整层 (72)发明人 李晓凯　朱光强　陈雅琼　龚小龙　 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/62(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 垃圾桶满溢判别方法以及判别系统 (57)摘要 本申请公开一种垃圾桶满溢判别方法， 其包 括： 获取垃圾桶的桶口未投放垃圾时的垃圾桶图 像F1， 检测所述垃圾桶图像F1的垃圾桶桶口的四 个关键角点， 根据四个关键角点计算垃圾桶图像 F1的垃圾桶桶口的面积Sd； 实时对垃圾桶投放垃 圾过程进行监测， 获取垃圾投放过程中的一垃圾 桶图像F2； 结合垃圾桶通口的四个关键角点， 对 垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾 区域， 并计算垃圾桶图像F2的垃圾桶桶口的垃圾 区域的面积Sg； 以及根据面积Sd和面积Sg， 基于阈 值判定垃圾桶图像F2内的垃圾桶是否满溢。 本申 请还提供应用所述圾桶满溢判别方法的垃圾桶 满溢判别系统。 权利要求书2页 说明书7页 附图3页 CN 115035391 A 2022.09.09 CN 115035391 A 1.一种垃圾桶满溢判别方法， 其特 征在于， 包括： 获取垃圾桶的桶口未投放垃圾时的垃圾桶图像F1， 检测所述垃圾桶图像F1的垃圾桶桶 口的四个关键角点， 根据四个关键角点计算垃圾桶图像F1的垃圾桶 桶口的面积Sd； 实时对垃圾桶投放垃圾过程进行监测， 获取 垃圾投放过程中的一垃圾桶图像F2； 结合垃圾桶通口的四个关键角点， 对垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾区 域， 并计算垃圾桶图像F2的垃圾桶 桶口的垃圾区域的面积Sg； 以及 根据面积Sd和面积Sg， 基于阈值判定垃圾桶图像F2内的垃圾桶是否满溢。 2.如权利要求1所述的垃圾桶满溢判别方法， 其特征在于， 根据面积Sd和面积Sg， 基于阈 值判定垃圾桶图像F2内的垃圾桶是否满溢的步骤 包括： 获取四个关键角点的外接矩形框， 记外接矩形框的长边为R1和外接矩形框的短边为 R2； 依据外接矩形框的长宽比RR设定满溢阈值T， 若面积比值SS大于阈值则， 垃圾桶满溢， 否者垃圾桶未满溢； 其中RR＝R1/R2,SS＝Sd/Sg。 3.如权利要求2所述的垃圾桶满溢判别方法， 其特征在于， 依据外接矩形框的长宽比RR 设定满溢阈值T为： T＝0.8,R2＝R 1； 其中， a为正视视角拍摄垃圾桶 时长边与短边的比值， 即α为在不同的拍摄视角下所有 图像中的长边与短边的比值R R的最大值。 4.如权利要求3所述的垃圾桶满溢判别方法， 其特 征在于， α 取值 为5。 5.如权利要求1所述的垃圾桶满溢判别方法， 其特征在于， 根据四个关键角点计算垃圾 桶图像F1的垃圾桶 桶口的面积Sd为： 根据四个关键角点将垃圾桶桶口划分成两个三角形； 垃圾桶桶口的面积Sd为两个三角 形的面积获得垃圾桶桶口的面积； 其中计算其中一个三角形面积S时， 记该三角形的三个边 长为a、 b和c， 则该三角形面积S为： 6.如权利要求1或5任一项所述的垃圾桶满溢判别方法， 其特征在于， 检测所述垃圾桶 图像F1的垃圾桶 桶口的四个关键角点的步骤 包括： 获取关于垃圾桶的第 一样本数据和第 二样本数据， 其中在第 一样本数据中垃圾桶的桶 口的长边与X轴 方向夹角 θ属于第一夹角范围， 在第二样本数据中垃圾桶的桶口的长边与X 轴方向的夹角 θ属 于第二夹角范围， 其中第一夹角范围和第二夹角范围分别为[0 °,90°]和 (90°,180°]；权　利　要　求　书 1/2 页 2 CN 115035391 A 2将第一样本数据输入PFLD网络模型的主干网络和辅助网络获得关于夹角和垃圾桶关 键角点检测的第一检测模型； 将第二样本数据输入PFLD网络模型的主干网络和辅助网络获得关于夹角和垃圾桶关 键角点检测的第二检测模型； 利用两个检测模型中一个检测模型对垃圾桶图像F1进行夹角 θ和四个关键角点检测， 若 该检测模型预测的夹角 θ属于该检测模型所对应的夹角范围， 则 保留该检测模型检测的四 个关键角点的检测结果， 否者， 利用另一个检测模型对垃圾桶图像F2进行夹角 θ和四个关键 角点检测。 7.如权利要求6所述的垃圾桶满溢判别方法， 其特征在于， 所述PFLD网络模型的所述主 干网络为MobilenetV2网络， 所述PFLD网络模型的所述辅助网络为MobileNet的二分类网 络； 其中， 在训练第一检测模型时， 利用MobilenetV2网络的特征层提取的所述第一样本数 据生成的特征和所述第一样 本数据的所有垃圾桶的夹角数据训练MobileNet网络， 其中， 在 训练第二检测 模型时， 利用MobilenetV2网络的特征层提取的所述第二样本数据生成的特 征和所述第二样本数据的所有垃圾桶的夹角数据训练Mobi leNet网络 。 8.如权利要求1所述的垃圾桶满溢判别方法， 其特征在于， 结合垃圾桶通口的四个关键 角点， 对垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾区域， 并计算垃圾桶图像F2的垃圾桶 桶口的垃圾区域的面积Sg的步骤包括： 基于语义分割模型对垃圾桶图像F2进行语义分割获得属于垃圾的区域H1； 将四个关键角点 围成的四边形区域与区域H进行交集运算获得圾桶图像F2的垃圾桶桶 口的垃圾区域H2； 将属于垃圾区域H2的所有像素点的数目求和记为 面积Sg。 9.如权利要求8所述的垃圾桶满溢判别方法， 其特征在于， 所述语义分割模型为 BiSeNet语义分割模型。 10.一种垃圾桶满溢判别系统， 其特征在于， 包括摄像头、 处理单元和监控平台， 所述处 理单元连接所述摄像头和所述监控平台， 所述摄像头用于获取垃圾桶的桶口未投放垃圾时 的垃圾桶图像， 以及用于实时对垃圾桶投放垃圾过程进行监测并获取垃圾投放过程中的一 垃圾桶图像F2； 所述处理单元获取所述摄像头拍摄的图像并执行如权利要求1至9任一项所 述的垃圾桶满溢判别方法的步骤； 所述 监控平台用于获取 所述处理单元的判别结果。权　利　要　求　书 2/2 页 3 CN 115035391 A 3