(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210215712.X (22)申请日 2022.03.07 (65)同一申请的已公布的文献号 申请公布号 CN 114332776 A (43)申请公布日 2022.04.12 (73)专利权人 深圳市城市交通 规划设计 研究中 心股份有限公司 地址 518131 广东省深圳市龙华区民治街 道龙塘社区星河传奇花园三期商厦1 栋C座1210 (72)发明人 林涛　翟俊奇　丘建栋　阚倩　 朱述宝　 (74)专利代理 机构 哈尔滨市伟晨专利代理事务 所(普通合伙) 23209 专利代理师 荣玲(51)Int.Cl. G06V 20/52(2022.01) G06V 20/54(2022.01) G06V 40/10(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (56)对比文件 WO 20210 51868 A1,2021.0 3.25 审查员 洪汇隆 (54)发明名称 非机动车占用人行道检测方法、 系统、 设备 及存储介质 (57)摘要 本发明提出非机动车占用人行道检测方法、 系统、 设备及存储介质， 属于图像处理技术领域。 包括获取模块、 检测模块、 构建模块、 分析模块和 数据传输模块； 所述获取模块、 检测模块、 构建模 块、 分析模块和数据传输模块依次连接； 所述获 取模块用于获取监控场景信息得到检测区域； 所 述检测模块用于获取非机动车和行人的目标框， 并将非机动车和人进行匹配， 获得最小邻接矩形 目标框； 所述构建模块用于构建目标图像序列； 所述分析模块用于分析非机动车的状态预测非 机动车的行驶状态； 所述数据传输模块用于对预 测结果进行数据结构化处理， 将报文信息和目标 图像序列中任意一张图片数据传输到云端。 解决 了人工检查费时费力、 成本高的问题。 权利要求书3页 说明书8页 附图4页 CN 114332776 B 2022.08.02 CN 114332776 B 1.非机动车占用人行道的检测系统， 其特征在于， 包括获取模块、 检测模块、 构建模块、 分析模块和数据传输模块； 所述获取模块、 检测模块、 构建模块、 分析模块和数据传输模块 依次连接； 所述获取模块用于获取监控场景信息得到检测区域； 所述检测模块用于获取非 机动车和行人的目标框， 并将非机动车和人进行匹配， 获得最小邻接矩形目标框， 包括以下 步骤： 步骤二一、 对监控图像的每一帧利用基于深度学习的目标检测算法yolov3， 获取非机 动车的目标框， 并获取非机动车目标框的中心点坐标， 同时为非机动车目标框生成唯一标 号； 步骤二二、 对监控图像的每一帧利用基于深度学习的目标检测算法yolov3， 获取行人 的目标框， 并计算行 人目标框的中心点 坐标， 同时为行 人目标框生成唯一标号； 步骤二三、 对每个非机动车目标框， 计算行人目标框的中心点与非机动车目标框的中 心点的距离， 并将距离为半径以非机动车目标框中心点 为原点画圆； 步骤二四、 取半径小于设定阈值的行 人目标框， 所述行 人目标框不多于 3个； 步骤二五、 计算行人目标框与圆重合区域的面积占圆总面积的比例， 取占比最大的行 人目标框； 若占比最大行人目标框有多个， 取其中圆半径最小的行人目标框； 具体包括以下 步骤： 步骤二五一、 建立新的参考系， 以非机动车目标框 中心点为原点， 将监控区域的坐标投 影到参考系中： 步骤二五二、 确定随机点的取值范围； 步骤二五三、 随机生成若干个点， 统计其在矩形区域的个数， 统计占比； 步骤二六、 用最小邻接矩形将步骤二五所述行人目标框与非机动车目标框框出， 形成 最小邻接矩形目标框， 计算小邻接矩形的中心 点坐标； 并为最小邻接矩形目标框、 行人目标 框和非机动车目标框生成唯一标号； 步骤二七、 用步骤二六所述最小邻 接矩形目标框的中心点坐标与检测区域的坐标进行 比较， 判断最小邻接矩形目标框中心 点是否在检测区域内， 若否， 则停止对最小邻接矩形目 标框的跟踪， 若是， 则进行 下一步骤； 所述构建模块用于构建目标图像序列； 所述分析模块用于分析非机动车的状态预测非 机动车的行驶状态； 所述数据传输模块用于对预测结果进行数据结构化处理， 输出报文信 息， 将报文信息和目标图像序列中任意 一张图片数据传输 到云端。 2.非机动车占用人 行道的检测方法， 其特 征在于， 包括以下步骤： 步骤一、 获取监控下场景信息， 基于场景信息获取检测区域； 步骤二、 基于检测区域， 获取非机动车和行人的目标框， 并将非机动车和人进行匹配， 获得最小邻接矩形目标框； 包括以下步骤： 步骤二一、 对监控图像的每一帧利用基于深度学习的目标检测算法yolov3， 获取非机 动车的目标框， 并获取非机动车目标框的中心点坐标， 同时为非机动车目标框生成唯一标 号； 步骤二二、 对监控图像的每一帧利用基于深度学习的目标检测算法yolov3， 获取行人 的目标框， 并计算行 人目标框的中心点 坐标， 同时为行 人目标框生成唯一标号； 步骤二三、 对每个非机动车目标框， 计算行人目标框的中心点与非机动车目标框的中权　利　要　求　书 1/3 页 2 CN 114332776 B 2心点的距离， 并将距离为半径以非机动车目标框中心点 为原点画圆； 步骤二四、 取半径小于设定阈值的行 人目标框， 所述行 人目标框不多于 3个； 步骤二五、 计算行人目标框与圆重合区域的面积占圆总面积的比例， 取占比最大的行 人目标框； 若占比最大行人目标框的有多个， 取其中圆半径 最小的行人目标框； 具体包括以 下步骤： 步骤二五一、 建立新的参考系， 以非机动车目标框 中心点为原点， 将监控区域的坐标投 影到参考系中： 步骤二五二、 确定随机点的取值范围； 步骤二五三、 随机生成若干个点， 统计其在矩形区域的个数， 统计占比； 步骤二六、 用最小邻接矩形将步骤二五所述行人目标框与非机动车目标框框出， 形成 最小邻接矩形目标框， 计算小邻接矩形的中心 点坐标； 并为最小邻接矩形目标框、 行人目标 框和非机动车目标框生成唯一标号； 步骤二七、 用步骤二六所述最小邻 接矩形目标框的中心点坐标与检测区域的坐标进行 比较， 判断最小邻接矩形目标框中心 点是否在检测区域内， 若否， 则停止对最小邻接矩形目 标框的跟踪， 若是， 则进行 下一步骤； 步骤三、 基于步骤二所述的最小邻 接矩形与步骤一所述的检测区域的位置构建目标图 像序列； 步骤四、 利用步骤三所述的目标图像序列对小邻接矩阵区域进行分析， 得到非机动车 的状态； 步骤五、 根据步骤四所述的非机动车状态预测非机动车 行驶状态。 3.根据权利要求2所述的非机动车占用人行道的检测方法， 其特征在于， 步骤一所述获 取监控下场景信息， 基于场景信息获取检测区域的具体方法是， 包括以下步骤： 步骤一一、 接入摄 像头采集的实时视频流信息； 步骤一二、 将原始视频解码成统一的RGB格式的单帧图片； 步骤一三、 对单帧图片进行颜色空间的转换和图像滤波 去噪处理； 步骤一四、 通过语义分割算法对场景中的人行道进行识别以及像素级定位， 然后根据 分割结果生成能够将人行道区域完全框住的最小外接旋转矩阵， 最小外接旋转矩阵即为检 测区域； 步骤一五、 获得到检测区域后， 生成唯一标号。 4.根据权利要求3所述的非机动车占用人行道的检测方法， 其特征在于， 步骤二所述将 非机动车和人进行匹配时， 若非机动车目标框无法匹配到行人目标框， 则不对其做任何操 作； 若距离小于某 一设定阈值的只有1个行人目标框， 则直接对该行人目标框和非机动车目 标框生成最小邻接矩形。 5.根据权利要求4所述的非机动车占用人行道的检测方法， 其特征在于， 步骤三所述构 建目标图像序列的具体方法是， 依次提取每一帧目标监控图像中最小邻接矩形目标框的标 号和每一帧目标监控图像的最小邻接矩形目标框， 将这部分目标框缩放到相同尺寸， 为待 识别的非机动车和行人目标构建图像序列； 若图像序列长度超过20帧， 按时间次序随机抽 取20帧。 6.根据权利要求5所述的非机动车占用人行道的检测方法， 其特征在于， 步骤四所述得权　利　要　求　书 2/3 页 3 CN 114332776 B 3