(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211308991.0 (22)申请日 2022.10.25 (71)申请人 江苏航天大为科技股份有限公司 地址 214101 江苏省无锡市锡山经济开发 区科技工业园1号 (72)发明人 徐云倩　何煜埕　袁渊　潘晓鹏　 (74)专利代理 机构 无锡华源专利商标事务所 (普通合伙) 32228 专利代理师 过顾佳 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习及边缘切割算法融合的交通 信号灯检测方法 (57)摘要 本申请公开了一种基于深度学习及边缘切 割算法融合的交通信号灯检测方法， 涉及交通技 术领域， 该方法利用预先基于深度学习模型训练 得到的检测模型对路口的交通信号灯组的信号 灯图像进行检测识别， 将得到的预测框与信号灯 图像中的若干个真实框进行比较得到初始预测 结果以及漏检区域图像， 对漏检区域图像利用边 缘切割算法确定点亮的灯盘得到补充检测结果， 对检测模型得到的结果进行比较可以筛选掉误 检结果， 并利用边缘切割算法对检测模型漏检进 行检测找出最亮的灯盘确定颜色状态， 从而对检 测模型的漏检部分进行补充检测， 使得最终得到 的检测结果的准确率和全面 性更高。 权利要求书2页 说明书7页 附图4页 CN 115512335 A 2022.12.23 CN 115512335 A 1.一种基于深度学习及边缘切割算法融合的交通信号灯检测方法， 其特征在于， 所述 方法包括： 获取路口的交通信号灯组的信号灯图像， 每个交通信号灯组包括若干个灯盘且在不同 的灯盘点亮时具有相应的颜色状态； 利用检测模型对所述信号灯图像进行检测 识别， 得到所述信号灯图像中的若干个预测 框以及颜色状态， 所述检测模型 预先基于深度学习模型训练得到； 对得到的预测框与 所述信号灯图像中的若干个真实框进行比较， 得到初始预测结果并 确定得到至少一个漏检区域图像， 所述初始预测结果包括利用检测模型检测得到的交通信 号灯组的位置以及 颜色状态， 每个所述漏检区域图像包括利用检测模型未检测得到的一个 交通信号灯组所在区域的信号灯图像； 对所述漏检区域图像利用边缘切割算法确定点亮的灯盘得到补充检测结果， 所述补充 检测结果指示所述漏检区域图像对应的交通信号灯组的颜色状态； 结合所述初始预测结果和补充检测结果确定所述信号灯图像中各个交通信号灯组的 颜色状态。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述漏检区域图像利用边缘切割算 法确定点亮的灯盘得到补充检测结果包括： 利用边缘切割算法检测得到所述漏检区域图像中的各个灯盘的轮廓， 并基于灯盘的轮 廓确定灯盘区域； 比较检测出的各个灯盘区域内的像素点的像素值确定与当前点亮的灯盘对应的灯盘 区域； 根据当前点亮的灯盘在所述漏检区域图像中的位置、 确定交通信号灯组在 当前位置的 灯盘被点亮时的颜色状态， 得到所述交通信号灯组的补充检测结果。 3.根据权利要求2所述的方法， 其特征在于， 所述比较检测出的各个灯盘区域内的像素 点的像素值确定与当前点亮的灯盘对应的灯盘区域， 包括： 将所述漏检区域图像处理为灰度图， 并确定灰度图中每个灯盘区域内的像素点的平均 像素值， 并确定灰度图中所述交通信号灯组中所有灯盘区域内的像素点的全局平均像素 值； 若交通信号灯组中有且仅有一个灯盘区域内的平均像素值大于所述全局像素值， 则确 定平均像素值大于所述全局像素值的灯盘区域对应当前点亮的灯盘； 若交通信号灯组中有多个灯盘区域内的平均像素值大于所述全局像素值， 确定平均像 素值大于所述全局像素值且平均像素值 最大的灯盘区域对应当前点亮的灯盘。 4.根据权利要求2所述的方法， 其特征在于， 所述确定交通信号灯组在当前位置的灯盘 被点亮时的颜色状态， 包括： 计算所述漏检区域图像的长宽比， 并根据计算得到的长宽比确定所述漏检区域图像对 应的交通信号灯组的灯组类型， 不同灯组类型的交通信号灯组具有不同的尺寸且包含不同 数量的灯盘； 确定所述灯组类型的交通信号灯组在 当前位置的灯盘被点亮时的颜色状态， 每种灯组 类型的交通信号灯组中对应各种不同的颜色状态的灯盘的相对设置位置固定 。 5.根据权利要求2所述的方法， 其特征在于， 确定所述漏检区域图像中的各个灯盘区域权　利　要　求　书 1/2 页 2 CN 115512335 A 2的方法包括： 利用canny边缘检测算法对所述漏检区域图像进行边缘检测， 提取得到所述漏检区域 图像中的各个灯盘的轮廓， 每 个灯盘的轮廓包括若干个边界像素点； 确定所述漏检区域图像中每一个像素行包含的边界像素点的数量rowborder， 并确定得 到所述像素行的边界像素率row_rateborder＝rowborder/rowtotal， 其中rowtotal是所述漏检 区 域图像中一个 像素行中包含的像素点的总数量； 确定所述漏检区域图像中每一个像素列包含的边界像素点的数量colborder， 并确定得 到所述像素列的边界像素率col_rateborder＝colborder/coltotal， 其中coltotal是所述漏检 区 域图像中一个 像素列中包 含的像素点的总数量； 提取所述漏检区域图像中边界像素率row_rateborder达到行像素率阈值的像素行以及 边界像素率col_rateborder达到列像素率阈值的像素列构成的区域得到若干个灯盘区域， 各 个灯盘区域互不连通。 6.根据权利要求1所述的方法， 其特 征在于， 得到初始预测结果的方法包括： 计算每个预测框与对应的真实框的交并比； 保留与至少一个真实框的交并比达到重叠 阈值的预测框、 删除与所有真实框的交并比 都未达到重叠阈值的预测框； 将保留的每个预测框作为利用检测模型检测得到的一个交通信号灯组 的位置、 所述预 测框对应的颜色状态作为检测得到的交通信号灯组的颜色状态， 得到所述初始预测结果。 7.根据权利要求6所述的方法， 其特 征在于， 确定漏检区域图像的方法包括： 确定与所述初始预测结果中的预测框均不存在对应关系的每个真实框内的信号灯图 像为一个漏检区域图像， 且分别对应利用检测模型 未检测得到的每 个交通信号灯组。 8.根据权利要求1所述的方法， 其特 征在于， 所述检测模型 预先基于yo lov5模型训练得到 。 9.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 当对得到的预测框与所述信号灯图像中的若干个真实框进行比较得到初始预测结果 并确定不存在漏检区域图像时， 直接由所述初始预测结果得到所述信号灯图像中各个交通 信号灯组的颜色状态。 10.根据权利要求1所述的方法， 其特征在于， 所述获取路口的交通信号灯组的信号灯 图像， 包括： 获取路口 的交通视频流； 对获取到的交通视频流中的原始图像帧进行图像预分割， 提取所述原始图像帧中的交 通信号灯组所在区域的图像得到所述信号灯图像。权　利　要　求　书 2/2 页 3 CN 115512335 A 3