(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210088292.3 (22)申请日 2022.01.25 (65)同一申请的已公布的文献号 申请公布号 CN 114445800 A (43)申请公布日 2022.05.06 (73)专利权人 杭州飞步科技有限公司 地址 310000 浙江省杭州市西湖区西溪路 525号B楼13 5室 (72)发明人 郑途　黄亦非　刘洋　唐文剑　 杨政　何晓飞　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112308137 A,2021.02.02 CN 113269164 A,2021.08.17 CN 111582201 A,2020.08.25 EP 3576008 A1,2019.12.04 Xingang Pan等.Spatial as de ep: Spatial cn n for traf fic scene understandi ng. 《In Thirty-Seco nd AAAI Conference o n Artificial I ntelligence》 .2018, Tu Zheng等.RESA: Recur rent Feature- Shift Ag gregator for Lane Detecti on. 《proceedings or the A AAI conference o n artificial i ntelligence》 .2021, 审查员 许莎莎 (54)发明名称 基于感兴趣区域特征聚集的车道线检测方 法 (57)摘要 本发明公开了一种基于感兴趣区域特征聚 集的车道线检测方法。 输入道路图片并用卷积神 经网络提取图片特征， 投影图片特征上提取得车 道线特征； 每个车道线特征， 在车道线特征上进 行信息传递得到强化特征； 建模 车道线特征和图 片全局特征间关系， 聚集得到图片全局特征； 预 测道路图片中车道线位置和分类； 训练上述车道 线检测模型， 重复步骤利用损失函数进行优化直 到收敛； 对实时待测的道路图片输入训练后的车 道线检测模 型得到道路图片中的车道线位置。 本 发明方法建模了车道线的特征信息以及聚集了 全局的特征信息， 更好感知 环境信息来检测车道 线， 大幅提升了车道线检测的效果， 提升车道线 的特征提取能力和精度。 权利要求书1页 说明书4页 附图1页 CN 114445800 B 2022.09.30 CN 114445800 B 1.一种基于感兴趣区域特 征聚集的车道线检测方法， 其特 征在于： 方法包括以下步骤： (1)输入道路图片并利用卷积神经网络提取全局图片特征， 再将预定义好的车道线投 影到图片特 征上提取获得 车道线特 征； (2)对于每个车道线特征， 在车道线特征上进行信息传递得到表达能力更强的初步车 道线特征； (3)对于初步车道线特征， 进一步建模车道线特征和图片全局特征之间的关系， 再利用 该关系进行感兴趣区域特 征聚集得到更多全局信息的强化车道线特 征； (4)利用(3)中的强化车道线特 征预测道路图片中的车道线位置和分类； (5)训练由(1) ‑(4)构成的车道线检测模型， 重复步骤(1) ‑(4)并利用损失函数进行车 道线检测模型优化， 直到车道线检测模型收敛； (6)车道线检测模型训练完毕后， 将训练后的车道线检测模型用于车道线检测的任务， 对实时待测的道路图片得到道路图片中的车道线位置； 所述步骤(1)中， 预定义好的车道线是在道路图片中按照规则均匀分布的、 并且利用 ROIAlign方法从图片特 征中预先得到车道线图像区域； 所述步骤(3)中， 将全局图片特征进行缩放和矩阵变换的处理后和初步车道线特征进 行两次的交叉矩阵相乘获得强化车道线特征， 车道线 特征和图片全局特征之间的关系建模 具体表示如下： 首先计算初步车道线特 征和全局图片特 征之间的未归一 化相似矩阵W： 其中， Xp表示初步车道线特征， Xf表示缩放和矩阵变换后的全局图片特征， T表示矩阵转 置； 接着， 利用softmax函数对未归一 化相似矩阵W进行归一 化处理得到相似矩阵Wn： Wn＝softmax(w) 然后， 将相似矩阵Wn再和初步全局特 征按照以下公式进行相乘处 理得到特 征矩阵G： 最后， 对特 征矩阵G进行dropout操作， 再和初步车道线特 征相加得到 输出特征O： O＝Xp+dropout(G) 由输出特征O经过全连接层的处 理预测获得 车道线位置和分类。 2.根据权利要求1所述的一种基于感兴趣区域特征聚集的车道线检测方法， 其特征在 于： 所述步骤(1)中， 卷积神经网络具体是由多层卷积层依次连接构成。 3.根据权利要求1所述的一种基于感兴趣区域特征聚集的车道线检测方法， 其特征在 于： 所述步骤(2)中， 采用卷积操作和全连接操作在车道线特征上进行信息传递， 即车道线 特征中的每 个特征点聚集到相邻特 征点的特 征， 获得初步车道线特 征。 4.根据权利要求1所述的一种基于感兴趣区域特征聚集的车道线检测方法， 其特征在 于： 所述步骤(5)中， 对于车道线分类采用损失函数为Focal  loss， 对车道线位置回归采用 损失函数为Smo oth‑l1 loss。权　利　要　求　书 1/1 页 2 CN 114445800 B 2基于感兴趣区域特征 聚集的车道线检测方 法 技术领域 [0001]本发明涉及计算机视觉领域的一种车道线图像处理方法， 具体涉及一种基于感兴 趣区域特 征聚集的车道线检测方法。 背景技术 [0002]车道线检测是计算机视觉领域的重要任务。 它是与深度学习相互促进和发展的领 域， 可以应用到自动 驾驶或者辅助驾驶中， 为其提供道路车道线的信息， 进而帮助智能车辆 更好的定位车辆位置 。 [0003]车道线检测是计算机视觉中一个非常具有挑 战性的任务。 在真实的场景中， 车道 线很容易受到车辆的遮挡， 并且受光照的影响， 图片 中的车道线也可能变得模糊而难以辨 认。 人对车道线的感知是可以通过环境信息来推测的， 因此很多方法也开始建模图像中全 局的信息来辅助检测车道线。 最近Xingang  Pan等人在2018年人工智能顶级会议AAAI提出 的 《Spatial  As Deep:Spatial  CNN for Traffic Scene Understanding》 ， 通过一个稀疏 的卷积神经网络结构， 在图像的行与列之间传递信息， 从而识别有较强先验信息的车道线。 但是这种方法计算 量非常大， 很难应用到一些需要实时计算的任务中， 比如自动驾驶。 [0004]在2021年国际顶级会议CVPR上提出的 《Keep  your Eyes on the Lane:Real ‑time  Attention ‑guided Lane Detection》 通过建模不同车道线之间的关系来获取全局的信息。 但是这种方法仅仅考虑的车道线之间的关系， 没有考虑全局的环境信息， 因此检测的精度 不高。 发明内容 [0005]为了解决背景技术中存在的问题， 本发明提供了一种基于感兴趣区域特征聚集的 车道线检测方法。 [0006]方法建模了车道线的特征信息以及聚集了全局的特征信息， 可以更好的感知环境 信息来检测车道线， 大幅提升 了车道线检测的效果。 [0007]本发明所采用的技 术方案是： [0008](1)输入道路图片并利用卷积神经网络提取全局图片特征， 再将预定义好的车道 线投影到图片特 征上提取获得 车道线特 征； [0009](2)对于每个车道线特征， 在车道线特征上进行信息传递得到表达能力更强的初 步车道线特 征； [0010](3)对于初步车道线特征， 进一步建模车道线特征和图片全局特征之间的关系， 再 利用该关系进行感兴趣区域特 征聚集得到更多全局信息的强化车道线特 征； [0011](4)利用(3)中的强化车道线特 征预测道路图片中的车道线位置和分类； [0012](5)训练由(1) ‑(4)构成的车道线检测模型， 重复步骤(1) ‑(4)并利用损失函数进 行车道线检测模型优化， 直到车道线检测模型收敛； [0013](6)车道线检测模型训练完毕后， 将训练后的车道线检测模型用于车道线检测的说　明　书 1/4 页 3 CN 114445800 B 3