(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210184350.2 (22)申请日 2022.02.28 (71)申请人 东北电力大 学 地址 132000 吉林省吉林市长 春路169号 东 北电力大 学计算机学院 (72)发明人 娄建楼　梁丰　曲朝阳　谭咏麟　 周佳乐　李向宇　陈科余　贺博川　 张雪　 (74)专利代理 机构 西安合创非凡知识产权代理 事务所(普通 合伙) 61248 专利代理师 张燕 (51)Int.Cl. G06V 20/58(2022.01) G06T 5/00(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/32(2022.01) (54)发明名称 一种基于深度学习方法的遮挡车道线检测 方法 (57)摘要 本发明公开了一种基于深度学习方法的遮 挡车道线检测方法， 其方法包括： 对车道线数据 进行增强及 尺寸统一操作； 利用多通道特征空间 金字塔为特征提取网络， 进行对 预处理完毕的车 道线信息进行语义分割及多尺度特征融合； 引入 双注意力机制的循环特征丰富模块， 将遮挡前后 的车道线空间信息丰富到原始特征中， 增加了车 道线细粒度特征细节； 通过二分类损失计算将车 道线与背景信息分离， 以完成对遮挡前后的车道 线检测实验， 最终对结果进行分析评价。 本发明 的方法可实现对遮挡条件下的车道线检测， 为自 动驾驶和高级驾驶辅助系统(ADAS)提供重要参 考。 权利要求书2页 说明书7页 附图3页 CN 115205811 A 2022.10.18 CN 115205811 A 1.一种基于深度学习方法的遮挡车道线检测方法， 其特 征在于， 所述方法包括： 步骤1， 对车道线数据进行增强及尺寸统一操作； 步骤2， 利用多通道特征空间金字塔为特征提取网络， 进行对预处理完毕的车道线信 息 进行语义分割及多尺度特 征融合； 步骤3， 引入双注意力 机制的循环特征丰富模块， 将遮挡前后的车道线空间信 息丰富到 原始特征中， 增加了车道线细粒度特 征细节； 步骤4， 通过二分类损失计算将车道线与背景信息分离 。 2.根据权利要求1所述的一种基于深度 学习方法的遮挡车道线检测方法， 其特征在于， 对车道线数据进行增强及尺寸统一操作具体步骤为： 其特 征在于， 所述 步骤1包括： 步骤101， 将CULane 数据集的原 始图像尺寸进行裁 剪以去除非车道线的特 征部分； 步骤102， 将CULane 数据集的原 始图像及对应标签尺寸调整为28 8 * 800； 步骤103， 对尺寸统一后的CULane数据进行随机旋转， 平移， 模糊等操作将数据进行增 强以在训练时提升网络的鲁棒 性。 3.根据权利要求1所述的基于深度学习方法的遮挡车道线检测方法， 其特征在于， 所述 步骤2包括： 步骤201， 在CuLane 数据集上 预训练ResNet卷积神经网络； 步骤202， 在ResNet5 0‑FPN主干网络中导入预训练模型的权值 参数从而初始化网络； 步骤203， 不断优化分割BC E损失函数， 提升网络对车道线特 征的提取能力。 4.根据权利要求1所述的基于深度学习方法的遮挡车道线检测方法， 其特征在于， 所述 步骤2还包括： 利用Rest Net50‑FPN对浅层特征图的局部语义信息和深层特征图的全局语义 信息进行信息特征融合； 在ResNet50网络的基础上， 额外增加 了一条由上至下的侧路用于 将全局语义和局部语义相融合； 对ResNet50的四个阶段中， 从最深层特征图开始， 经过  1*1  卷积与上采样操作之后， 分别产生4个阶段对应的金字塔特征图， 然后通过特征图相加的方 式将四个阶段分别得到的特征元素进 行融合； 最后经过1*1的卷积， 对融合的特征图进 行下 采样， 降低特 征图尺寸至128* 36 * 100。 5.根据权利要求1所述的基于深度学习方法的遮挡车道线检测方法， 其特征在于， 所述 步骤3包括： 循环特征丰富模块在特征图的上下左右四个方向把特征切片信息聚合起来； 在 信息聚合过程， 在网络加入Polarized  Self‑Attention模块， 让网络能够好的拟合出细粒 度车道线 特征； 经过4次迭代使用循环特征丰富模块， 最后将所有信息融合在一张特征图的 过程， 融合后的特 征尺寸为128*1 * 1。 6.根据权利要求1所述的基于深度学习方法的遮挡车道线检测方法， 其特征在于， 所述 步骤4包括： 二分类损失计算检测出 车道线具体为：  （1） 式(1)中： 为分割BCE损失， 用于优化网络对车道线的语义分割能力； 为存在分类CE 损失， 用来优化网络分离车道线与车道线 背景的能力； 分割BCE损失具体 计算公式如下:权　利　要　求　书 1/2 页 2 CN 115205811 A 2 （2） 公式 （2） ， y是标签0或1， a是网络经过sigmoid函数的输出， 范围是 （0,1） ， n是样本数； 网 络输出一个值， BCE根据该数值与对应标签的情况给出一个损失； 当y取0时， ylna消除， 剩 下‑ln(1‑a)， 所以a需要越接近0才能让loss降下来； 当y取1时， (1 ‑y)ln(1‑a)消除， 剩下 ‑ lna， 所以a需要越接近1才能让loss降下来； 该loss将0和1的情况的均考虑了进来， 可用于 二分类； 存在分类C E(softmax+l og损失)l og损失的计算公式如下： （3） 公式 （3） ： y代表标签0或1， a代表网络经softmax的输出值， n是样本数； 网络输出多个 值， CE根据只根据对应标签为 1的网络输出给出一个损失； 当y取0时， 没有计算损失； 当y取1 时， 剩下‑lna， 所以a需要越接近1才能让loss降下来； 该公式只专注于让对应标签为1的网 络输出为1； 由于softmax的公式： 这属于归一 化， 当有一项逼近1时， 其 他项则逼近 0。权　利　要　求　书 2/2 页 3 CN 115205811 A 3