(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210441263.0 (22)申请日 2022.04.25 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 贾晨　李泽智　宋廷伦　张武　 张恒于　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的车道线检测方法 (57)摘要 本发明公开了一种基于深度学习的车道线 检测方法， 步骤如下： 获取Tusi mple图像数据集； 将调整后的车道线图像作为车道线检测神经网 络模型的训练数据集； 搭建车道线检测神经网络 模型， 确定损失函数， 训练车道线检测神经网络 模型直至收敛， 以得到最佳模型； 加载最佳模型 参数， 将道路图像输入最佳模型， 分别得到判定 为不同车道线的各个点集； 对不同类别的车道线 使用二次多项式进行拟合， 并将拟合后的车道线 叠加在原始图像上实现车道线检测的可视化。 本 发明的方法在保证准确率的同时提高了检测速 度， 满足实时性的要求。 权利要求书2页 说明书5页 附图5页 CN 114913493 A 2022.08.16 CN 114913493 A 1.一种基于深度学习的车道线检测方法， 其特 征在于， 步骤如下： 步骤S1： 获取T usimple图像数据集； 步骤S2： 对Tusimple 图像数据集中车道线图像进行数据增强， 并将增强后的车道线图 像的分辨率调整为512 ×256， 将调整后的图像作为车道线检测神经网络模型的训练数据 集； 步骤S3： 搭建车道线检测神经网络模型， 确定损失函数， 利用步骤S2中的训练数据集训 练车道线检测 神经网络模型直至收敛， 以得到最佳模型； 步骤S4： 加载最佳模型参数， 将道路图像输入最佳模型， 分别得到判定为不同车道线的 各个点集； 步骤S5： 对不同类别的车道线使用二次多项式进行拟合， 并将拟合后的车道线叠加在 原始图像上实现车道线检测的可视化。 2.根据权利要求1所述的基于深度学习的车道线检测方法， 其特征在于， 所述步骤S2中 的数据增强包括： 旋转， 水平翻转， 随机 裁剪和添加高斯白噪声。 3.根据权利要求1所述的基于深度学习的车道线检测方法， 其特征在于， 所述神经网络 模型由编码网络、 解码网络、 增强感受野模块、 CBAM模块和 两个特征融合模块组成； 所述编 码网络包括依次连接的预 处理模块和五个残差层， 所述解码网络包括依次连接的三个卷积 上采样模块和一个输出模块。 4.根据权利要求3所述的基于深度学习的车道线检测方法， 其特征在于， 所述预处理模 块包括： 一个卷积核大小为7 ×7、 步长为2、 填充为3的卷积层和一个核为3 ×3、 步长为1、 填 充为1的最大池化层， 该预 处理模块的输入图片分辨率为512 ×256， 输出后的图片宽高各自 减半。 5.根据权利要求3所述的基于深度学习的车道线检测方法， 其特征在于， 每个残差层由 两个残差块组成， 每个残差块由两条分支组成， 第一条分支中包含两个卷积核大小为3 ×3 的深度可分离卷积； 第二条分支为一个卷积核大小为1 ×1的卷积层， 第二条分支用于保证 输入特征图和输出特征图的分辨率和维度相同； 第二残差层、 第三残差层添加 通道注意力 机制， 在第四残差层、 第五残差层中引入空洞卷积， 扩张率分别为2和4； 在上述编码网络过 程中输出第一残差层、 第二残差层和第 五残差层得到的特征图， 第 五残差层输出 的特征图 通过增强感受野模块后再通过CBAM模块得到带有注 意力权重的特征图后进入解码网络； 第 五残差层输出的特征图经过第一卷积上采样模块后通过第一特征融合模块， 该第一特征融 合模块同时与第二残差层输出的特征图相连接， 第一特征融合模块的末端与第二卷积上采 样模块相连， 经过第二卷积上采样模块的特征图通过第二特征融合模块， 该第二特征融合 模块同时与第一残差层输出的特征图相连接， 第一特征融合模块的末端与第三卷积上采样 模块相连， 经过第三卷积上采样模块的特征图通过输出模块， 最终得到具有六个通道的特 征图。 6.根据权利要求3所述的基于深度学习的车道线检测方法， 其特征在于， 所述增强感受 野模块由四条并联的分支组成， 第一条分支为1 ×1卷积， 作用等同于残差网络中的残差结 构； 第二条分支为一个3 ×3的卷积且扩张率为3； 第三条分支为两个3 ×3的卷积， 扩张率分 别为3和6； 第四条分支为全局最大池化， 将第二条分支和第三条分支的结果融合后通过一 个1×1卷积， 之后再与第一通道和第四通道进行融合； 在该增强感受野模块的输入和输出权　利　要　求　书 1/2 页 2 CN 114913493 A 2处分别有一个1 ×1卷积， 用于缩减与恢复通道数， 降低四条分支中的计算量， 加快网络运行 速度。 7.根据权利要求3所述的基于深度 学习的车道线检测方法， 其特征在于， 所述CBAM模块 包括一个通道注意力和一个空间注意力， 输入通过通道注意力产生输入的权重后乘以自身 得到新特征图， 再通过空间注意力产生新特征图的权重后乘以自身得到输出,输出结果进 入解码网络中的第一卷积上采样模块。 8.根据权利要求7所述的基于深度学习的车道线检测方法， 其特征在于， 所述特征融合 模块包括两个输入， 第一输入来自解码网络， 第二输入来自编 码网络； 第一输入通过 空间注 意力计算后得到带有注意力机制的权重， 将第二输入乘以所述权重得到新的特征图后与初 始的第一输入进 行融合即在通道维度上进 行拼接， 得到的结果继续输出至解码网络进入卷 积上采样模块。 9.根据权利要求3所述的基于深度学习的车道线检测方法， 其特征在于， 所述三个卷积 上采样模块均 依次包括一个1 ×1的普通卷积， 一个上采样以及一个卷积核 大小为3×3的深 度可分离卷积。 10.根据权利要求3所述的基于深度学习的车道线检测方法， 其特征在于， 所述输出模 块包括一个1 ×1的普通卷积和一个卷积核大小为3 ×3、 输出通道数为6的深度可分离卷积； 所述深度可分离卷积操作后均进行Batch  Normalization归一化和ReLU非线性激活函数处 理。权　利　要　求　书 2/2 页 3 CN 114913493 A 3