(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161739.5 (22)申请日 2022.02.22 (71)申请人 无锡物联网创新中心有限公司 地址 214135 江苏省无锡市新吴区菱湖大 道200号中国传感网国际创新园E2座 112 (72)发明人 马淑康　郑琛　蒋华涛　常琳　 杨雨欣　 (74)专利代理 机构 无锡华源专利商标事务所 (普通合伙) 32228 专利代理师 过顾佳 (51)Int.Cl. G06V 20/58(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于注意力机制和特征聚合的车道线 检测方法 (57)摘要 本发明公开了一种基于注意力机制和特征 聚合的车道线检测方法， 涉及车辆技术领域， 该 方法针对车道线细长， 空间跨度大以及外表特征 不明显的情况， 在车道线检测模 型的编码模块中 引入注意力机制， 使其关注更重要的区域， 能够 更有效的捕捉通道间的关系， 能够获得更多有效 的信息， 提高微妙车道线特征的提取能力。 并在 编码模块和解码模块之间加入特征聚合模块提 取空间信息， 以不同的步幅从切片特征中收集信 息以避免信息丢失， 在提高模型感受野的同时可 以使模型收集更多的全局特征信息， 提高车道线 检测模型的准确率和泛化性， 在车道线残缺、 弯 道、 阴影等场景的检测中也有较好的可靠性、 实 时性和鲁棒 性。 权利要求书2页 说明书6页 附图3页 CN 114550135 A 2022.05.27 CN 114550135 A 1.一种基于注意力机制和特 征聚合的车道线检测方法， 其特 征在于， 所述方法包括： 获取针对车辆行驶道路拍摄得到的待检测图像； 将所述待检测图像输入预先训练得到的车道线检测模型中， 输出所述待检测图像 中的 车道线检测结果， 所述车道线检测结果指示所述待检测图像中每条车道线以及每个车道的 存在情况； 其中， 所述车道线检测模型从输入到输出依次包括编码模块、 特征聚合模块和解码模 块： 所述编 码模块包括若干个级联的卷积单元以及分别位于每个卷积单元输出端的注意力 机制单元， 所述编码模块用于对输入的所述待检测图像进行特征提取获取第一特征图； 所 述特征聚合模块用于提取所述第一特征图的高级语义信息得到第二特征图； 所述解码模块 用于对所述第二特 征图进行反卷积 操作输出像素级的所述车道线检测结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述编码模块中的每个注意力 机制单元 中， 输入层将输入图像输出给x轴池化层进 行x方向的平均池化， 以及将 输入图像输出给y轴 池化层进 行y方向的平均池化， 以及将 输入图像输出给输出层； 级 联操作层 对x轴池化层和y 轴池化层的输出进行拼接， 并依次经过第一卷积层和非线性操作层进行卷积和非线性操 作； 第二卷积层对非线性操作层的输出进行x方向的卷积， 并经过x轴激活函数后输出给所 述输出层； 第三卷积层对非线性操作层的输出进行y方向的卷积， 并经过y轴激活函数后输 出给所述输出层； 所述输出层对 所述输入图像以及 x轴激活函数的输出和y轴激活函数的输 出融合并输出。 3.根据权利要求1所述的方法， 其特征在于， 所述特征聚合模块包括上边分支和下边分 支， 所述上边分支基于不同扩张率的空洞卷积层和标准卷积层构建形成金字塔空洞卷积结 构， 并用于提取所述第一特征图中的多尺度聚合高层语义全局特征； 所述下边分支基于信 息传递单元RESA构建得到， 并用于提取所述第一特征图的空间信息； 所述特征聚合模块对 所述上边分支和所述下边分支的输出进行融合得到所述第二特 征图。 4.根据权利要求3所述的方法， 其特征在于， 所述特征聚合模块的上边分支中， 所述第 一特征图依次经过1*1标准卷积层和扩张率为1的3*3空洞 卷积层后输出， 所述第一特征图 还依次经过3*3标准卷积层和扩张率为3的3*3空洞 卷积层后输出， 所述第一特征图还依次 经过3*3标准卷积层和扩张率为5的3*3空洞卷积层后输出， 所述第一特征图还经过 shortcut层输出； 拼接层对三个3*3空洞卷积层的输出以及shortcut层的输出拼接后 经过 1*1卷积层输出。 5.根据权利要求3所述的方法， 其特征在于， 所述信息传递单元RESA将C*H*W尺寸的所 述第一特征图在水平方向上分为H个切片、 在垂直方向上分为W个切片， 并分别在水平方向 从左到右、 水平方向从右到左、 垂 直方向从上至下以及垂 直方向从下至上四个方向上进行K 次迭代实现信息聚合， 在每个方向上 的每次迭代中， 循环移动每个切片来垂直和水平地聚 合信息， 使每个切片的特征接收与 某个跨度相邻的另一个切片的要 素； K次迭代后使得每个 位置聚合整个所述第一特征图中的空间信息， 提取得到第一特征图的空间信息； K＝ [log2L]， L为所述第一特 征图的行 数或列数。 6.根据权利要求1所述的方法， 其特征在于， 所述解码模块包括若干个级联的反卷积单 元， 在每个所述反卷积单元中， 残差块对输入图像进行处理后分别输入双线性插值层和反 卷积层， 1*1卷积层对双线性插值层的输出和反卷积层的输出进行融合得到所述车道线检权　利　要　求　书 1/2 页 2 CN 114550135 A 2测结果。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取训练数据集和测试数据集， 所述训练数据集和测试数据集中分别包括若干个车道 线训练样本， 每个车道线训练样本包括针对道路拍摄的样本图像以及所述样本图像中的车 道线所在位置的真实标签； 搭建所述车道线检测模型的模型结构， 利用所述训练数据集进行模型训练得到初始模 型， 利用所述测试数据集对所述初始模型进行测试得到用于指示模型泛化效果的模型评 分， 并得到模型评分达 到评分阈值的所述车道线检测模型。 8.根据权利要求7所述的方法， 其特征在于， 在利用所述训练数据集进行模型训练的过 程中， 通过样本图像的预测结果X与对 应的真实标签Y之间的相似性差异 作 为损失函数， 在损失函数 的基础上利用梯度下降法优化模型参数； 在利用所述测试数据集 对所述初始模型进行测试时， 基于准确率Precision和召回率Recall计算得到模型评分 9.根据权利要求7所述的方法， 其特征在于， 在利用所述训练数据集进行模型训练之 前， 设定模型训练的超参数包括： 训练总轮数、 每批数据量的大小、 学习率初始 值， 并设定采 用SGD优化器进行参数优化， 学习率衰减方式采用LambdLR。权　利　要　求　书 2/2 页 3 CN 114550135 A 3