(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210834049.1 (22)申请日 2022.07.14 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 周旺平　徐德邻　徐崇辉　吴海波　 刘娟　徐博文　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 何静 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于空间上下文的车道线分割方法、 设备及 存储介质 (57)摘要 本发明公开了基于空间上下文的车道线分 割方法、 设备及存储介质， 涉及深度学习遥感影 像分割技术领域， 通过用改进的高分辨率特征提 取网络HRNet作为主干网络提取输入遥感图像的 高分辨特征与通道相关性； 其次， 设计了一种空 间上下文注 意力模块用于增强对 车道线的位置、 形状特征； 最后， 在数据处理方面， 本发 明所提算 法结合在 线增强与离线增强操作， 增加了样本多 样性， 增强了模型的泛化能力， 将本发明所提方 法应用于遥感影像上的车道线分割任务中， 可以 显著提高各类车道线的分割精度与分类准确率， 取得了比现有算法更有的分割效果， 这对于遥感 影像信息分析 具有重要的意 义。 权利要求书4页 说明书8页 附图3页 CN 115205681 A 2022.10.18 CN 115205681 A 1.基于空间上 下文的车道线分割方法， 其特 征在于， 方法包括以下步骤： 制作包含多种车道线类别的遥感影像数据集， 并逐一打好标签， 通过遥感影像数据集 处理的pytho n代码脚本， 将所有样本划分为训练集、 验证集和 测试集； 对图像进行增强， 包括在线增强和离线增强， 在线增强是指对图像和对应的分割标签 进行随机 旋转、 翻转、 缩放、 改变对比度， 离线增强包括混叠和随机擦除操作； 建立分割网络模型， 包括改进 的高分辨率特征提取网络， 也称为改进的HRNet、 目标上 下文增强模块、 空间上下文注意力模块和上采样输出模块， 并输入1536 ×1536的经过增强 的遥感图像， 改进的HRNet包括四个特征提取 阶段， 整体结构为并行结构， 包含四个卷积分 支， 引入并行支路融合模块， 用于多尺度特征融合， 通过在每个提取阶段后加入ECA模块， 在 特征提取的同时关注通道信息之间的相关性； 在改进的HRNet后， 接有目标上下文增强模 块， 通过计算单个像素点和周围像素点之间的依赖 关系， 辅助判别像素点的语义类别； 在目 标上下文增强模块之后， 接有空间上下文注意力模块， 空间上下文注意力模块包含两条并 行的卷积分支： 上层支路基于坐标注意力模块和下层支路基于条纹池化模块， 分别加强特 征图中车道线的位置和形状特征； 在空间上下文注意力模块之后， 接有 上采样输出模块， 先 将空间上下文注意力模块的输出与改进的HRNet的输出进行合并， 再利用插值法对合并后 的特征图进行上采样， 将特征图尺寸恢复至1536 ×1536， 最后经过卷积核为1 ×1卷积输出 分割好的图像； 将划分后的训练集和验证集样本经过图像增强， 再输入分割网络模型中， 经过训练， 迭 代数轮至分割网络模型收敛， 模型收敛为分割网络模型的损失函数值趋 于稳定； 利用空间上下文注意力模块对测试集进行分割并分类， 得到分割网络模型输出的可视 化结果。 2.根据权利要求1所述的基于空间上下文的车道线分割方法， 其特征在于， 所述训练 集、 验证集和 测试集的划分比例为7： 2： 1。 3.根据权利要求1所述的基于空间上下文的车道线分割方法， 其特征在于， 所述在线增 强包括1°～360°随机旋转、 随机水平翻转、 随机垂直翻转、 0.5～1.0倍率随机缩放和随机对 比度变化， 每幅训练样本在喂入神经网络之前， 会随机采用任意几种在线增强方法； 所述混叠是指混合两幅样本及其对应标签图片， 以提高样本复杂度并扩充数据集规 模， 其数学描述如下： 上式中， 下标i和j表示样本的索引， xi、 xj表示原始 两张图像的张量， yi、 yj表示对应的两 张标签图片的张量， (xi， yi)和(xj， yj)从原始数据集中 随机挑选； λ取值范围为0～1， 表示单 幅图片在混叠过程中所占的比重； 分别表示混叠之后图像的张量、 标签的张量； 随机擦除是根据输入图像的尺寸， 以一定概率随机剔除某个矩形区域的像素点， 然后 在矩形区域填入RGB噪声， 期 望训练好的模型能够根据车道线的整体特征来判别所属类别， 即便车道线局部被遮挡， 也 不影响分类结果。 4.根据权利要求1所述的基于空间上下文的车道线分割方法， 其特征在于， 所述ECA模 块的计算过程包括：权　利　要　求　书 1/4 页 2 CN 115205681 A 2给定一个输入特征图， 首先对特征图采取全局平均池化， 以生成特征的全局表示； 然后 利用一维卷积获得跨通道交互信息； 接着经过Sigmoid非线性处理， 得到通道特征权重； 最 后与输入特 征图进行矩阵乘法得到通道信息增强的特 征图。 5.根据权利要求1所述的基于空间上下文的车道线分割方法， 其特征在于， 所述空间上 下文注意力模块的具体 计算步骤如下： 目标上下文表示首先通过一维水平自适应池化与一维垂直自适应池化转化为两个一 维的特征向量， 分别从长和宽两个方向上聚合特征， 这样既可以获得一个空间方向上 的各 通道间的依赖关系， 又 可以保持另一空间方向上的位置信息， 数 学变换如下 所示： 上式中， 下标X ‑Pool、 Y‑Pool分别表示水平池化和垂直池化， H、 W分别表示输入特征图 的高和宽； xc(h,i)表示第c通道内第 h行第i列的像素点表示， xc(j,w)表示第c通道内第j行 第w列的像素点表示； zch(h)表示经过水平池化之后的第c通道的特征向量， zcw(w)表示经过 垂直池化之后的第c通道的特 征向量； 然后， 对两个特征 向量zch(h)、 zcw(w)分两条支路并行处理， 左侧支路基于坐标注意力， 用来增强车道线的位置信息； 右侧支路基于条纹池化思想， 沿着水平和垂直两个维度捕获 长窄区域内的长距离依赖， 从而增强车道线的形状信息； 左侧支路先将两个一维特征向量拼接， 经过卷积、 批归一化及Swish非线性化处理， 数 学变化如下 所示： z′＝ δ(BN(Co nv[zh,zw])) 其中， δ(x)＝x·sigmoid( β x) 上式中， [·]表示沿空间维度的Concat操作； Conv( ·)表示卷积核为1 ×1的卷积操作； BN(·)表示批归一化操作， mean(x)表示批样本的均值， 表示批样本的方差； δ (·)表示非线性 化操作， β 取值范围为1～10； 接着， 将特征向量z ’拆分， 从而得到一对方向与位置敏感的注意力权值向量； 对两个权 值向量分别进行 卷积与Sigmo id非线性处 理后得到位置信息增强后的输出； 右侧支路则通过一维卷积和上采样之后， 再在对应位置合并得到一个H ×W的特征图， 之后经过1×1的卷积和非线性处 理得到条纹特 征增强后的输出； 输出特征图中每个位置都与输入特征图中对应位置所在的行和列建立了远程关系， 通 过重复聚合过程， 在整个场景中构建长距离依赖关系； 最后， 将两侧 支路的输出与原输入特征图相结合， 融合全局空间上下文信息， 得到车道 线位置增强与条纹特 征增强的像素表示。 6.根据权利要求1所述的基于空间上下文的车道线分割方法， 其特征在于， 分割网络模权　利　要　求　书 2/4 页 3 CN 115205681 A 3