(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210047108.0 (22)申请日 2022.01.17 (71)申请人 湖南师范大学 地址 410081 湖南省长 沙市岳麓区麓山 南 路36号 (72)发明人 瞿绍军　欧阳柳　付都　 (74)专利代理 机构 长沙永星专利商标事务所 (普通合伙) 43001 代理人 周咏　米中业 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) (54)发明名称 语义分割网络构建方法、 语义分割方法及自 动驾驶方法 (57)摘要 本发明公开了一种语义分割网络构建方法， 包括构建短期连接单元； 堆叠得到编码器； 构建 像素级注意力模块； 进行上采样构建解码器； 结 合编码器和和解码器得到语义分割网络； 构建细 节引导模块用于对语义分割网络进行训练； 完成 语义分割网络的构建。 本发明还公开了包括所述 语义分割网络构建方法的语义分割方法， 以及包 括所述语义 分割方法的自动驾驶方法。 本发明提 供的这种语义分割网络构建方法、 语义分割方法 及自动驾驶方法， 通过创新的语义分割网络的设 计和构建， 不仅实现了语义分割网络的建立和对 应的语义分割， 而且本发明方法的可靠性更高， 精度更高， 而 且资源消耗更少。 权利要求书4页 说明书11页 附图7页 CN 114241435 A 2022.03.25 CN 114241435 A 1.一种语义分割网络构建方法， 其特 征在于包括如下步骤： S1. 基于卷积、 批量标准 化和激活函数， 构建 短期连接单 元； S2. 采用步骤S1构建的短期连接单 元和卷积进行堆叠得到编码器； S3. 构建像素级注意力模块； S4. 对编码器的输出结果和像素级注意力模块的输出结果进行上采样， 从而构建解码 器； S5. 结合步骤S4得到的编码器和 和步骤S2得到的解码器， 构建得到语义分割网络； S6. 构建基于高斯 ‑拉普拉斯 算子的细节引导模块， 用于对语义分割网络进行训练； S7. 完成语义分割网络的构建。 2.根据权利要求1所述的语义分割网络构建方法， 其特征在于步骤S1所述的基于卷积、 批量标准 化和激活函数， 构建 短期连接单 元， 具体包括如下步骤： 采用如下步骤构建A类短期连接单 元： A类短期连接单元包括A类级联结构、 A类分支结构和通道随机混合操作层； A类级联结 构用于特征提取； A类 分支结构用于获取每一个特征提取块的全局上下文信息， 防止网络退 化； A类分支结构与 A类级联结构并联； A类 分支结构的结果与 A类级联结构的结果求和 后， 再 通过通道随机混合操作层进行通道随机混合操作， 得到A类短期连接单 元的输出； A类级联结构包括四个Conx结构层和一个连接层， 四个Conx结构层和一个连接层依次 串联； 同时第一个Conx 结构层的第二输出端、 第二个Conx 结构层的第二输出端、 第三个Conx 结构层的第二输出端和第四个Conx结构层的第二输出端均同时连接连接层； 每一个Conx 结 构层均包括卷积、 批标准化和 激活函数； 第一个Conx结构层的卷积核为1*1， 卷积核个数为 N/2， 卷积步长为1； 第二个Conx结构层的卷积核为3*3， 卷积核个数为N/4， 卷积步长为1； 第 三个Conx结构层的卷积核为3*3， 卷积核个数为N/8， 卷积步长为1； 第四个Conx结构层的卷 积核为3*3， 卷积核个数为 N/8， 卷积步长为1； N 为输出通道数； A类分支结构包括三个Conx结构层， 三个Conx结构层依次串联； 每一个Conx结构层均包 括卷积、 批标准化和激活函数； 第一个Conx结构层的卷积核为1*1， 卷积核个数为N/4， 卷积 步长为1； 第二个Conx结构层的卷积核为3*3， 卷积核个数为N/4， 卷积步长为1； 第三个Conx 结构层的卷积核为1*1， 卷积核个数为 N， 卷积步长为1； N 为输出通道数； 采用如下步骤构建B类短期连接单 元： B类短期连接单元包括B类级联结构、 B类分支结构和通道随机混合操作层； B类级联结 构用于特征提取； B类 分支结构用于获取每一个特征提取块的全局上下文信息， 防止网络退 化； 通道随机 混合操作层用于提升通道之间的信息交互； B类分支结构与B类级联结构并联； B类分支结构的结果与B类级 联结构的结果求和 后， 再通过通道随机 混合操作层进 行通道随 机混合操作， 得到B类短期连接单 元的输出； B类级联结构包括四个Conx结构层、 一个连接层和一个平均池化层， 四个Conx结构层和 一个连接层依次串联； 第一个Conx结构层的第二输出端连接平均池化层； 同时平均池化层 的输出端、 第二个Conx结构层的第二输出端、 第三个Conx结构层的第二输出端和第四个 Conx结构层的第二输出端均同时连接连接层； 每一个Conx结构层均包括卷积、 批标准化和 激活函数； 第一个Conx结构层的卷积核为1*1， 卷积核个数为N/2， 卷积步长为1； 第二个Conx 结构层的卷积核为3*3， 卷积核个数为N/4， 卷积步长为2； 第三个Conx结构层的卷积核为3*权　利　要　求　书 1/4 页 2 CN 114241435 A 23， 卷积核个数为N/8， 卷积步长为1； 第四个Conx结构层的卷积核为3*3， 卷积核个数为N/8， 卷积步长为1； N 为输出通道数； B类分支结构包括一个平均池化层和三个Conx结构层， 一个平均池化层和三个Conx结 构层依次串 联； 每一个Conx 结构层均包括卷积、 批标准化和激活函数； 第一个Conx 结构层的 卷积核为1*1， 卷积核个数为N/4， 卷积步长为1； 第二个Conx结构层的卷积核为3*3， 卷积核 个数为N/4， 卷积步长为1； 第三个Conx结构层的卷积核为1*1， 卷积核个数为N， 卷积步长为 1； N为输出通道数。 3.根据权利要求2所述的语义分割 网络构建方法， 其特征在于步骤S2所述的采用步骤 S1构建的短期连接单 元和卷积进行堆叠得到编码器， 具体包括如下步骤： 编码器包括五层； 五层依次串联； 第一层为卷积层， 卷积核为3*3， 卷积步长为2， 输出通道数为32， 输出分辨率为384* 768； 第二层为卷积层， 卷积核为3*3， 卷积步长为2， 输出通道数为64， 输出分辨率为192* 384； 第三层为第一短期连接单元堆叠层， 包括串联的五个短期连接单元； 其中第一短期连 接单元为B类短期连接单元， 第二短期连接单元~第五短期连接单元为A类 短期连接单元； 第 三层的卷积步长为2， 输出通道数为25 6， 分辨率为96*192； 第四层为第二短期连接单元堆叠层， 包括串联的六个短期连接单元； 其中第一短期连 接单元为B类短期连接单元， 第二短期连接单元~第六短期连接单元为A类 短期连接单元； 第 四层的卷积步长为2， 输出通道数为512， 分辨 率为48*96； 第五层为第三短期连接单元堆叠层， 包括串联的四个短期连接单元； 其中第一短期连 接单元为B类短期连接单元， 第二短期连接单元~第四短期连接单元为A类 短期连接单元； 第 五层的卷积步长为2， 输出通道数为1024， 分辨 率为24*48。 4.根据权利要求3所述的语义分割 网络构建方法， 其特征在于步骤S3所述的构建像素 级注意力模块， 具体包括如下步骤： 像素注意力模块用于将重点放在所注意的目标像素上， 增强目标像素的权重， 从而到 达丰富高级特 征图的目的； 采用如下算式计算像素级注意力模块的输出 ： 式中 为reshape操作； 为第一中间特征图， 为第二中间特征图， ， ； 为输入特征图且通道数为c， 尺寸为h* w； 为对输入特征图 的外侧进行尺度为1的全1填充后的特征图； 为标准卷积操 作， 卷积核的大小为3*3， 步长为1， d为空洞率； 为sigmoid激活函数； 为批量标准化 操作。 5.根据权利要求4所述的语义分割 网络构建方法， 其特征在于步骤S4所述的对编码器 的输出结果和像素级注意力模块的输出结果进行上采样， 从而构建解码器， 具体包括如下 步骤：权　利　要　求　书 2/4 页 3 CN 114241435 A 3