(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211160608.1 (22)申请日 2022.09.22 (71)申请人 北京航星 永志科技有限公司 地址 100192 北京市海淀区清河镇清缘 东 里4号楼1003室 (72)发明人 郝志军　李玲　翟昶　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 梁军丽 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语义分割模 型的训练方法、 分割方法和电子 设备 (57)摘要 本发明提供一种语义分割模 型的训练方法、 分割方法和电子设备， 该方法包括： 获取多个图 像样本、 以及各图像样本对应的目标分割区域； 将多个图像样本输入至初始 语义分割模型中， 得 到各图像样 本对应的预测类别概率图； 根据各图 像样本对应的预测类别概率图， 确定各图像样本 对应的预测分割区域； 再根据各图像样本对应的 目标分割区域和预测分割区域， 对初始语义分割 模型的模型参数进行更新， 以得到训练后的语义 分割模型。 这样可以结合深度学习训练得到图像 处理模型， 可以自动地从图像中分割出目标分割 区域， 从而提高了目标分割区域的分割效率。 此 外， 结合深度学习训练得到图像处理模型分割目 标分割区域， 还可以提高分割结果的准确度。 权利要求书3页 说明书16页 附图5页 CN 115471659 A 2022.12.13 CN 115471659 A 1.一种语义分割模型的训练方法， 其特 征在于， 包括： 获取多个图像样本、 以及各图像样本对应的目标分割区域； 将所述多个图像样本输入至初始语义分割 模型中， 得到所述各图像样本对应的预测类 别概率图； 根据所述各图像样本对应的预测类别概率图， 确定所述各图像样本对应的预测分割区 域； 根据所述各图像样本对应的目标分割区域和预测分割区域， 对所述初始语义分割模型 的模型参数进行 更新， 以得到训练后的语义分割模型。 2.根据权利要求1所述的语义分割模型的训练方法， 其特征在于， 所述初始语义分割 模 型包括下采样网络、 上采样网络以及映射网络， 所述将所述多个图像样本输入至初始语义 分割模型中， 得到所述各图像样本对应的预测类别概 率图， 包括： 针对每个所述图像样本执 行以下处 理： 将所述图像样本输入至所述下采样网络中， 得到所述图像样本对应的多个第一特征 图； 将所述多个第一特 征图输入至所述上采样网络中， 得到目标 特征图； 将所述图像样本和所述目标特征图输入至所述映射网络中， 得到所述图像样本对应的 预测类别概 率图。 3.根据权利要求2所述的语义分割模型的训练方法， 其特征在于， 所述下采样网络包括 一个卷积模块和多个依次串联的残差瓶颈模块， 所述将所述图像样本输入至所述下采样网 络中， 得到所述图像样本对应的多个第一特 征图， 包括： 将所述图像样本 输入至所述卷积模块中， 得到所述卷积模块输出的第一特 征图； 将所述卷积模块输出的第 一特征图输入至首个残差瓶颈模块中， 得到首个残差瓶颈模 块输出的第一特 征图； 针对非首个残差瓶颈模块， 将前一个残差瓶颈模块输出的第 一特征图输入至所述非首 个残差瓶颈模块， 得到所述非首个残差瓶颈模块输出的第一特 征图。 4.根据权利要求3所述的语义分割模型的训练方法， 其特征在于， 所述上采样网络包括 多个依次串联的上采样模块， 且所述卷积模块和所述多个残差瓶颈模块与多个上采样模块 一一对应； 其中， 所述将所述多个第一特 征图输入至所述上采样网络中， 得到目标 特征图， 包括： 将尾个残差瓶颈模块输出的第一特征图， 输入至首个上采样模块中， 通过所述首个上 采样模块对所述尾个残差瓶颈模块输出的第一特征图进行反卷积处理， 得到所述首个上采 样模块输出的第二特 征图； 将除所述尾个残差瓶颈模块之外的其他残差瓶颈模块输出的第一特征图分别输入至 所述残差瓶颈模块在所述上采样网络中对应的上采样模块中， 通过所述上采样模块对所述 残差瓶颈模块输出 的第一特征图和前一个上采样模块输出的第二特征图进行拼接融合处 理， 并对拼接融合结果依 次进行卷积处理及反卷积处理， 得到次尾个上采样模块输出 的第 二特征图； 将所述卷积模块输出的第 一特征图输入至尾个上采样模块中， 通过所述尾个上采样模 块对所述卷积模块输出的第一特征图和所述次尾个上采样模块输出的第二特征图进行拼权　利　要　求　书 1/3 页 2 CN 115471659 A 2接融合处 理， 并对拼接融合结果依次进行 卷积处理及反卷积处 理， 得到所述目标 特征图。 5.根据权利要求1 ‑4任一项所述的语义分割模型的训练方法， 其特征在于， 所述根据 所 述各图像样本对应的预测类别概 率图， 确定所述各图像样本对应的预测分割区域， 包括： 根据所述预测类别概 率图中各像素对应的预测类别概 率， 生成对应的掩码图； 根据所述掩码图中各像素对应的像素值， 确定最大连通区域； 其中， 所述最大连通区域 为所述预测分割区域。 6.一种图像 语义分割方法， 其特 征在于， 包括： 获取待处 理图像； 将所述待处理图像输入至语义分割模型中， 得到所述待处理图像对应的类别概率图； 其中， 所述语义分割模型为上述权利要求1 ‑5任一项所述的语义分割模型； 根据所述待处 理图像对应的类别概 率图， 确定所述待处 理图像对应的目标分割区域。 7.根据权利要求6所述的图像语义分割方法， 其特征在于， 所述语义分割 模型包括下采 样网络、 上采样网络以及映射网络， 所述将所述待处理图像输入至语义分割模型中， 得到所 述待处理图像对应的类别概 率图， 包括： 将所述待处理图像输入至所述下采样网络中， 得到所述待处理图像对应的多个第 一特 征图； 将所述多个第一特 征图输入至所述上采样网络中， 得到目标 特征图； 将所述待处理图像和所述目标特征图输入至所述映射网络 中， 得到所述待处理图像对 应的类别概 率图。 8.根据权利要求7所述的图像语义分割方法， 其特征在于， 所述下采样网络包括一个卷 积模块和多个依次串联的残差瓶颈模块， 所述将所述待处理图像输入至所述下采样网络 中， 得到所述待处 理图像对应的多个第一特 征图， 包括： 将所述待处 理图像输入至所述卷积模块中， 得到所述卷积模块输出的第一特 征图； 将所述卷积模块输出的第 一特征图输入至首个残差瓶颈模块中， 得到首个残差瓶颈模 块输出的第一特 征图； 针对非首个残差瓶颈模块， 将前一个残差瓶颈模块输出的第 一特征图输入至所述非首 个残差瓶颈模块， 得到所述非首个残差瓶颈模块输出的第一特 征图。 9.根据权利要求8所述的图像语义分割方法， 其特征在于， 所述上采样网络包括多个依 次串联的上采样模块， 且所述卷积模块和所述多个残差瓶颈模块与多个上采样模块一一对 应； 其中， 所述将所述多个第一特 征图输入至所述上采样网络中， 得到目标 特征图， 包括： 将尾个残差瓶颈模块输出的第一特征图， 输入至首个上采样模块中， 通过所述首个上 采样模块对所述尾个残差瓶颈模块输出的第一特征图进行反卷积处理， 得到所述首个上采 样模块输出的第二特 征图； 将除所述尾个残差瓶颈模块之外的其他残差瓶颈模块输出的第一特征图分别输入至 所述残差瓶颈模块在所述上采样网络中对应的上采样模块中， 通过所述上采样模块对所述 残差瓶颈模块输出 的第一特征图和前一个上采样模块输出的第二特征图进行拼接融合处 理， 并对拼接融合结果依 次进行卷积处理及反卷积处理， 得到次尾个上采样模块输出 的第 二特征图；权　利　要　求　书 2/3 页 3 CN 115471659 A 3