(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210486904.4 (22)申请日 2022.05.06 (71)申请人 北京航空航天大 学杭州创新研究院 地址 310000 浙江省杭州市滨江区长河街 道创慧街18号 申请人 郑州大学产业技术研究院有限公司 (72)发明人 李辉勇　章阳　牛建伟　孙钢灿　 贺竞仪　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 可供性检测方法及相关装置 (57)摘要 本申请提供的可供性检测方法及相关装置， 应用于图像分割领域。 其中， 可供性检测设备获 取携带有待识别图像从浅层到深层的特征信息 的多组特征图； 然后， 利用其中携带有深层的特 征信息的目标特征图确定多组特征图各自的权 重， 并根据多组特征图各自的权重将多组特征图 与参考特征图融合成增强特征图； 最后， 将增强 特征图进行解码， 获得待识别图像的可供性检测 结果。 由于深层的特征信息具有更为丰富的语义 信息， 适合对其进行全局语义的编码， 因此， 通过 携带有深层的特征信息的目标特征图所确定出 的权重， 能够对有利于进行图像分割的信息进行 增强， 并抑制与图像分割无关的信息， 从达到提 升了对待识别图像的分割效果的目的。 权利要求书2页 说明书11页 附图5页 CN 114863105 A 2022.08.05 CN 114863105 A 1.一种可供性检测方法， 其特征在于， 应用于可供性检测设备， 所述可供性检测设备配 置有预先训练的可供性检测模型， 所述可供性检测模型包括多条特征提取分支以及语义编 码层， 所述方法包括： 通过所述多条特征提取分支获得待识别图像的多组特征图， 其中， 所述多组特征图携 带有所述待识别图像从浅层到深层的特 征信息； 将所述多组特征图中的深层特征图输入到所述语义编码层， 获得所述多组特征图各自 的权重； 根据所述多组特征图各自的权重， 将所述多组特征图与 所述待识别图像的参考特征图 融合成增强特 征图； 其中， 所述 参考特征图携带有所述待识别图像的空间结构信息； 将所述增强特 征图进行解码， 获得 所述待识别图像的可 供性检测结果。 2.根据权利要求1所述的可供性检测方法， 其特征在于， 所述根据 所述多组特征图各自 的权重， 将所述多组特 征图与所述待识别图像的参 考特征图融合成增强特 征图， 包括： 根据所述多组特征图各自的权重， 将所述多组特征图按照以下方式融合成融合特征 图： 式中， 表示所述融合特征图， F包括所述多组特征图， 表示将所述多组特征图 与所述多组特 征图各自的权 重系数进行加权求和； 将所述融合特 征与所述 参考特征图进行融合， 获得 所述增强特 征图。 3.根据权利要求1所述的可供性检测方法， 其特征在于， 所述将所述多组特征图中的深 层特征图输入到所述语义编码层， 获得 所述多组特 征图各自的权 重， 包括： 通过所述语义编码层采用Net VLAD的方式对所述深层特 征图进行编码， 获得全局特 征； 将所述全局特 征按照以下 方式， 转换为所述多组特 征图各自的权 重系数： 式中， e包括所述多组特征 图各自的权重系数， 表示V的归一化结果， V表示所述全局 特征， 表示通过全连接层将 转换为c×1×1的向量， c与所述多组特征图的数量相 对应， σ 表示sigmo id函数。 4.根据权利要求1所述的可供性检测方法， 其特征在于， 所述可供性检测模型还包括残 差网络层， 所述残差网络层包括与所述多条特征提取分支一一对应的多个残差单元， 所述 通过所述多条 特征提取分支获得待识别图像的多组特 征图， 包括： 获取所述待识别图像； 将所述待识别图像输入所述残差网络层， 获得由所述多个残差单元输出的多组初始特 征图； 将所述多组初始特征图按照所述对应关系输入到所述多条特征提取分支， 获得所述待 识别图像的多组特 征图。 5.根据权利要求4所述的可供性检测方法， 其特征在于， 所述可供性检测模型包括4条 分支， 分别表示为b1,b2,b3,b4， 其中， 分支b1表示用于传输所述参考特征图的直连分支， b2, b3,b4表示所述多条 特征提取分支；权　利　要　求　书 1/2 页 2 CN 114863105 A 2所述将所述多组初始特征图按照所述对应关系输入到所述多条特征提取分支， 获得所 述待识别图像的多组特 征图， 包括： 将3组初始特 征图分别输入特 征提取分支b2,b3,b4； 针对每条特征提取分支， 通过以下方式与剩余的特征提取分支进行特征融合， 获得对 应的特征图： 式中， yi表示特征提取分支bi输出的一组特征图， fij(xj)表示将特征提取分支bj输出的 一组待融合 特征图xj与特征提 取分支bi输出的一组待融合特征图进行融合之前需要进行的 采样处理， 2 ×(i‑j)times↓表示需要对xj进行下采样倍数； 2 ×(j‑i)times↑表示需要对xj进 行上采样倍数。 6.一种可供性检测装置， 其特征在于， 应用于可供性检测设备， 所述可供性检测设备配 置有预先训练的可供性检测模型， 所述可供性检测模型包括多条特征提取分支以及语义编 码层， 所述可 供性检测装置包括： 图像编码模块， 用于通过所述多条特征提取分支获得待识别图像的多组特征图， 其中， 所述多组特 征图携带有所述待识别图像从浅层到深层的特 征信息； 所述图像编码模块， 还用于将所述多组特征图中的深层特征图输入到所述语义编码 层， 获得所述多组特 征图各自的权 重； 图像解码模块， 用于根据所述多组特征图各自的权重， 将所述多组特征图与所述待识 别图像的参考特征图融合成增强特征图； 其中， 所述参考特征图携带有所述待识别图像的 空间结构信息； 所述图像解码模块， 还用于将所述增强特征图进行解码， 获得所述待识别图像的可供 性检测结果。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处 理器执行时， 实现权利要求1 ‑5任意一项所述的可 供性检测方法。 8.一种可供性检测设备， 其特征在于， 所述可供性检测设备包括处理器以及存储器， 所 述存储器存储有计算机程序， 所述计算机程序被所述处理器执行时， 实现权利要求 1‑5任意 一项所述的可 供性检测方法。权　利　要　求　书 2/2 页 3 CN 114863105 A 3