(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210330060.4 (22)申请日 2022.03.28 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 孙开敏　李鹏飞　李王斌　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 张辰 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于上下文与深度特征的车辆目标检测方 法及设备 (57)摘要 本发明提供了一种基于上下文与深度特征 的车辆目标检测方法及设备。 所述方法包括： 对 尺度上下文进行深度特征提取； 对空间上下文进 行深度特征提取； 根据提取的尺度上下文深度特 征和空间上下文深度特征进行车辆目标检测。 本 发明通过在网络内部进行多尺度特征的提取， 并 将低层特征和高层特征进行融合， 提取尺度上下 文特征， 将尺度上下文的提取和空间上下文的提 取集成在网络内部， 构成一个端到端的网络检测 车辆目标， 显著提升 了对车辆的检测效果。 权利要求书2页 说明书7页 附图3页 CN 114842444 A 2022.08.02 CN 114842444 A 1.一种基于上下文与深度 特征的车辆目标检测方法， 其特征在于， 包括： 对尺度 上下文 进行深度特征提取； 对空间上下文进行深度特征提取； 根据提取 的尺度上下文深度特征和 空间上下文深度特 征进行车辆目标检测。 2.根据权利要求1所述的基于上下文与深度 特征的车辆目标检测方法， 其特征在于， 所 述对尺度上下文进行深度特征提取， 包括： 首先对图像进行卷积、 池化操作， 得到通道数为 n*n*512的卷积特征图,n为输入图像尺寸的1/16； 利用RPN网络在得到疑似的感兴趣区域 ROIs； 将ROIs坐标映射到特征图上， 首先将坐标进行归一化， 然后根据特征图的大小进行放 大， 得到其在多个层级特征图上 的坐标， 然后根据坐标分别在不同层级的特征图上将对应 的区域裁剪出来， 并固定到相同大小， 采用第四层和第五层进 行特征提取； 将从不同层级的 特征图进行扁平化处理并融合， 作为全链接层的输入； 利用分类器给出类别得分并进行坐 标预测； 将坐标从原图映射到特征图时， 需要先将坐标进行归一化， 然后根据特征图的大小 进行缩放。 3.根据权利要求2所述的基于上下文与深度 特征的车辆目标检测方法， 其特征在于， 所 述对空间上下文进行深度特征提取， 包括： 输入图像， 经过卷积和池化操作得到512个通道 的特征图； 利用RPN网络提取感兴趣目标区域 ROI； 计算上下文区域坐标， 在ROI的基础上， 增 加一个上下文区域， 上下文区域的宽度和高度均为ROI的至少两倍， 用红色框表示； 然后将 ROI坐标和上下文坐标进行归一化， 然后映射到第五层特征图上； 在第五层特征图上对ROI 和上下文区域分别进 行感兴趣区域池化操作， 得到大小为7*7*512的区域特征图； 然后 将这 两种大小的区域进行融合， 得到维度为7*7*1024的特征向量； 将融合后的特征依次通过两 次全连接， 进行类别得分计算和坐标回归， 由类别得分得 出最终的类别 信息。 4.根据权利要求3所述的基于上下文与深度 特征的车辆目标检测方法， 其特征在于， 所 述根据提取 的尺度上下文深度特征和空间上下文深度特征进行车辆目标检测， 包括： 输入 图像到一个预训练完成的卷积神经网络VGG16中提取特征得到特征图像， 同时去除掉卷积 神经网络VGG16中自带的全链接层与分类层； 利用提取的尺度上下文深度特征和空间上下 文深度特征分别对卷积神经网络VGG16提取特征得到特征图像进行再处理； 对于提取的尺 度上下文深度特征 的结果， 直接使用感兴趣区域池化来得到候选区域， 对于提取 的空间上 下文深度特征的结果， 先扩展为原来的2.5倍， 再使用感兴趣区域池化来得到候选区域， 然 后将得到的候选信息相加通过一个全链接层得到102 4维的特征； 对得到的102 4维特征进 行 重组， 将维度升高到4096维， 同时输入到下一个全链接层； 将 输出的特征进 行类别得分计算 和坐标回归， 由类别得分得 出最终的类别 信息。 5.根据权利要求4所述的基于上下文与深度 特征的车辆目标检测方法， 其特征在于， 所 述利用提取的尺度上下文深度特征和空间上下文深度特征分别对卷积神经网络VGG16提取 特征得到特征图像进行再处理， 包括： 将提取到的尺度上下文深度特征和空间上下文深度 特征均嵌入到网络模型中， 使得在每一次训练中能够基于 疑似区域特征和上下文区域特征 进行训练， 优化模型参数， 形成端到端的可以训练和验证的车辆目标检测方法。 6.一种基于上下文与深度特征的车辆目标检测装置， 其特征在于， 包括： 第一主模块， 用于对尺度上下文进 行深度特征提取； 第二主模块， 用于对空间上下文进 行深度特征提取； 第三主模块， 用于根据提取的尺度上下文深度特征和空间上下文深度特征进 行车辆目标检 测。权　利　要　求　书 1/2 页 2 CN 114842444 A 27.一种电子设备， 其特 征在于， 包括： 至少一个处 理器、 至少一个存 储器和通信接口； 其中， 所述处理器、 存储器和通信接口相互间进行通信； 所述存储器存储有可被所述处理器执行的程序指令， 所述处理器调用所述程序指令， 以执行权利要求1至 5任一项权利要求所述的方法。 8.一种非暂态计算机可读存储介质， 其特征在于， 所述非暂态计算机可读存储介质存 储计算机指令， 所述计算机指令使所述计算机执行权利要求 1至5中任一项权利要求所述的 方法。权　利　要　求　书 2/2 页 3 CN 114842444 A 3