(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210216971.4 (22)申请日 2022.03.07 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 林巍峣　范佳豪　张爱新　 (74)专利代理 机构 上海交达专利事务所 31201 专利代理师 王毓理　王锡麟 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像块筛选的高分辨率图像目标检测 加速方法及系统 (57)摘要 一种基于图像块筛选的高分辨率图像目标 检测加速方法， 在离线阶段从高分辨率图像中提 取出图像块并构建出图像块树后， 以 ①图像块树 为状态、②选择树中的图像块作为动作、 ③目标 检测准确率作为奖励， 使用强化学习的方法训练 策略网络； 在在线阶段使用训练后的策略网络， 根据输入的图像块树得到筛选出的图像块序号， 通过对对应的图像块进行目标检测并将检测结 果映射回原图得到最终检测结果。 本发明能够在 保证目标检测准确率的同时精简图像块数量， 达 到节省目标检测算法的运行时间的目的。 权利要求书2页 说明书4页 附图2页 CN 114937160 A 2022.08.23 CN 114937160 A 1.一种基于 图像块筛选的高分辨率图像目标检测加速方法， 其特征在于， 在离线阶段 从高分辨率图像中提取出图像块并构建出图像块树后， 以 ①图像块树为状态、 ②选择树中 的图像块作为动作、 ③目标检测准确率作为奖励， 使用强化学习的方法训练策略网络； 在在 线阶段使用训练后的策略网络， 根据输入的图像块树得到筛选出 的图像块序号， 通过对对 应的图像块进行目标检测并将检测结果映射回原图得到最终检测结果。 2.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征 是， 所述的图像块树， 通过对高分辨率图像进行下采样后， 使用目标检测算法提取出若干图 像块， 然后根据图像块之间的空间位置关系构造得到 。 3.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征 是， 所述的选择树中的图像块是指： 以先序遍历的顺序对树中结点进 行编号， 策略网络每次 输出一个序号， 序号对应的图像块被保留， 以该图像块为根结点的子树及该结点与整棵图 像块树的根结点连接的路径上的所有 结点均不能再被选择， 接着将当前图像块输入到策略 网络的解码器中， 策略网络解码出下一个图像块的序号， 如此循环执行直到图像块树上没 有可选择的图像块 为止。 4.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征 是， 所述的策略网络包括： 一个编码器和一个解码器， 其中： 编码器从输入的图像块树提取 图像块内容特征与图像块之 间的联系， 解码 器根据编 码器提取到的信息筛选得到的图像块 序号。 5.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征 是， 所述的目标检测的准确率是目标检测通用的客观质量评价指标： 类别平均准确率。 6.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征 是， 所述的训练， 即基于状态、 动作、 奖励和预设的网络结构对策略网络的参数使用强化学 习的方法进行优化的过程， 具体包括： 步骤1)初始化： 随机初始化策略网络的参数θ； 初始化轨迹集合T为空集； 初始化采样次 数N， 学习率α， 迭代次数L； 步骤2)收集训练数据： 以图像块树Si为状态， 以选择树中的图像块作为动作， 以目标检 测准确率作为奖励Ri， 以当前参数固定为θ 的策略网络作为策略， 执行马尔可夫决策过程， 得到筛选后的图像块集合τi＝{v0， v1， v2， ...}， 其中vj代表单个图像块， 并将τi加入轨迹集 合T； 步骤3)更新网络参数： 当轨迹集合T的大小|T|＝N， 则根据策略梯度算法更新θ为 计算平均奖励 并清空轨迹集合T， 跳至步骤4； 当轨迹 集合T的大小 |T|＜N， 则跳 至步骤2； 步骤4)判断策略网络是否收敛： 当计算平均奖励 在连续L次迭代过程中未增长则终止 训练， 否则跳 至步骤2。 7.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征 是， 所述的将 检测结果映射回原图是指： 根据图像块在原图中的位置， 将图像块坐标系下的 目标检测结果映射到原图坐标系下 得到对应目标位置 。 8.根据权利要求1所述的基于图像块筛选的高分辨率图像目标检测加速方法， 其特征权　利　要　求　书 1/2 页 2 CN 114937160 A 2是， 所述的编 码器包括： 一个用于提取图像块特征的全连接层、 一个用于编 码图像块之 间关 系的树状长短期记忆网络和 一个链状长短期记忆网络； 解码器包括： 一个用于顺序解码的 长短期记 忆网络和一个用于 选择图像块的注意力头 。 9.一种实现权利要求1～8中任一所述基于图像块筛选的高分辨率图像目标检测加速 方法的图像目标检测系统， 其特征在于， 包括： 图像块树构造模块、 策略网络训练模块和图 像块筛选模块， 其中： 图像块树构造模块与策略网络训练模块相连并传输图像块树， 策略网 络模块与图像块筛 选模块相连并传输其训练过的策略网络 。权　利　要　求　书 2/2 页 3 CN 114937160 A 3