(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171768.6 (22)申请日 2022.09.26 (71)申请人 哈尔滨工业大 学 （深圳） （哈尔滨工 业大学深圳科技创新研究院） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 何震宇　李佳琪　田超　杨超　 (74)专利代理 机构 深圳市科吉华烽知识产权事 务所(普通 合伙) 44248 专利代理师 胡吉科 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于边缘重构的热红外行人检测方法、 系统 及存储介质 (57)摘要 本发明提供了一种基于边缘重构的热红外 行人检测方法、 系统及存储介质， 热红外行人检 测方法包括数据预处理步骤、 主干网络预训练步 骤、 模型训练步骤和预测步骤。 本发明的有益效 果是： 通过引入边缘信息， 引导模型深入挖掘热 红外图像中的边缘特征； 通过引入主干网络预训 练方法， 提升主干网络的特征提取和学习能力； 通过设计全新的算法架构， 提升热红外行人检测 性能； 通过引入针对性训练流程， 避免使用额外 任务和额外数据， 提升模型有效信息量， 不影响 实际运行速度。 权利要求书3页 说明书9页 附图1页 CN 115273154 A 2022.11.01 CN 115273154 A 1.一种基于边 缘重构的热红外行 人检测方法， 其特 征在于， 包括如下步骤： 数据预处理步骤： 获取热红外图像对应的边缘图像， 抑制其背景表达， 获取行人边缘掩 模图像， 平 滑行人边缘， 获得更完整和更精准的行 人边缘轮廓； 主干网络预训练步骤： 使用行人标签对主干网络进行对比学习预训练， 使得主干网络 能够学习到行人的标签和图像之间存在的关系， 提升主干网络对行人特征的学习和分类能 力； 模型训练步骤： 同时输入热红外行人图像和行人边缘掩模图像， 分别提取两种图像的 特征信息， 在特征融合模块进行信息交互， 经过特征处理模块进一步处理后， 送入分类、 定 位和重构头中进行 行人检测和边缘重构； 预测步骤： 仅使用热红外行人图像， 不使用行人边缘掩模图像， 关闭辅助网络通道， 实 现完全位于热红外域的行 人检测。 2.根据权利要求1所述的热红外行人检测方法， 其特征在于， 在数据预处理步骤中， 获 取行人边缘掩模图像的技术方案是： 使用边缘提取算法生成热红外图像对应的边缘图像， 将其与热红外图像同时输入模型； 利用热红外行人数据集的标注框确定行人区域， 抑制所 有非行人区域的表达， 得到仅包含行人边缘的掩模图像； 将行人边缘掩模图像与热红外图 像同时输入到行 人检测器中。 3.根据权利要求2所述的热红外行人检测方法， 其特征在于， 在所述数据预处理步骤 中， 使用膨胀和腐蚀操作平 滑行人边缘掩模图像。 4.根据权利要求1所述的热红外行人检测方法， 其特征在于， 所述模型训练步骤包括冻 结主干网络的训练步骤， 在冻结主干网络的训练步骤中， 冻结预训练的主干网络， 为主干网 络的每层注入一组可学习的附加参数， 在训练过程中仅更新附加参数和除了主干网络以外 的其他模块。 5.根据权利要求1所述的热红外行人检测方法， 其特征在于， 所述主干网络预训练步骤 包括： 步骤1： 读取一个包含N个标签 ‑图像对的训练块， 将N个标签和N个图像特征两两组合， 组成 个标签‑图像对， 其中含有  N 正样本对， 个负样本对； 步骤2： 使用CL IP模型预测出 个可能的文本 ‑图像对的余弦相似度； 步骤3： 最大化N个正样本的相似度， 同时最小化 个负样本的相似度， 从而建立热 红外行人图像和标签之间的联系。 6.根据权利要求1所述的热红外行人检测方法， 其特征在于， 在所述模型训练步骤中， 行人边缘特征提取模块包含五个阶段， 每个阶段的输出特征图分别为E1、 E2、 E3、 E4和E5， 通 道数分别为64、 128、 256、 512和1024， 尺寸分别为原始输入图像的1/2、 1/4、 1/8、 1/16和  1/ 32； 行人边缘特征提取模块的每个阶段都包含两个深度可分离卷积层， 每个深度可分离卷 积层包括一个输入通道与输出通道数相同的3*3卷积， 一个输入通道与输出通道数不同的 1*1卷积， 两个卷积后面都有批量归一化操作， 第一个卷积后还有ReLU激活操作； 在每个阶 段的第二个深度可分离卷积层使用残差连接； 如公式1所示， 输入特征图Ei经过操作后， 得 到输出特征图Ej，权　利　要　求　书 1/3 页 2 CN 115273154 A 2Ej = ReLU(BN(Co nv(Ei)))+ ReLU(BN(Co nv(ReLU(BN(Co nv(Ei)))))) 公式1； 其中的Co nv表示卷积层， BN表示归一 化， ReLU为激活函数。 7.根据权利要求1所述的热红外行人检测方法， 其特征在于， 在所述模型训练步骤中， 所述特征融合模块执 行如下步骤： 第一步： 将主干网络最后一个阶段输出的热红外特征图  T5 和行人边缘特征提取网络 最后一个阶段输出的边 缘特征图 E5 进行逐元素相乘， 得到一个尺寸 不变的特 征图； 第二步： 对第一 步中得到的尺寸 不变的特 征图引入 全局平均池化操作， 得到第一结果； 第三步： 将第二 步中的第一结果与热红外特 征图 T5 相乘， 得到第二结果； 第四步： 使用残差连接的方式将第三步中的第二结果与原始热红外特征图  T5 相加， 得到第三结果； 第五步： 将第三结果再经过一个不改变尺寸和通道数的1*1  卷积层、 归一化和激活函 数进行融合， 最终得到特 征融合模块的输出 特征图。 8.根据权利要求1所述的热红外行人检测方法， 其特征在于， 所述模型训练步骤包括有 监督的边缘重构任务， 所述 边缘重构任务包括如下步骤： 步骤a： 首 先将热红外图像送入主干网络进行 特征提取， 其输出 热红外特 征图为T5； 步骤b： 将行人边缘掩模图像送入行人边缘特征提取模块进行特征提取， 得到输出边缘 特征图E5； 步骤c： 将步骤a的输出热红外特征图T5和步骤b的输出边缘特征图E5送入特征融合模 块进行特征融合， 将融合完毕后的特征图送入重构模块进行边缘重构， 得到边缘重构图像 Epred； 步骤d： 将 步骤c得到的边缘重构图像Epred与行人边缘掩模图像E0做对比损失， 得到损失 值； 步骤e： 根据步骤d得到的损 失值更新辅助网络各模块的权重， 各模块包括行人边缘特 征提取模块、 特 征融合模块和重构模块。 9.根据权利要求4所述的热红外行人检测方法， 其特征在于， 所述冻结主干网络的训练 步骤包括： 步骤A：   表示第i层的输出 特征图， y表示模型的输出 结果： 公式4 公式5 步骤B： 对主干网络的每一层都插 入一个 d 维的向量    作为附加参数， 构成集 合P：   公式6 步骤C： 训练时， 冻结主干网络的权 重， 仅更新附加参数集 合 P：   公式7 公式8 在公式4中， 的含义是： Layer代表主干网络的某一层， 用下标i区分， i的取值权　利　要　求　书 2/3 页 3 CN 115273154 A 3