(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211289828.4 (22)申请日 2022.10.20 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 孙艳丰　王国健　胡永利　尹宝才　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种应用 于弱光条件下端到端目标检测的 即插即用的弱光图像增强方法 (57)摘要 本发明公开了一种应用于弱光条件下端到 端目标检测的即插即用的弱光图像增强方法， 弱 光图像增强模型由一个参数估计模块和图像处 理模块组成。 参数估计模块通过学习检测网络 反 馈的信息来回归图像处理模块所需要的超参数， 接收超参数的图像处理模块自适应地增强输入 图像， 促进其在弱光条件下的检测 效果。 增强模 型与检测模型一体化， 端到端， 彼此互补， 彼此受 益， 根据检测 网络反馈的信息来增强图像， 根据 增强的图像来更好的训练检测网络。 相比于以往 的两阶段的图像增强模型或者其他端到端的方 法， 本发明提出的一种应用于弱光条件下端到端 目标检测的即插即用的弱光图像增强模型取得 了更好的性能。 权利要求书1页 说明书3页 附图1页 CN 115512184 A 2022.12.23 CN 115512184 A 1.一种应用于弱光条件下端到端目标检测的即插即用的弱光图像增强方法， 其特征在 于， 实现弱光图像增强方法的模型由一个参数估计网络模块和图像处 理模块组成； 图像处理模块包括像素级图像增强操作单 元和锐化操作单 元； 像素级图像增强操作单元中： 从图像质量评价、 图像像素成像特征方面分析了弱光图 像， 设计一个 像素级图像增强操作， 其表达式如下： I’＝A(1‑I)I+I 其中， A是参数估计网络得到的参数矩阵， 与传统的1 ×1超参数不同， A的大小和输入图 像的大小一样大， 通过参数矩阵A原始图像的每个像素都能够进行局部自适应调整； I表示 原始的图像， 而I ’则表示增强的图像； 该表达式实际上是一个二次方程； 矩阵参数A修改二 次方程的表达能力， 控制曝光度； 通过叠加多层进一 步实现低光增强； 锐化操作单 元： 对图像进行锐化 突出图像细节； 锐化操作用如下表达式描述： I_enhance＝ λ(I ’ ‑G(I’))+I’ 其中， I’是锐化操作的输入图像， G( ·)是高斯滤波器， 而λ是尺度因子， 由参数估计网 络获得； I ’ ‑G(I’)突出图像中应该增强的边界信息； λ 自适应调整图像的锐化 程度； 参数估计网络模块是一个轻量级的卷积神经网络， 通过整个网络的反馈信 息自适应回 归图像处理模块所需的超参数； 参数估计网络模块的输入是一种低光图像， 输出是一组图 像增强模型所需要的关键参数， 即像素级图像增强模块所需要的参数矩阵A和锐化操作中 的比例因子λ； 通过通道连接操作 实现多个卷积层的跳跃连接； 每个卷积层包含32个卷积， 卷积核大小为3 ×3， 步长大小为1， 激活函数为ReLU； 最后的卷积层采用Tanh激活函数， 为随 后的像素增强操作和锐化操作生成相应数量的可调参数； 参数估计网络模块的参数矩阵输 出与原始图像相同， 参数矩阵通过平均池化操作生成锐化操作所需要的1x1的超参数。 2.根据权利要求1所述的一种应用于弱光条件下端到端目标检测的即插即用的弱光图 像增强方法， 其特 征在于， 包括以下步骤： 步骤1： 调整弱光图片大小， 得到图片I； 步骤2： 计算 参数估计网络模块的输出， 得到PN； 步骤3： 通过超参数转 化， 得到对应 格式的超参数； 步骤4： 接收对应的超参数， 对原始图片执行像素级图像增强操作和锐化操作， 得到增 强的图像I ’； 步骤5： 增强的图像I ’送入目标检测器S SD中； 步骤6： 根据SSD的损失进行梯度反向传播， 实时更新参数估计网络参数Pθ和SSD网络参 数Sβ； 步骤7： 迭代循环， 完成训练过程。权　利　要　求　书 1/1 页 2 CN 115512184 A 2一种应用于弱光条件下端到端目标 检测的即插即用的弱光图 像增强方 法 技术领域 [0001]本发明涉及一种应用于弱光条件下端到端目标检测的即插即用的弱光图像增强 模型， 属于目标检测技 术领域。 背景技术 [0002]尽管基于深度学习的目标检测算法已被广泛应用于许多场景， 但仍面临弱光等非 理想条件下 的漏检错检等挑战。 因此目标检测 算法通常会采纳许多图像增强方法， 但是增 强模型与目标检测模型通常是相互独立的。 这种两阶段的方式很难统一增强和检测的一致 性。 结果， 弱光增强操作并不总 是有助于后续的目标检测任务。 最近， 一些工作试图在端到 端的网络中集成增强和检测， 但是它们仍然面临网络结构复杂， 训练收敛难度大， 增强没有 参考图像等问题。 [0003]针对上述问题， 本发明提出了一种应用于弱光条件下端到端目标检测的即插即用 的弱光图像增强模型， 它 可以很容易地以端到端的形式嵌入到现成的目标检测算法中。 图 像增强模块能够根据后续检测网络的反馈信息自适应的增强图像， 生成有利于后续检测任 务的图像。 进 而提高目标检测算法的性能。 发明内容 [0004]本发明提出了一种应用于弱光条件下端到端目标检测的即插即用的弱光图像增 强方法。 弱光图像增强模型 由一个参数估计模块和图像处理模块组成。 参数估计模块通过 学习检测网络反馈的信息来回归图像处理模块所需要的超参数， 接收了超参数的图像处理 模块自适应地增强输入图像， 促进其在弱光条件下 的检测效果。 增强模型与检测模型一体 化， 端到端， 彼此 互补， 彼此受益， 根据检测网络反馈的信息来增强图像， 根据增强的图像来 更好的训练检测网络 。 [0005]具体地， 实现弱光图像增强方法的模型由一个参数估计网络模块和图像 处理模块 组成。 图像处 理模块又包括像素级图像增强操作单 元和锐化操作单 元。 [0006]像素级图像增强操作单元中： 从图像质量评价、 图像像素成像特征等方面分析了 弱光图像， 同时， 受到图像编辑软件中曲线调整工具的启发， 设计了一个像素级图像增强操 作， 其表达式如下： [0007]I’＝A(1‑I)I+I [0008]其中， A是参数估计网络得到的参数矩阵， 与传统的1 ×1超参数不同， A的大小和输 入图像的大小一样大， 这意味着通过参数矩阵A， 原始图像的每个像素都可以进 行局部自适 应调整。 I表 示原始的图像， 而I ’则表示增强的图像。 该表达式实际上是一个二次方程。 矩阵 参数A可以修改二次方程的表达能力， 控制曝光度。 这个方程简单、 可微。 此外， 该操作还可 以通过叠加多层来进一 步实现低光增强的效果。 [0009]锐化操作单 元： 对图像进行锐化 突出图像细节。 锐化操作用如下表达式描述：说　明　书 1/3 页 3 CN 115512184 A 3