(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210723127.0 (22)申请日 2022.06.24 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 金海燕　王乔斌　苏浩楠　肖照林　 蔡磊　王彬　刘瑾　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王敏强 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/13(2017.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于事件相机的弱光图像增强方法 (57)摘要 本发明公开了一种基于事件相机的弱光图 像增强方法， 首先选取一个具有正常光照图像和 事件流的数据集， 要求正常光照图像和事件流在 空间上是配对的， 之后由正常光照图像生成梯度 图像和含噪声的弱光图像， 预处理事件流得到具 有良好边缘信息的事件伪图像； 然后重建梯度图 像并进行增强， 设计特征融合模块， 添加条件鉴 别器， 对于梯度分支和 弱光图像增强分支搭建的 神经网络进行训练， 保存神经网络的模型， 最后 测试模型， 输出增强后的图像。 本发明通过事件 重建的梯度图指导弱光图像在图像域的增强， 可 以获得边 缘信息丰富的正常光图像 。 权利要求书4页 说明书13页 附图8页 CN 115082341 A 2022.09.20 CN 115082341 A 1.基于事 件相机的弱光图像增强方法， 其特 征在于， 具体按照以下步骤实施： 步骤1、 数据集合成， 选取一个具有正常光照图像和事件流的数据集， 要求正常光照图 像和事件流在空间上是配对的， 之后由正常光照图像生成梯度图像和含 噪声的弱光图像， 预处理事件流得到具有良好 边缘信息的事 件伪图像； 步骤2、 采用UNet梯度分支将步骤1得到的事 件伪图像重建为梯度图像； 步骤3、 采用UNet弱光 图像增强分支对步骤1得到的弱光 图像进行增强， 得到增强后的 图像； 步骤4、 设计特征融合模块， 特征融合模块即采用基于通道和空间注意力的模块CBAM， 将步骤2中梯度图像包 含的信息融合到步骤3的弱光增强分支； 步骤5、 添加条件鉴别器， 条件为事 件伪图像和梯度图像， 生成更加真实的增强图像； 步骤6、 对于步骤2梯度分支和步骤3弱光图像增强分支搭建的神经网络进行训练300个 epoch， 验证训练结果， 保存神经网络的模型； 步骤7、 测试步骤6保存的神经网络的模型， 输出增强后的图像。 2.根据权利要求1所述的基于事件相机的弱光图像增强方法， 其特征在于， 所述步骤1 具体如下： 步骤1.1、 选取一个具有正常光照图像和事件流的数据集， 要求正常光照图像和事件流 在空间上是配对的， 其中事件的表示方式为∈＝(xj,yj,tj,pj)， 其中∈表示一个事件， x和y 表示像素点的坐标位置， t代表时间戳， p表示事件的极性， j表 示第几个事件； 假设事件流时 间长度为Δt， 期间事件相机同时返回n个灰度帧， 对于合成的伪图像的像素值 i＝ 1,2,…,n， 每个事件间隔表示为 由事件的极性值相加 所得， 得到事 件伪图像； 步骤1.2、 对于参考图像GT， 对参考图像GT添加噪声， 使用高斯盲噪声， 具体做法为， 用 一个标准差范围生成 高斯盲噪声 取代用一个标准差生成 高斯噪声， 之后进 行弱光场景的模 拟， 伽马矫 正， 如公式一所示， Vout＝(Vin)gamma   (1) 其中Vout表示矫正后的图像， Vin表示矫正前的图像， g amma表示像素值的放缩力度； 之后将数据进行线性归一 化处理， 如公式二所示， 其中Xnorm表示归一化后的图像， X表示坐标(x,y)处的像 素值， Xmin表示图像x的最小像 素 值， Xmax表示图像的最大像素值， 得到模拟的含噪声弱光图像； 步骤1.3、 对步骤1.1得到 的正常光照图像进行边缘提取， 利用sobel算子， 具体计算方 式如公式(3)(4)(5)所示： 对于假设图像A： 权　利　要　求　书 1/4 页 2 CN 115082341 A 2Gx表示横向的一阶差分， Gy表示纵向的一阶差分， G表示梯度图， 其中*表示卷积操作， 得 到G是梯度图像。 3.根据权利要求2所述的基于事件相机的弱光图像增强方法， 其特征在于， 所述步骤2 具体如下： 步骤2.1、 首先利用深度学习框架PyTorch的dataset类， 并在该类中图片进行 transform操作， 首先将图片转换为张量格式， 并进 行归一化操作， 之后进行标准化处理， 如 公式(6)所示： 其中Oc表示第c个通道的输出， ic表示的c个通道的输入， mc表示第c个通道的均值， Sc表 示第c个通道的方差， 接下来 通过DataL oader对数据进行打包； 步骤2.2、 对于打包后的数据， 对其先进行特征提取得到特征图， 选用UNet作为梯度分 支的主干网， 通过步长为2的卷积操作代替最大池化操作， 之后通过batchnorm算法对数据 范围进行调整， 紧接着使用ReLU激活函数进行激活， 在此进 行七次下采样， 之后通过步长为 2的反卷积操作进行上采样， 使用batch  norm算法对数据范围进行调整并使用ReLU激活函 数， 同样的进行七次上采样， 最后对上采样的特征图进行梯度图重建， 得到重建的梯度图 像， 进行padding操作， 将步骤1.2获得的弱光图像的信息引入梯度分支， 具体的如卷积公 式 (7,8)所示和反卷积公式(9,10)所示： Hout＝(Hin‑1)×2‑2×p+k   (9) Wout＝(Win‑1)×2‑2×p+k   (10) 其中Hout表示输出图像的高度， Wout表示输入图像的宽度， 字母Hin表示输入图片的高度， p表示pad ding大小， k表示卷积核大小， s表示 步长， Win表示输入图像的宽度； 步骤2.3、 对于梯度分支输出的重建梯度图和梯度参考图， 使用L1loss， 如公式(11) (12)所示， L＝{l1,l2,…,ln},ln＝|xn‑yn|   (11) l(x,y)＝mean(L)    (12) 其中L表示所有像素点损失值的和， x,y分别表示像素的坐标， l1,l2,…,ln分别表示像 素值， n表示像素点的个数， l(x,y)表示损失值， 这 里采用均值的方式计 算损失值， 利用损失值 完成对梯度分支参数的更新， 得到更新后的梯度分支。 4.根据权利要求3所述的基于事件相机的弱光图像增强方法， 其特征在于， 所述步骤3权　利　要　求　书 2/4 页 3 CN 115082341 A 3