(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211166059.9 (22)申请日 2022.09.23 (71)申请人 成都视海芯图微电子有限公司 地址 610000 四川省成 都市中国 （四川） 自 由贸易试验区成都高新区世纪城南路 599号6栋5层505号 (72)发明人 许达文　张祥建　张旻晋　 (74)专利代理 机构 北京酷爱智慧知识产权代理 有限公司 1 1514 专利代理师 钟继莲 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/17(2022.01) (54)发明名称 一种基于多分支神经网络的无人机航拍图 像暗光增强方法 (57)摘要 本发明提供一种基于多分支神经网络的无 人机航拍图像暗光增强方法， 包括获取不同场景 下的无人机航拍暗光图像， 构建暗光图像数据 集； 在暗光图像数据集中选取图像数据， 输入预 先建立的多分支暗光增强神经网络， 通过对输入 的图像数据进行不同层次的特征提取和特征增 强， 输出与输入图像大小相同的彩色图像； 对不 同分支的彩色图像特征进行融合， 获取最终的增 强图像； 构造多分支暗光增强神经网络的模型损 失， 以增强图像为训练样本， 对多分支暗光增强 神经网络进行训练， 直到模型损失收敛， 得到训 练好的网络模 型； 使用训练好的模 型增强待测试 的无人机航拍暗光图像。 上述方案的提出有效解 决了航拍图像在暗光情况 下图像质量差的问题。 权利要求书2页 说明书6页 附图2页 CN 115239603 A 2022.10.25 CN 115239603 A 1.一种基于多分支神经网络的无人机航拍图像暗光增强方法， 其特征在于， 所述方法 包括： 获取不同场景 下的无人机航拍暗光图像， 构建暗光图像数据集； 在暗光图像数据集中选取图像数据， 输入预先建立的多分支暗光增强神经网络， 通过 对输入的图像数据进 行不同层次的特征提取和特征增强， 输出与输入图像大小相同的彩色 图像； 对不同分支的彩色图像特 征进行融合， 获取最终的增强图像； 构造多分支暗光增强神经网络的模型损 失， 以所述增强图像为训练样本， 对多分支暗 光增强神经网络进行训练， 直到模型损失收敛， 得到训练好的网络模型； 使用训练好的模型增强待测试的无 人机航拍暗光图像。 2.根据权利要求1所述的方法， 其特征在于， 所述构建暗光图像数据集包括： 通过预先 设置的无人机角度和 位置， 获取不同场景下在正常光与暗光状态下拍摄的照片， 对所述照 片进行图像裁 剪缩放至25 5X255尺寸的三 通道彩色图像； 收集三通道彩色图像数据， 并对收集的数据按比例划分； 其中， 80%作为训练集、 20%作 为测试集。 3.根据权利要求1所述的方法， 其特征在于， 所述多分支暗光增强神经网络的预先建立 包括： 采集训练集中的图像数据作为输入图像， 通过特征提取模块对输入的图像进行不同层 次的特征提取， 通过增强模块对提取 的图像特征进行特征增强， 生成与输入图像大小相同 的彩色图像； 其中， 所述特征提取模块为10层的卷积神经网络， 每层使用32个3X3的卷积核 进行特征提取； 在每 个卷积之后设置ReLu激活函数， 用于非线性映射。 4.根据权利要求1所述的方法， 其特征在于， 所述增强模块包括10层的卷积神经网络， 每层网络由8个3X3 卷积核、 16个5X5卷积核、 16个5X5反卷积核、 8个5X5 反卷积核和3个5X5反 卷积核串联而成； 在每 个卷积之后设置ReLu激活函数， 用于非线性映射。 5.根据权利要求1所述的方法， 所述增强图像为通过融合模块使用3通道1X1卷积核融 合增强后的图像特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述多分支暗光增强神经网络的模型损失 包含结构损失、 上 下文损失； 其中， 结构损失， 用于衡量增强图像和与其对应的正常光图像的差异， 指导学习过程； 上下文损失， 用于测量增强图像和与其对应的正常光图像之间的差异。 7.根据权利要求6所述的方法， 其特 征在于， 所述结构损失通过 下式确定： 其中， 为结构损失， 分别为增强图像和正常光图像的像素值的平均值；  为两者像素值的方差； 为超参数。 8.根据权利要求7 所述的方法， 其特 征在于， 所述上 下文损失通过 下式确定：权　利　要　求　书 1/2 页 2 CN 115239603 A 2其中， E和G分别为增强图像和真实图像， 分别描述了预训练的VGG ‑19网 络中各个特征图的尺寸； 表示预训练的VGG ‑19网络中第i个特征图的第j卷积层获得的 特征映射。 9.根据权利要求1所述的方法， 其特征在于， 所述构造多分支暗光增强神经网络的模型 损失， 以所述增强图像为训练样本， 对多分支暗光增强神经网络进 行训练， 直到模型损失收 敛， 得到训练好的网络模型包括： 根据预先定义的模型训练的样本输入量输入相应的训练 样本， 对模 型进行迭代训练； 对于上下文损失中正常光图像VGG ‑19网络中提取的特征颜色， 在训练过程中使用VG G‑19网络第三 块的第四个卷积层的输出作为上 下文损失提取层； 通过Adam优化算法更新网络参数， 当迭代结束后， 保存测试结果最高的模型作为最终 模型。 10.根据权利要求1所述的方法， 其特征在于， 所述使用训练好的模型增强待测试的无 人机航拍暗光图像包括： 获取无人机在 暗光环境下拍摄的暗光 图像， 对拍摄的暗光 图像进行缩放至255X255尺 寸后输入训练好的模型中， 获取增强后的图片。权　利　要　求　书 2/2 页 3 CN 115239603 A 3