(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210837647.4 (22)申请日 2022.07.15 (71)申请人 大连海洋大学 地址 116023 辽宁省大连市沙河口区黑石 礁街52号 (72)发明人 王鹏　庞洪帅　杨志鹏　蔡克卫　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 陈丽　李洪福 (51)Int.Cl. G06T 7/73(2017.01) G06T 5/00(2006.01) G06T 7/80(2017.01) G06T 7/90(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 水下图像增强和深度估计方法、 装置及存储 介质 (57)摘要 本发明提供了水下图像增强和深度估计方 法、 装置及存储介质， 方法包括： 建立自监督水下 图像增强及深度估计网络模型， 包括： 图像增强 网络、 深度估计网络、 第一自监督模块和第二自 监督模块； 第一自监督模块以第一输入水下图像 对应的增强图像和深度图为输入， 根据图像生成 机制生成第一自监督信号； 第二自监督模块基于 运动预测结果对第二输入水下图像和深度图进 行重建， 得到第二自监督信号； 基于两个自监督 信号训练建立的模型； 将获取的真实水下图像输 入至训练好的模 型， 得到增强后的水下图像以及 深度图。 本发明中， 以自监督的方式进行水下图 像增强和深度估计， 可以不需要复杂的人工标注 数据集， 并且达到与全监督方法相同甚至更好的 图像增强效果。 权利要求书2页 说明书7页 附图2页 CN 115294199 A 2022.11.04 CN 115294199 A 1.一种基于自监 督的水下图像增强及深度估计方法， 其特 征在于， 所述方法包括： 建立自监督水下图像增强及深度估计网络模型； 所述自监督水下图像增强及深度估计 网络模型包括： 图像增强网络、 深度估计网络、 第一自监督模块和第二自监督模块； 所述图 像增强网络对第一输入水下图像进行增强， 得到第一输入水下图像对应的增强 图像； 所述 深度估计网络对第一输入水下图像进行深度估计， 得到第一输入水下图像对应的深度图； 所述第一自监督模块以第一输入水下图像对应的增强图像和深度图为输入， 根据图像生成 机制生成用于自监督训练图像增强网络的第一自监督信号； 所述第二自监督模块基于运动 预测结果对第二输入水下图像和 第一输入水下图像对应的深度图进行重建， 得到用于自监 督训练深度估计网络的第二自监 督信号； 基于第一自监督信号和第二自监督信号训练建立的自监督水下图像增强及深度估计 网络模型； 获取真实水 下图像； 将获取的真实水下图像输入至训练好的自监督水下图像增强及深度估计网络模型， 得 到增强后的水 下图像以及深度图。 2.根据权利要求1所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 所述第一自监督模块以第一输入水下图像对应的增强 图像和深度图为输入， 根据图像 生成机制生成用于自监 督训练图像增强网络的第一自监 督信号， 包括： 将第一输入水下图像对应的增 强图像和深度图输入图像生成模型IFM， 生成用于自监 督训练图像增强网络的第一自监 督信号； 其中， 图像生成模型IFM包括： J(x)＝I(x)t(x)+B(1 ‑t(x))； t(x)＝e‑β d； 其中， J(x)为生成的第一自监督信号， I(x)表示水下场景的真实辐射强度， t(x)表示增 强图像， B表示水 下环境背景光， β 表示 光在水下的衰减率， d表示深度图中反映的场景深度。 3.根据权利要求2所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 通过对真实水 下图像数据集的统计分析获得 水下环境背景光先验。 4.根据权利要求1所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 所述第二自监督模块基于运动预测结果对第二输入水下图像和第一输入水下图像对应 的深度图进行重建， 得到用于自监 督训练深度估计网络的第二自监 督信号， 包括： 所述第二自监督模块包括： 基于Unet结构的扭曲模块； 所述扭曲模块以第一输入水下 图像和第二输入水下图像为输入， 预测相 机参数和帧间运动； 并基于预测结果将第二输入 水下图像和第一输入水下图像的深度图重 建， 得到用于自监督训练深度估计网络的第二自 监督信号； 其中， 第一输入水 下图像和第二输入水 下图像为相邻帧图像。 5.根据权利要求4所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 预测相机参数和帧间运动包括： 预测相机内参， 旋转角和相机位移。 6.根据权利要求5所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 基于预测结果将第二输入水 下图像和第一输入水 下图像的深度图重建， 包括： 按照如下公式进行重建： z′p′＝KRK‑1zp+Kt；权　利　要　求　书 1/2 页 2 CN 115294199 A 2I′＝W(I1,p′)； 其中， z′表示新的深度图， p ′表示新的齐次坐标， K表示相机内参， R表示旋转角， z表示 深度图， t表示相机位移， p表示像素坐标， W()表示warping操作， I ′表示第二自监督信号， I1表示第二输入水 下图像。 7.根据权利要求1所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 基于第一自监督信号和第二自监督信号训练建立的自监督水下图像增强及深度估计网 络模型， 包括： 利用第一输入水下图像和第 一监督信号的相似度构建损失函数， 更新损失函数的梯度 和图像增强网络的参数； 利用第一输入水下图像和第 二监督信号的相似度构建损失函数， 更新损失函数的梯度 和深度估计网络的参数。 8.根据权利要求7所述的一种基于自监督的水下图像增强及深度估计方法， 其特征在 于， 在第一输入水下图像对应的增强图像和NYU数据集的air_image之间构建风格损失函 数。 9.一种基于自监 督的水下图像增强及深度估计装置， 其特 征在于， 所述装置包括： 模型建立单元， 用于建立自监督水下图像增强及深度估计网络模型； 所述自监督水下 图像增强及深度估计网络模 型包括： 图像增强网络、 深度估计网络、 第一自监督模块和第二 自监督模块； 所述图像增强网络对第一输入水下图像进行增强， 得到第一输入水下图像对 应的增强 图像； 所述深度估计网络对第一输入水下图像进行深度估计， 得到第一输入水下 图像对应的深度图； 所述第一自监督模块以第一输入水下图像对应的增强图像和深度图为 输入， 根据图像生成机制生成用于自监督训练图像增强网络的第一自监督信号； 所述第二 自监督模块基于运动预测结果对第二输入水下图像和第一输入水下图像对应的深度图进 行重建， 得到用于自监 督训练深度估计网络的第二自监 督信号； 模型训练单元， 用于基于第 一自监督信号和第 二自监督信号训练建立的自监督水下图 像增强及深度估计网络模型； 图像获取 单元， 用于获取真实水 下图像； 图像增强及深度估计单元， 用于将 获取的真实水下图像输入至训练好的自监督水下图 像增强及深度估计网络模型， 得到增强后的水 下图像以及深度图。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质内存储有计算机指 令集， 计算机指 令集被处理器执行时实现如权利要求 1～8任一项 所述的一种基于自监督的 水下图像增强及深度估计方法。权　利　要　求　书 2/2 页 3 CN 115294199 A 3