(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211367841.7 (22)申请日 2022.11.03 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 邹勤　张天任　陈驰　杨必胜　 王中元　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 齐晨涵 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06V 10/80(2022.01) H04N 5/232(2006.01)H04N 5/247(2006.01) (54)发明名称 复眼相机多焦距图像融合模型、 方法及装置 (57)摘要 本文公开了一种复眼相机多焦距图像融合 模型、 方法及装置， 以自参照感知模块SR作为模 糊特征提取和特征恢复的基本单元， 通过图像内 的自参照实现全图特征比对。 通过多层自参照提 取离焦景深特征， 结合自注意力与交叉注意力机 制， 在图像空间域上融合离焦特征， 并在最后阶 段采用多层自参照去模糊， 从而有效的解决离焦 扩散效应与离焦边界线不清晰的问题， 并在一定 程度上对近焦图像和远焦图像中依然模糊的区 域做离焦去 模糊， 综合而言取得最佳融合效果。 权利要求书2页 说明书7页 附图2页 CN 115439376 A 2022.12.06 CN 115439376 A 1.一种复眼相机多焦距图像融合网络模型， 其特征在于： 该网络模型包括编码器、 多尺 度统计融合器、 解码器和图像还原器； 该网络模型采用N张不同焦距的图像作为输入， 每张 图像单独输入编码器， 利用自注意力编码输出四个尺度的特征， 其中图像编码器的权重共 享； 输出为两个分支， 其中一条输出 由多尺度统计融合器实现， 负责特征融合， 对四个尺度 上的特征进行融合特征， 并经过特征最大、 最小、 均值的统计筛选获得精化的融合特征； 另 一条输出分支由解码器和还原器实现， 负责解码四个尺度上的融合特 征并重构图像； 其中， 所述多尺度统计融合器基于交叉参照感知融合模块RAF， 具体为： 输入两个大小 为H×W×C的高维特征 X、Y， 计算X对Y的参照特征过程， 先将 X经过双层3 ×3的查询卷积并通 过矩阵重排获得HW ×C的Q矩阵QX， 将Y经过双层3 ×3的映射卷积并通过矩阵重排获得C ×HW 的K矩阵KY， 同时Y经过双层3 ×3的特征卷积并矩阵重排获得H W×C的V矩阵 VY；Q矩阵与K矩阵 的乘积作为注意力决策矩阵， 其大小为C ×C， 将V矩阵与注意力决策矩阵的乘积再与输入 X 相加， 即获得 X对Y的参照特征 ； 同理，Y对X的参照特征计算过程与 X对Y参照特征过程同， 得 到Y对X的参照特 征 。 2.根据权利要求1所述的复眼相机多焦距图像融合网络模型， 其特 征在于： 所述编码器、 解码器和图像还原器均基于自参照感知模块SR进行处理， 所述自参照感 知模块SR包含多层， 每一层经过一个注意力决策子模块A和一个自参照特征生成子模块B， 子模块A将 输入为H×W×C的特征图X经过批归一化和一个输入通道 为C输出通道 为3C的1× 1卷积， 得到三等分H ×W×C， 再分别经过双层3 ×3的卷积获得 Q矩阵、K矩阵和V矩阵，Q矩阵 与K矩阵的乘积作为注意力决策矩阵， 其大小为C ×C， 将V矩阵与注意力决策矩阵的乘积再 与输入X相加， 即获得 X的自参照特征 ， 子模块B将子模块A获得的 经过批归一化和一个输 入通道为C输出通道为 γC的1×1卷积将特征扩充为H ×W×γC， 并将扩充后的特征分别 经过 双层3×3的卷积获得两个输出， 将其中一个输出经过激活函数后与另一个输出进 行矩阵点 乘， 将结果经过一个输入通道为 γC输出通道为C的1 ×1卷积， 并与最初的输入相加， 获得最 终结果， 维度为H ×W×C。 3.根据权利要求1所述的复眼相机多焦距图像融合网络模型， 其特征在于： 所述编码器 设置有三层特征提取器， 每一层采用像素重排进行降采样， 将降采样后的特征经过自参照 感知模块SR处 理， 输出四个尺度的高维特 征。 4.根据权利要求1所述的复眼相机多焦距图像融合网络模型， 其特征在于： 所述多尺度 统计融合器对四层特征进行融合， 每一层采用交叉感知处理， 再经过特征最大、 最小、 均值 的综合统计， 将输入的多个尺度高维特征融合为一个尺度融合特征； 即将参照特征 和 同 时计算通道层上的均值、 最大、 最小统计特征， 再将三种统计特征叠加并经过1 ×1的卷积， 最终输出H ×W×C的融合参照特征； 计算公式如下： 。 5.根据权利要求1所述的复眼相机多焦距图像融合网络模型， 其特征在于： 所述解码器 对四层特征进 行解码， 每一层采用像素重排进行上采样， 将输入的融合特征， 经过每一层的权　利　要　求　书 1/2 页 2 CN 115439376 A 2自参照感知模块SR处 理， 输出为 解码后的低维图像特 征。 6.根据权利要求1所述的复眼相机多焦距图像融合网络模型， 其特征在于： 所述还原器 利用自参照感知 模块SR， 将最 终的融合解码特征精细化， 用于离焦 去模糊的高清重 建； 解码 特征经过6层自参照感知模块重构， 输入到卷集核大小为3 ×3步长为1填充为1的卷积， 还原 图像为H×W×3的RGB数据。 7.一种利用权利要求1 ‑6中任一所述复眼相机多焦距图像融合网络模型进行图像 融合 的方法， 其特 征在于， 包括以下步骤： 构建仿真多焦距图像数据集， 所述数据集中每一个样本包含一张具有景深差异特征的 原始图像与K张不同离焦模糊的仿真图像； 利用所构建的数据集对所述复眼相机多焦距图像融合模型进行训练， 从K张多焦距图 像中随机选取N张不同离焦 模糊图作为模型输入， 以原始图像作为真值， 训练模 型学习自动 融合聚焦特 征并还原 清晰图像的能力， N< =K； 利用训练好的复眼相机多焦距图像融合模型进行多焦距图像融合的测试。 8.根据权利要求7所述的利用复眼相机多焦距图像融合网络模型进行图像融合的方 法， 其特征在于： 构建仿真多焦距图像数据集的具体过程如下： S2‑1， 选取N张具有显著景深差异特征的图像作为原始图像， 并对其进行深度估计和边 缘提取； S2‑2， 将深度数据和边缘数据量化为 （x， y， depth， edge） 的四维元组整列， 按照聚簇数K 的层次聚类算法， 找到聚类中心作为K个多焦距图像的聚焦中心， 其中 x、 y代表像素点的位 置偏移， depth代 表像素点的深度值， edge代 表边缘梯度值； S2‑3， 根据聚焦中心的深度值与图像上任一像素点之间的深度差值， 决定图像上该点 的高斯模糊核半径， 并对该点处进行高斯模糊， 从而分别得到K张不同聚焦中心的多焦距图 像。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实现如 权利要求7 ‑8中任一所述的图像融合方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于： 所述程序被处理器执 行时实现如权利要求7 ‑8中任一所述的图像融合方法。权　利　要　求　书 2/2 页 3 CN 115439376 A 3