(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221071523 0.0 (22)申请日 2022.06.22 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 肖晶　张真　王密　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06T 3/40(2006.01) G06T 3/00(2006.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/13(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义理解的卫星视频超分辨率重 建方法及系统 (57)摘要 本发明提供了一种基于语义理解的卫星视 频超分辨率重建方法及系统， 进行数据准备， 包 括对高分辨率卫星视频的裁剪和数据预处理； 将 基本的超分模 型加入部分卷积， 得到改进的超分 主干网络， 然后添加到整体框架中， 得到优化后 的深度学习模 型； 所述整体框架包括使用前置分 类网络对卫星影像进行语义分割， 利用可变形卷 积完成帧间配准， 通过前置的语义分割结果和超 分主干网络来提取不同语义类别的特征信息， 最 终完成语义特征的融合并超分辨率重建； 对所得 优化后的深度学习模型进行训练， 根据训练所得 优化后的深度学习模型对输入的低分辨率视频 的超分辨率重建结果。 本发明不仅可以有效地提 高超分辨率精度， 而且具有 通用性、 操作简单、 性 能强等优势。 权利要求书2页 说明书8页 附图1页 CN 115131206 A 2022.09.30 CN 115131206 A 1.一种基于语义理解的卫星视频超分辨 率重建方法， 包括以下步骤： 步骤1， 数据准备， 包括对高分辨 率卫星视频的裁 剪和数据预处 理； 步骤2， 将基本的超分模型加入部分卷积， 得到改进的超分主干网络， 然后添加到整体 框架中， 得到优化后的深度学习模型； 所述整体框架包括使用前置分类网络对卫星影像进 行语义分割， 利用可变形卷积完成帧间配准， 通过前置的语义分割 结果和使用部分卷积改 进的超分主干网络来提取不同语义类别的特征信息， 最 终通过注意力融合模块完成语义特 征的融合并根据融合特 征完成超分辨 率重建； 步骤3， 对步骤2所 得优化后的深度学习模型进行训练； 步骤4， 根据步骤3训练所得优化后的深度学习模型， 对输入的低分辨率视频提取相应 的超分辨 率重建结果。 2.根据权利要求1所述基于语义理解的卫星视频超分辨率重建方法， 其特征在于： 步骤 1中， 采用卫星视频 数据集， 并对数据集进行裁 剪。 3.根据权利要求2所述基于语义理解的卫星视频超分辨率重建方法， 其特征在于： 步骤 2中所述整体框架实现如下， 设输入的低分辨率视频序列集合 且第i个视频帧 其中， c表 示输入通道的数量， h和w分别表示特征图的高度和宽度大小， n表 示参考帧的范围 半径， R表示实数集； 首先通过分类网络对输入的视频帧进行语义分割， 这个过程的表示如下， 然后使用可变形卷积完成图像和分类结果的帧间配准， 可变形卷积的偏移参数由图像 差异学习得到， 图像和分类结果的配准共用偏移参数； 对分类结果做预处理以便于作为特征提取网络的输入， 得到一组二值的语义分割 图 其中clas s_num表示分割语义类型的数量； 使用部分卷积替换超分主干模型用于特征提取的卷积， 以提取出属于不同语义类别的 特征， 它以图像和预处 理后对应的二 值语义分割图作为输入， 这个过程的表示如下， 其中， boneNet为使用部分卷积替换过的主干网络， 对于每一个语义类别， 都有相应的 一个主干网络来完成特定类别的特 征提取； 通过注意力融合模块对不同语义类别的特征和跨视频帧的特征进行融合， 最后 根据融 合后的特 征完成超分辨 率重建。 4.根据权利要求1或2或3所述基于语义理解的卫星视频超分辨率重建方法， 其特征在 于： 所述基础模型网络为EDVR或BisicVSR模型。 5.根据权利要求1或2或3所述基于语义理解的卫星视频超分辨率重建方法， 其特征在 于： 步骤4中， 通过输入低分辨率卫星视频， 根据步骤3训练所得优化后的深度学习模型输出 对应的超分辨 率视频， 从而实现超分辨 率重建任务。 6.一种基于语义理解的卫星视频超分辨率重建系统， 其特征在于： 用于实现如权利要 求1‑5任一项所述的一种基于语义理解的卫星视频超分辨 率重建方法。权　利　要　求　书 1/2 页 2 CN 115131206 A 27.根据权利要求6所述基于语义理解的卫星视频超分辨率重建系统， 其特征在于： 包括 以下模块， 第一模块， 用于数据准备， 包括对高分辨 率卫星视频的裁 剪和数据预处 理； 第二模块， 用于将基本的超分模型加入部分卷积， 得到改进的超分主干网络， 然后添加 到整体框架中， 得到优化后的深度学习模型； 所述整体框架包括使用前置分类网络对卫星 影像进行语义分割， 利用可变形卷积完成帧间配准， 通过前置的语义分割 结果和使用部分 卷积改进的超分主干网络来提取不同语义类别的特征信息， 最终通过注意力融合模块完成 语义特征的融合并根据融合特 征完成超分辨 率重建； 第三模块， 用于对第二模块所 得优化后的深度学习模型进行训练； 第四模块， 用于根据第 三模块训练所得优化后的深度学习 模型对输入的低分辨率视频 提取相应的超分辨 率重建结果。 8.根据权利要求6所述基于语义理解的卫星视频超分辨率重建系统， 其特征在于： 包括 处理器和存储器， 存储器用于存储程序指令， 处理器用于调用存储器中的存储指令执行如 权利要求1 ‑5任一项所述的一种基于语义理解的卫星视频超分辨 率重建方法。 9.根据权利要求6所述基于语义理解的卫星视频超分辨率重建系统， 其特征在于： 包括 可读存储介质， 所述可读存储介质上存储有计算机程序， 所述计算机程序执行时， 实现如权 利要求1‑5任一项所述的一种基于语义理解的卫星视频超分辨 率重建方法。权　利　要　求　书 2/2 页 3 CN 115131206 A 3