(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666914.8 (22)申请日 2021.12.31 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 陈瑶　方瑞东　江东　粘春湄　 施晓迪　杜亚鹏　林聚财　殷俊　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 代理人 刘金玲 (51)Int.Cl. H04N 19/11(2014.01) H04N 19/51(2014.01) H04N 19/182(2014.01) H04N 19/149(2014.01)H04N 19/159(2014.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 帧间预测方法、 装置、 编解码方法、 编解码器 及电子设备 (57)摘要 本发明公开了帧间预测方法、 装置、 编解码 方法、 编解码器及电子设备， 获取当前帧图像和 对应的参考帧图像 之后， 采用两种方式确定当前 帧图像的运动信息。 在像素域采用光流估计算法 确定当前帧图像的第一运动信息； 在特征空间 域， 将当前帧特征图和参考帧特征图输入已训练 的运动信息检测模型， 基于运动信息检测模型， 确定第二运动信息。 然后对第一运动信息和第二 运动信息进行融合处理， 得到目标运动信息。 本 发明实施例从像素域和特征空间域两个维度出 发， 得到最终的目标运动信息， 使得确定的目标 运动信息 更准确， 进而基于目标运动信息进行运 动补偿， 使得补偿后的图像更准确。 权利要求书4页 说明书18页 附图10页 CN 114339219 A 2022.04.12 CN 114339219 A 1.一种帧间预测方法， 其特 征在于， 所述方法包括： 获取当前帧图像和对应的参 考帧图像； 根据所述当前帧图像、 所述 参考帧图像和光 流估计算法， 确定第一 运动信息； 分别对所述当前帧图像和所述参考帧图像进行特征提取， 得到各自对应的当前帧特征 图和参考帧特征图； 将所述当前帧特征图和参考帧特征图输入已训练的运动信息检测模 型， 基于所述 运动信息检测模型， 确定第二 运动信息； 对所述第一运动信息和第二运动信息进行融合处理， 得到目标运动信息， 基于所述目 标运动信息进行运动补偿， 得到补偿后的图像。 2.如权利要求1所述的方法， 其特 征在于， 获取对应的参 考帧图像包括： 在所述当前帧图像的前向参考列表中， 选取至少一帧参考帧图像； 或在所述当前帧图 像的后向参考列 表中， 选取至少一帧参考帧图像； 或在所述当前帧图像的前、 后向参考列 表 中， 分别选取至少一帧参 考帧图像。 3.如权利要求1所述的方法， 其特征在于， 所述分别对所述当前帧图像和所述参考帧图 像进行特征提取， 得到各自对应的当前帧特 征图和参 考帧特征图包括： 分别将所述当前帧图像和所述参考帧图像输入特征提取网络模型， 基于所述特征提取 网络模型分别对所述当前帧图像和所述参考帧图像进 行特征提取， 得到各自对应的当前帧 特征图和 参考帧特征图； 其中， 所述特征提取网络模型包括依 次连接的第一卷积神经网络 结构和至少一个第一残差块。 4.如权利要求3所述的方法， 其特征在于， 所述将所述当前帧特征图和参考帧特征图输 入已训练的运动信息检测模型， 基于所述 运动信息检测模型， 确定第二 运动信息包括： 所述已训练的运动信 息检测模型包括已训练 的第一神经网络模型， 所述第 一神经网络 模型包括第二卷积神经网络结构； 将所述当前帧特征图和参考帧特征图输入已训练 的第一神经网络模型， 基于所述第 一 神经网络模型， 确定第二 运动信息 。 5.如权利要求1所述的方法， 其特征在于， 所述分别对所述当前帧图像和所述参考帧图 像进行特征提取， 得到各自对应的当前帧特 征图和参 考帧特征图包括： 分别将所述当前帧图像和所述参考帧图像输入金字塔网络模型， 基于所述金字塔网络 模型分别对所述当前帧图像和所述参考帧图像进 行特征提取， 得到每一层金字塔中的当前 帧特征图和参考帧特征图； 其中， 所述金字塔网络模型包括依 次连接的至少 两个特征提取 网络结构。 6.如权利要求5所述的方法， 其特征在于， 所述将所述当前帧特征图和参考帧特征图输 入已训练的运动信息检测模型， 基于所述 运动信息检测模型， 确定第二 运动信息包括： 所述已训练的运动信 息检测模型包括已训练 的第二神经网络模型， 所述第 二神经网络 模型包括依次连接的扭曲层、 代价计算层、 光 流预测层和光 流优化层； 基于所述金字塔网络模型中的扭曲层、 代价计算层、 光流预测层和光流优化层， 分别确 定金字塔中每一层的当前帧特 征图对应的初始运动信息； 低分辨层的初始运动信 息通过层层上采样得到第 二运动信 息； 或将每一层的初始运动 信息进行融合处 理， 得到第二 运动信息 。 7.如权利要求6所述的方法， 其特征在于， 所述光流预测层包括第二残差块， 或深度可权　利　要　求　书 1/4 页 2 CN 114339219 A 2分离卷积结构， 或空间可分离卷积结构； 所述光流优化层包括空洞卷积结构和滤波层。 8.如权利要求1所述的方法， 其特征在于， 所述基于所述目标运动信息进行运动补偿， 得到补偿后的图像包括： 将所述目标运动信息和所述参考帧特征图输入运动信息补偿网络中的预测帧特征图 模块， 得到预测帧特征图； 将所述预测帧特征图输入运动信息补偿网络中的重建图像模块， 得到补偿后的图像。 9.如权利要求8所述的方法， 其特征在于， 所述预测帧特征图模块包括依次连接的可变 形卷积层、 串联层和卷积层； 所述将所述目标运动信息和所述参考帧特征图输入运动信息补偿网络中的预测帧特 征图模块， 得到预测帧特 征图包括： 将所述目标运动信息和所述 参考帧特征图输入所述可变形 卷积层； 将所述可变形 卷积层的输出 结果和所述 参考帧特征图输入所述串联层； 将所述串联层的输出 结果输入所述卷积层； 将所述卷积层的输出结果和所述可变形卷积层的输出结果进行融合处理， 得到预测帧 特征图。 10.如权利要求8所述的方法， 其特征在于， 所述重建图像模块包括依次连接的第三残 差块和反卷积层； 所述将所述预测帧特征图输入运动信 息补偿网络中的重建图像模块， 得到补偿后的图 像包括： 将所述预测帧特 征图输入所述第三残差块； 将所述第三残差块的输出 结果输入所述反卷积层， 得到补偿后的图像。 11.如权利要求9所述的方法， 其特征在于， 若参考帧特征图为至少两个， 所述得到预测 帧特征图包括： 将至少两个参考帧特征图进行分组， 将每组 的参考帧特征图和对应的目标运动信 息输 入各自对应的可变形 卷积层； 将各个可变形 卷积层的输出 结果输入时域注意力模块； 将每组时域注意力模块的输出 结果输入所述串联层； 将所述串联层的输出结果输入空域注意力模块， 基于所述空域注意力模块得到预测帧 特征图。 12.如权利要求11所述的方法， 其特征在于， 所述 时域注意力模块对所述各个可变形卷 积层的输出 结果的处 理过程包括； 分别将所述各个可变形 卷积层的输出 结果输入时域注意力模块中各自对应的卷积层； 将每个卷积层的输出结果进行点乘和激活函数运算； 将激活函数运算结果与任一可变 形卷积层的输出 结果进行相乘， 得到所述时域注意力模块的输出 结果。 13.如权利要求11所述的方法， 其特征在于， 所述空域注意力模块对所述串联层的输出 结果的处 理过程包括； 将所述串联层的输出 结果输入空域注意力模块中的卷积层； 将所述卷积层的输出结果输入多尺度网络结构； 所述多尺度网络结构包括不同尺度的 第四残差块；权　利　要　求　书 2/4 页 3 CN 114339219 A 3