(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210199531.2 (22)申请日 2022.03.02 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 黄钊金　戴宇荣　 (74)专利代理 机构 北京铭硕知识产权代理有限 公司 11286 专利代理师 王艳茹　苏银虹 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) (54)发明名称 特征融合方法及 装置、 视频抖动消除方法及 装置 (57)摘要 本公开关于一种特征融合方法及装置、 视频 抖动消除方法及装置。 该方法包括： 基于待处理 视频中当前图像帧的特征和至少一个参考图像 帧的特征， 获取至少一个第一相似度信息， 其中， 至少一个参考图像帧是待处理视频中在当前图 像帧前面的预定个数的 图像帧， 至少一个第一相 似度信息是当前图像帧分别与至少一个参考图 像帧的相似度信息； 基于至少一个参考图像帧的 特征和至少一个第一相似度信息， 得到至少一个 参考图像帧分别 与当前图像帧对齐后的特征； 基 于对齐后的特征和当前图像帧的特征， 得到当前 图像帧的融合后的特 征。 权利要求书2页 说明书10页 附图4页 CN 114565879 A 2022.05.31 CN 114565879 A 1.一种特 征融合方法， 其特 征在于， 包括： 基于待处理视频中当前图像帧的特征和至少一个参考图像帧的特征， 获取至少一个第 一相似度信息， 其中， 所述至少一个参考图像 帧是所述待处理视频中在所述当前图像 帧前 面的预定个数的图像帧， 所述至少一个第一相似度信息是所述当前图像帧分别与所述至少 一个参考图像帧的相似度信息； 基于所述至少一个参考图像帧的特征和所述至少一个第 一相似度信 息， 得到所述至少 一个参考图像帧分别与所述当前图像帧对齐后的特 征； 基于所述对齐后的特征和所述当前图像帧的特征， 得到所述当前图像帧的融合后的特 征。 2.如权利要求1所述的特征融合方法， 其特征在于， 所述基于所述对齐后的特征和所述 当前图像帧的特 征， 得到所述当前图像帧的融合后的特 征， 包括： 将所述对齐后的特征和所述当前图像帧的特征， 分别与 所述当前图像帧的特征进行点 乘， 得到至少两个第二相似度信息； 将所述对齐后的特征和所述当前图像帧的特征， 分别与 所述至少两个第 二相似度信 息 中对应的第二相似度信息进行相乘处 理， 得到至少两个乘积； 对所述至少两个乘积进行求和， 得到所述当前图像帧的融合后的特 征。 3.如权利要求2所述的特征融合方法， 其特征在于， 所述将所述对齐后的特征和所述当 前图像帧的特征， 分别与所述至少两个第二相似度信息中对应的第二相似度信息进行相乘 处理， 得到至少两个乘积， 包括： 对所述至少两个第 二相似度信 息进行归一化处理， 得到至少两个归一化处理后的第 二 相似度信息； 将所述对齐后的特征和所述当前图像帧， 分别与 所述至少两个归一化处理后的第 二相 似度信息中对应的第二相似度信息进行相乘处 理， 得到至少两个乘积。 4.如权利要求1所述的特征融合方法， 其特征在于， 所述基于所述对齐后的特征和所述 当前图像帧的特 征， 得到所述当前图像帧的融合后的特 征， 包括： 基于所述对齐后的特征和所述当前图像帧的特征的平均值， 得到所述当前图像帧的融 合后的特 征。 5.一种视频 抖动消除方法， 其特 征在于， 包括： 将待处理视频输入到视频处理模型， 得到所述视频处理模型中除输出层以外的任一层 输出的所述待处理视频中当前图像 帧的特征和至少一个参考图像 帧的特征， 其中， 所述至 少一个参 考图像帧是 所述待处 理视频中在所述当前图像帧前面的预定个数的图像帧； 通过如权利要求1至4中任一项所述的特征融合方法对所述当前图像帧的特征和所述 至少一个参 考图像帧的特 征进行融合， 得到所述当前图像帧的融合后的特 征； 将所述融合后的特征输入到所述视频处理模型中所述任一层的下一层中， 得到处理后 的视频。 6.一种特 征融合装置， 其特 征在于， 包括： 相似度获取单元， 被配置为基于待处理视频中当前图像帧的特征和至少一个参考图像 帧的特征， 获取至少一个第一相似度信息， 其中， 所述至少一个参考图像帧是所述待处理视 频中在所述当前图像帧前面的预定个数的图像帧， 所述至少一个第一相似度信息是所述当权　利　要　求　书 1/2 页 2 CN 114565879 A 2前图像帧分别与所述至少一个参 考图像帧的相似度信息； 对齐单元， 被配置为基于所述至少一个参考图像帧的特征和所述至少一个第 一相似度 信息， 得到所述至少一个参 考图像帧分别与所述当前图像帧对齐后的特 征； 融合特征获取单元， 被配置为基于所述对齐后的特征和所述当前图像帧的特征， 得到 所述当前图像帧的融合后的特 征。 7.一种视频 抖动消除装置， 其特 征在于， 包括： 特征获取单元， 被配置为将待处理视频输入到视频处理模型， 得到所述视频处理模型 中除输出层以外的任一层输出的所述待处理视频中当前图像帧的特征和至少一个参考图 像帧的特征， 其中， 所述至少一个参考图像 帧是所述待处理视频中在所述当前图像 帧前面 的预定个数的图像帧； 特征融合单元， 被配置为通过如权利要求1至4中任一项所述的特征融合方法对所述当 前图像帧的特征和所述至少一个参考图像帧的特征进 行融合， 得到所述当前图像帧的融合 后的特征； 处理单元， 被配置为将所述融合后的特征输入到所述视频处理模型中所述任一层的下 一层中， 得到处 理后的视频。 8.一种电子设备， 其特 征在于， 包括: 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至4中任一项所述的特 征融合方法和/或如权利要求5所述的视频 抖动消除方法。 9.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令被至 少一个处理器运行时， 促使 所述至少一个处理器执行如权利要求 1至4中任一项 所述的特征 融合方法和/或如权利要求5所述的视频 抖动消除方法。 10.一种计算机程序产品， 包括计算机指令， 其特征在于， 所述计算机指令被处理器执 行时实现如权利要求1至4中任一项所述的特征融合方法和/或如权利要求5所述的视频抖 动消除方法。权　利　要　求　书 2/2 页 3 CN 114565879 A 3