(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210486843.1 (22)申请日 2022.05.06 (71)申请人 咪咕文化科技有限公司 地址 100032 北京市西城区华远街1 1号 申请人 中国移动通信集团有限公司 (72)发明人 谢中流　范春波　钟凯宇　钱瑞和　 刘恒　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 汤明明 (51)Int.Cl. G06V 20/40(2022.01) G06T 7/73(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 动作关键点确定方法、 装置、 系统、 电子设备 及存储介质 (57)摘要 本申请实施例提供一种动作关键点确定方 法、 装置、 系统、 电子设备及存储介质， 涉及视频 处理技术领域， 以解决现有技术中动作关键点定 位效率较低的问题。 其中方法包括： 将卷积特征 图和对象关键点热力图进行帧内融合， 以生成空 域特征融合图， 其中， 所述卷积特征图通过对视 频段逐帧进行卷积特征提取而生成， 所述对象关 键点热力图通过对所述视频段逐帧进行对象关 键点检测而生成； 将所述空域特征融合图沿着时 序维度进行堆叠， 以生成时空综合特征图； 基于 所述时空综合特征图和目标对象的时空检测框， 生成所述目标对象的时空热力图； 基于所述目标 对象的时空热力图， 确定所述视频段中所述目标 对象的动作关键点的时间信息和位置信息 。 权利要求书2页 说明书11页 附图6页 CN 114863335 A 2022.08.05 CN 114863335 A 1.一种动作关键点确定方法， 其特 征在于， 包括： 将卷积特征图和对象关键点热力图进行帧内融合， 以生成空域特征融合图， 其中， 所述 卷积特征图通过对视频段逐帧进 行卷积特征提取而生成， 所述对象关键点热力图通过对所 述视频段逐帧进行对象关键点检测而生成； 将所述空域特 征融合图沿着时序维度进行堆叠， 以生成时空综合特 征图； 基于所述时空综合特征图和目标对象的时空检测框， 生成所述目标对象的时空热力 图； 基于所述目标对象的时空热力图， 确定所述视频段中所述目标对象的动作关键点的时 间信息和位置信息 。 2.根据权利要求1所述的方法， 其特征在于， 在所述将卷积特征图和对象关键点热力图 进行帧内 融合， 以生成空域特 征融合图之前， 所述方法还 包括： 对所述视频段的每个视频帧进行N个阶段的特征提取， 以生成N个卷积特征图， 所述N个 阶段的采样尺度不同， N 为大于1的整数； 将所述N个卷积特 征图缩放至目标尺度， 以得到N个目标 卷积特征图； 将所述N个目标卷积特征图在通道维度进行合并， 以生成所述卷积特 征图。 3.根据权利要求2所述的方法， 其特征在于， 所述将卷积特征图和对象关键点热力图进 行帧内融合， 以生成空域特 征融合图， 包括： 将所述卷积特征图和缩放至所述目标尺度的所述对象关键点热力图在通道维度进行 融合， 以生成所述空域特 征融合图。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述空域特征融合图沿着时序维度 进行堆叠， 以生成时空综合特 征图， 包括： 将所述视频段在时序维度上拆分成T个片段， 所述T个片段的相邻片段的边界重合， T为 大于1的整数； 分别对所述T个片段对应的空域特征融合图沿着时序维度进行堆叠， 以生成T个时空综 合特征子图； 将所述T个时空综合特 征子图进行合并， 以得到所述时空综合特 征图。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述 时空综合特征图和目标对象 的时空检测框， 生成所述目标对象的时空热力图， 包括： 获取所述 时空综合特征图中位于第 一时空检测框 内的特征信 息， 以得到所述目标对象 的结构特征和所述目标对象的卷积特征， 所述第一时空检测框为所述目标对象的时空检测 框； 将所述目标对象的结构特征和所述目标对象的卷积特征融合后多层瓶颈卷积处理， 以 生成所述目标对象的时空热力图。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标对象的时空热力图， 确 定所述视频 段中所述目标对象的动作关键点的时间信息和位置信息， 包括： 基于所述目标对象的时空热力图的热度值， 确定所述目标对象的时空热力图的M个区 块， M为大于获等于1的整数； 确定所述M个区块中热度值满足预设条件的目标 热度点； 基于所述M个区块的目标热度点， 确定所述视频段中所述目标对象的动作关键点的时权　利　要　求　书 1/2 页 2 CN 114863335 A 2间信息和位置信息 。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述目标对象的时空热力图的热 度值， 确定所述目标对象的时空热力图的M个区块， 包括： 剔除所述目标对象的时空热力图中热度值小于预设阈值的区域； 对所述目标对象的时空热力图的剩余区域进行聚类， 以得到所述M个区块。 8.一种动作关键点确定装置， 其特 征在于， 包括： 融合模块， 用于将卷积特征图和对象关键点热力图进行帧内融合， 以生成空域特征融 合图， 其中， 所述卷积特征图通过对视频段逐帧进 行卷积特征提取而生成， 所述对象关键点 热力图通过对所述视频 段逐帧进行对象关键点检测而生成； 堆叠模块， 用于将所述空域特征融合图沿着时序维度进行堆叠， 以生成时空综合特征 图； 生成模块， 用于基于所述时空综合特征图和目标对象的时空检测框， 生成所述目标对 象的时空热力图； 确定模块， 用于基于所述目标对象的时空热力图， 确定所述视频段中所述目标对象的 动作关键点的时间信息和位置信息 。 9.一种动作关键点确定系统， 其特 征在于， 包括： 卷积特征提取模块， 用于对输入的视频 段进行卷积特征提取， 生成卷积特 征图； 对象关键点检测模块， 用于对输入的视频段进行对象关键点检测， 生成对象关键点热 力图； 时空综合特征处理模块， 用于将所述卷积特征提取模块输出的卷积特征图和所述对象 关键点检测模块输出 的对象关键点热力图进行帧内融合， 生成空域特征融合图， 并对所述 空域特征融合图在时序维度进行堆叠， 生成时空综合特征图， 并基于所述时空综合特征图 和目标对象的时空检测框， 生成所述目标对象的时空热力图； 处理模块， 用于基于所述时空综合特征处理模块输出的所述目标对象的时空热力图， 输出所述视频 段中所述目标对象的动作关键点的时间信息和位置信息 。 10.一种电子设备， 其特征在于， 包括处理器、 存储器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1至7 中任一项所述的动作关键点确定方法的步骤。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的动作关键点确 定方法的步骤。权　利　要　求　书 2/2 页 3 CN 114863335 A 3