(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210173989.0 (22)申请日 2022.02.24 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 杨善明　刘泽宇　顾晓光　付立波　 (74)专利代理 机构 北京励诚知识产权代理有限 公司 11647 专利代理师 熊金凤 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 提名的获取方法、 网络的训练方法、 装置、 存 储介质及设备 (57)摘要 本申请公开一种时序动作提名的获取方法、 精细化网络的训练方法、 智时序动作提名的获取 装置、 精细化网络的训练装置、 计算机可读存储 介质及计算机设备， 可应用于社会化网络服务、 视频分析等场景。 该时序动作提名的获取方法包 括： 从目标视频中采集初始提名序列及初始特征 序列， 初始提名序列用于表征包含目标对象 的视 频片段， 初始特征序列是根据初始提名序列提取 的抽象信息的集合； 对初始特征序列做池化处 理， 以获取感兴趣特征序列， 感兴趣特征序列用 于表征维度相同的多个初始特征； 将感兴特征序 列输入精细化网络以获取提名位置偏差， 精细化 网络满足预设的监督条件； 及根据提名位置偏差 及初始提名序列， 获取时序动作提名。 权利要求书3页 说明书18页 附图12页 CN 114445757 A 2022.05.06 CN 114445757 A 1.一种时序动作提名的获取 方法， 其特 征在于， 包括： 从目标视频中采集初始提名序列及初始特征序列， 所述初始提名序列用于表征包含目 标对象的视频片段， 所述初始特 征序列是根据所述初始提名序列提取的抽象信息的集 合； 对所述初始特征序列做池化处理， 以获取感兴趣特征序列， 所述感兴趣特征序列用于 表征维度相同的多个初始特 征； 将所述感兴特征序列输入精细化网络以获取提名位置偏差， 所述精细化网络满足预设 的监督条件； 及 根据所述 提名位置偏差及所述初始提名序列， 获取时序动作提名。 2.根据权利要求1所述的时序动作提名的获取方法， 其特征在于， 所述从目标视频中采 集初始提名序列， 包括： 从所述目标视频中采集多个初始片段； 将多个所述初始片段输入特 征提取网络以获取多个编码特 征； 根据多个所述编码特 征获取所述初始特 征序列； 根据所述初始特 征序列获取边界概 率序列及置信度分数矩阵； 及 根据所述 边界概率序列及所述置信度分数矩阵获取 所述初始提名序列。 3.根据权利要求1所述的时序动作提名的获取方法， 其特征在于， 所述特征提取网络包 括时间信息网络和空间信息网络组成的双流网络 。 4.根据权利要求1所述的时序动作提名的获取方法， 其特征在于， 所述根据所述提名位 置偏差及所述初始提名序列， 获取时序动作提名， 包括： 根据所述提名位置偏差对所述初始提名序列中各个初始提名的初始开始位置和初始 结束位置进行修正， 以获取各个所述初始提名对应的精细化开始位置和精细化结束位置； 及 根据所述初始提名及所述初始提名对应的所述精细化开始位置和所述精细化结束位 置生成所述时序动作提名。 5.一种精细化网络的训练方法， 其特 征在于， 包括： 从样本视频中采集样本提名序列及样本特征序列， 所述样本提名序列用于表征包含样 本对象的视频片段， 所述样本特征序列是根据所述样本提名序列提取 的抽象信息的集合， 所述样本 视频包含真实提名， 所述真实提名包括已知的真实开始位置和真实结束位置； 对所述样本提名序列进行采样以获取采样提名序列， 所述采样提名序列包括第 一预设 数量的正样本和第二预设数量的负 样本； 根据所述样本特征序列获取所述采样提名序列对应的采样特征序列， 所述采样特征序 列是所述采样提名序列的抽象信息的集 合； 对所述采样特征序列做池化处理， 以获取训练特征序列， 所述训练特征序列用于表征 维度相同的多个采样特 征； 将所述训练特 征序列输入所述精细化网络以确定监 督损失函数的损失值； 及 在所述损失值满足预设的监 督条件的情况 下完成所述精细化网络的训练。 6.根据权利要求5所述的训练方法， 其特征在于， 所述从样本视频中采集样本提名序列 及样本特 征序列， 包括： 从所述样本 视频中采集多个样本片段；权　利　要　求　书 1/3 页 2 CN 114445757 A 2将多个所述样本片段输入特 征提取网络以获取多个第一特 征； 根据多个所述第一特 征获取所述样本特 征序列； 根据所述样本特 征序列获取样本概 率序列及样本分数矩阵； 及 根据所述样本概 率序列及所述样本分数矩阵， 获取 所述样本提名序列。 7.根据权利要求5所述的训练方法， 其特征在于， 所述对所述样本提名序列进行采样以 获取采样提名序列， 包括： 获取所述样本提名序列中的每 个样本提名与所述真实提名之间的第一交并比； 将多个所述第 一交并比中， 大于第 一预设比值的所述第 一交并比对应的样本提名确定 为所述正样本， 小于第二预设比值的所述第一交并比对应的样本提名 确定为所述负样本， 以获取第一预设数量的所述 正样本和第二预设数量的所述负 样本； 及 根据第一预设数量的所述正样本和第二预设数量的所述负样本生成所述采样提名序 列。 8.根据权利要求5所述的训练方法， 其特征在于， 所述根据 所述样本特征序列获取所述 采样提名序列对应的采样特 征序列， 包括： 将所述样本特征序列输入至少两层时序卷积进行处理， 得到融合特征序列， 所述融合 特征序列表征在时间尺度抽象后的所述样本特 征序列； 在所述融合特 征序列中确定每 个所述采样提名对应的融合特 征； 及 根据与所述采样提名对应的多个所述融合特 征生成所述采样特 征序列。 9.根据权利要求5所述的训练方法， 其特征在于， 所述损失值包括 回归损失及前景分类 损失， 所述将所述训练特 征序列输入所述精细化网络以确定监 督损失函数的损失值， 包括： 将所述训练特 征序列输入回归网络获取 所述样本提名的预测位置偏差； 根据所述预测位置偏差及所述真实提名获取 预测提名； 根据所述预测位置偏差、 所述预测提名、 及所述预测提名与所述真实提名之间的最大 第二交并比， 确定回归损失； 将所述训练特征序列输入前背景分类网络以获取前景概率， 所述前景概率用于表征所 述训练特 征对应的所述样本提名属于前 景的概率； 及 根据所述前 景概率及所述 最大第二交并比， 确定前 景分类损失。 10.根据权利要求9所述的训练方法， 其特征在于， 所述损失函数还包括交并比损失， 所 述将所述训练特 征序列输入所述精细化网络以确定监 督损失函数的损失值， 还 包括： 将所述训练特 征序列输入交并比网络， 以获取 预测交并比； 根据所述预测提名和所述真实提名获取真实交并比； 及 根据所述预测交并比和所述真实交并比， 确定交并比损失。 11.根据权利要求10所述的训练方法， 其特征在于， 所述损 失值包括回归损 失、 前景分 类损失及交并比损失， 所述在所述损失值满足预设的监督条件的情况下完成所述精细化网 络的训练， 包括： 在所述回归损失小于预设的回归损失阈值， 且所述前景分类损失小于预设的前景分类 损失阈值的情况 下， 完成所述精细化网络的训练； 或 在所述回归损失小于预设的回归损失阈值， 所述前景分类损失小于预设的前景分类损 失阈值， 且所述交并比损失小于预设的交并比损失阈值的情况下， 完成所述精细化网络的权　利　要　求　书 2/3 页 3 CN 114445757 A 3