(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660035.4 (22)申请日 2021.12.3 0 (71)申请人 咪咕视讯科技有限公司 地址 201206 上海市浦东 新区自由贸易试 验区云桥路6 36号1幢 申请人 咪咕文化科技有限公司 　 中国移动通信集团有限公司 　 北京京东尚科信息技 术有限公司 (72)发明人 程辉　刘松鹏　阮哲　王立学　 潘滢炜　姚霆　梅涛　 (74)专利代理 机构 北京市浩天知识产权代理事 务所(普通 合伙) 11276 代理人 赵娅 (51)Int.Cl. G06T 7/50(2017.01)G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多视角定位检测方法及装置 (57)摘要 本发明公开了一种多视角定位检测方法及 装置， 方法包括： 获取多个视角输入的视频数据， 利用第一神经网络抽取得到对应的多视角的第 一特征图谱； 将多视角的第一特征图谱分别输入 至第二级联神经网络， 得到第二级联神经网络输 出的各级第二特征图谱， 并对相邻两视角间的各 级第二特征图谱进行关联建模处理， 得到相邻两 视角的相似度矩阵数据； 将各相邻两视角的相似 度矩阵数据进行聚合处理， 得到融合特征数据； 将多视角的融合特征数据进行拼接处理， 得到全 局特征图谱； 根据全局特征图谱确定至少一个事 件的时序提名及动作分类， 以实现对多视角的视 频数据的定位。 多视角的视频数据进行整体建 模， 使得各视角信息交互， 相互增强， 实现对全局 特征的事件定位。 权利要求书2页 说明书7页 附图3页 CN 114299128 A 2022.04.08 CN 114299128 A 1.一种多视角定位检测方法， 其特 征在于， 方法包括： 获取多个视角输入的视频数据， 利用第 一神经网络抽取得到对应的多视角的第 一特征 图谱； 将多视角的第 一特征图谱分别输入至第 二级联神经网络， 得到第 二级联神经网络输出 的各级第二特征图谱， 并对相邻两视角间的各级第二特征图谱进行关联建模处理， 得到相 邻两视角的相似度矩阵数据； 将各相邻两 视角的相似度矩阵数据进行聚合处 理， 得到融合特 征数据； 将多视角的融合特 征数据进行拼接处 理， 得到全局特 征图谱； 根据所述全局特征图谱确定至少一个事件的时序提名及动作分类， 以实现对多视角的 视频数据的定位。 2.根据权利要求1所述的方法， 其特征在于， 所述第 二级联神经网络由多个一维卷积神 经网络组成； 所述将多视角的第 一特征图谱分别 输入至第 二级联神经网络， 得到第 二级联神经网络 输出的各级第二特征图谱， 并对相邻两视角间的各级第二特征图谱进行关联建模处理， 得 到相邻两 视角的各级相似度矩阵数据进一 步包括： 将多视角的第 一特征图谱分别输入至对应的各个第 二级联神经网络， 得到各视角对应 的各级第二特 征图谱； 基于多视角关联处理单元将相邻两视角各级第二特征图谱按照时域位置的相似性进 行建模处理， 得到相 邻两视角的各级相似度 矩阵数据； 其中， 所述多视角关联 处理单元利用 特征嵌入函数对相邻两 视角各级第二特 征图谱点乘以进行建模处 理。 3.根据权利要求1所述的方法， 其特征在于， 所述将各相邻 两视角的相似度矩阵数据进 行聚合处 理， 得到融合特 征数据进一 步包括： 针对任一相邻两视角， 将相邻两视角的相似度矩阵数据进行归一化处理， 并将处理后 的相似度矩阵数据与相邻两视角中的第一视角的全时域位置的第二特征图谱的特征嵌入 函数进行聚合处 理， 得到融合特 征数据。 4.根据权利要求3所述的方法， 其特征在于， 所述将各相邻 两视角的相似度矩阵数据进 行聚合处 理， 得到融合特 征数据进一 步包括： 基于残差结构连接所述融合特 征数据与所述第一特 征图谱和/或所述第二特 征图谱。 5.根据权利要求1 ‑4中任一项所述的方法， 其特 征在于， 视角为 k个视角； 所述将多视角的融合特 征数据进行拼接处 理， 得到全局特 征图谱进一 步包括： 将k个视角的k(k ‑1)个融合特 征数据进行拼接处 理， 得到全局特 征图谱。 6.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述根据 所述全局特征图谱确 定至少一个事 件的时序提名及动作分类， 以实现对多视角的视频 数据的定位进一 步包括： 基于所述全局特征图谱确定至少一个事件的时序提名及动作分类， 并对所述至少一个 事件的进行时序重排序， 以去除低于质量阈值的事 件。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述至少一个事件的进行时序重排 序， 以去除低于质量阈值的事 件进一步包括： 利用指定卷积神经网络对所述全局特征图谱进行预测， 得到事件分类分数、 时域定位 偏移量以及混叠分数；权　利　要　求　书 1/2 页 2 CN 114299128 A 2针对任一事件， 根据所述时域定位偏移量修正该事件的时序中心位置及时序宽度； 根 据所述事件分类分数以及所述混叠 分数计算得到事件的置信度分数； 筛选出置信度分数低 于质量阈值的事 件， 根据修 正后的时序中心位置及时序宽度去除对应的事 件。 8.一种多视角定位检测装置， 其特 征在于， 装置包括： 获取模块， 适于获取多个视角输入的视频数据， 利用第一神经网络抽取得到对应的多 视角的第一特 征图谱； 关联模块， 适于将多视角的第一特征图谱分别输入至第二级联神经网络， 得到第二级 联神经网络输出的各级第二特征图谱， 并对相 邻两视角间的各级第二特征图谱进 行关联建 模处理， 得到相邻两 视角的相似度矩阵数据； 聚合模块， 适于将各相邻两 视角的相似度矩阵数据进行聚合处 理， 得到融合特 征数据； 拼接模块， 适于将多视角的融合特 征数据进行拼接处 理， 得到全局特 征图谱； 定位模块， 适于根据所述全局特征图谱确定至少一个事件的时序提名及动作分类， 以 实现对多视角的视频 数据的定位。 9.一种电子设备， 包括： 处理器、 存储器、 通信接口和通信总线， 所述处理器、 所述存储 器和所述 通信接口通过 所述通信总线完成相互间的通信； 所述存储器用于存放至少一可执行指令， 所述可执行指令使所述处理器执行如权利要 求1‑7中任一项所述的多视角定位检测方法对应的操作。 10.一种计算机存储介质， 所述存储介质中存储有至少一可执行指令， 所述可执行指令 使处理器执行如权利要求1 ‑7中任一项所述的多视角定位检测方法对应的操作。权　利　要　求　书 2/2 页 3 CN 114299128 A 3