(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346628.1 (22)申请日 2022.03.31 (71)申请人 北京鉴智科技有限公司 地址 100086 北京市海淀区中关村东路1号 院8号楼十六层B1801D-2 (72)发明人 黄骏杰　黄冠　 (74)专利代理 机构 北京市柳沈 律师事务所 11105 专利代理师 巫资青 (51)Int.Cl. G06V 20/58(2022.01) G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种用于载体的目标变量检测方法及其系 统 (57)摘要 本申请公开了一种用于载体的目标变量检 测方法及其系统。 所述方法包括： 对输入的图像 序列进行图像空间编码以得到在不同时刻 的图 像帧所对应的图像视角特征； 对图像视角特征进 行视角转换以得到鸟瞰视角特征； 将当前时刻的 帧的鸟瞰视角特征与前一时刻 的帧的鸟瞰视角 特征进行融合得到融合后的鸟瞰视角特征； 对融 合后的鸟瞰视角特征进行鸟瞰视角空间特征编 码以得到增强后的鸟瞰视角特征； 以及基于增强 后的鸟瞰视角特 征进行目标变量检测。 权利要求书2页 说明书7页 附图5页 CN 114792414 A 2022.07.26 CN 114792414 A 1.一种用于载体的目标变量检测方法， 其包括： 对输入的图像序列进行图像空间编码以得到在不同时刻的图像帧所对应的图像视角 特征； 对图像视角特 征进行视角转换以得到鸟瞰视角特 征； 将当前时刻的帧的鸟瞰视角特征与前一时刻的帧的鸟瞰视角特征进行融合得到融合 后的鸟瞰视角特 征； 对融合后的鸟瞰视角特征进行鸟瞰视角空间特征编码以得到增强后的鸟瞰视角特征； 以及 基于增强后的鸟瞰视角特 征进行目标变量检测。 2.如权利要求1所述的方法， 所述方法还包括： 将当前时刻的帧的鸟瞰视角特征与 前一 时刻的帧的鸟瞰视角特征进行对齐从而得到对齐后的鸟瞰视角特征， 其中， 所述对齐是基 于载体从前一时刻到当前时刻的位移量 来进行的， 并且 其中， 所述融合包括将当前时刻的帧和前一 时刻的帧的对齐后的鸟瞰视角特征进行融 合从而得到融合后的鸟瞰视角特 征。 3.如权利要求2所述的方法， 其中， 对于对齐后的空间坐标中没有特征的情况， 对该空 间坐标进行自动特 征补充。 4.如权利要求3所述的方法， 其中自动特征补充的具体值包括以下至少一者： 固定值、 随机值、 与其 坐标位置最近邻的特 征值。 5.如权利要求1至4中的任一项所述的方法， 其中， 融合的运算包括以下至少一者： 将当 前时刻的帧的鸟瞰视角特征与前一时刻的帧的鸟瞰视角特征进行拼接、 将当前时刻的帧的 鸟瞰视角特征与前一时刻的帧的鸟瞰视角特征相加以及将当前时刻的帧的鸟瞰视角特征 与前一时刻的帧的鸟瞰视角特 征相减。 6.如权利要求1至5 中的任一项所述的方法， 其中， 所述目标变量包括以下至少一者： 目 标的速度、 位置、 大小、 朝向以及类别。 7.一种用于载体的进行目标变量检测的系统， 包括： 图像空间编码模块， 其被配置为对输入的图像序列进行编码以得到在各个不同时间点 的图像视角特 征； 视角变换模块， 其被 配置为将图像视角特 征转换为鸟瞰视角特 征； 融合模块， 其被配置为将当前时刻的帧的鸟瞰视角特征与前一 时刻的帧的鸟瞰视角特 征进行融合得到融合后的鸟瞰视角特 征； 鸟瞰视角特征BEV空间特征编码模块， 其被配置为对融合后的鸟瞰视角特征进行鸟瞰 视角空间特 征编码以得到增强后的鸟瞰视角特 征； 以及 目标变量检测模块， 其被 配置为基于增强后的鸟瞰视角特 征进行目标变量检测。 8.如权利要求7所述的系统， 所述系统还包括： 对齐模块， 所述对齐模块被配置为将当 前时刻的帧的鸟瞰视角特征与前一时刻的帧的鸟瞰视角特征进行对齐从而得到对齐后的 鸟瞰视角特征， 并且其中， 所述对齐是基于载体从前一时刻到 当前时刻的位移 量来进行的， 并且 其中， 所述融合模块进一步配置为将当前时刻的帧和前一 时刻的帧的对齐后的鸟瞰视 角特征进行融合从而得到融合后的鸟瞰视角特 征。权　利　要　求　书 1/2 页 2 CN 114792414 A 29.如权利要求8所述的系统， 其中， 对于对齐后的空间坐标中没有特征的情况， 对该空 间坐标进行自动特 征补充。 10.如权利要求9所述的系统， 其中自动特征补充的具体值包括以下至少一者： 固定值、 随机值、 与其 坐标位置最近邻的特 征值。 11.如权利要求7至10 中的任一项所述的系统， 其中， 融合的运算包括以下至少一者： 将 当前时刻的帧的鸟瞰视角特征与前一时刻的帧的鸟瞰视角特征进 行拼接、 将当前时刻的帧 的鸟瞰视角特征与前一时刻的帧的鸟瞰视角特征相加以及将当前时刻的帧的鸟瞰视角特 征与前一时刻的帧的鸟瞰视角特 征相减。 12.如权利要求7至10 中的任一项所述的系统， 其中， 所述目标变量包括以下至少一者： 目标的速度、 位置、 大小、 朝向以及类别。 13.如权利要求7至12中的任一项所述的系统， 其中， 融合模块被实现为深度神经网络 。 14.如权利要求8至13中的任一项所述的系统， 其中， 对齐模块被实现为深度神经网络 。 15.如权利要求1至6中的任一项所述的方法或如权利要求7至14所述的系统， 其中， 所 述载体包括以下至少一 者： 车、 人、 飞行器以及机器人。 16.如权利要求15的方法或系统， 其中， 所述图像序列由被设置在载体中的成像系统获 取。 17.如权利要求15的方法或系统， 其中， 所述图像序列由独立于载体设置的成像系统获 取。权　利　要　求　书 2/2 页 3 CN 114792414 A 3