(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157317.7 (22)申请日 2022.09.22 (71)申请人 安徽江淮 汽车集团股份有限公司 地址 230601 安徽省合肥市肥西县经开区 始信路669号 (72)发明人 张红岩　胡九州　李洪刚　汪中奇　 马宏扬　贾载勋　孙玉　 (74)专利代理 机构 北京维澳专利代理有限公司 11252 专利代理师 常小溪 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) (54)发明名称 融合毫米波雷达及相机的目标对象检测与 跟踪方法 (57)摘要 本发明公开了一种融合毫米波雷达及相机 的目标对象检测与跟踪 方法， 本发 明的主要设计 构思在于， 采用毫米波雷达与相机同时检测的机 制， 可以涵盖多种类型目标对象， 并结合空间位 置关联和局部轨迹关联的双层数据关联结构， 作 为判断毫米波雷达检测目标与相机目标是否为 同一目标的关键根据， 在确保目标检测的准确性 的同时具有良好的检测跟踪效果。 本发明提高了 毫米波雷达与相机在环境检测方面的准确性。 并 能够适应各种复杂的交通环境， 使毫米波雷达与 相机在交通拥堵路段、 路面标识不清楚、 山路等 复杂多变的交通环境中依旧有着良好的检测及 跟踪能力， 并具有较高的鲁棒 性及稳定性。 权利要求书2页 说明书6页 附图1页 CN 115423845 A 2022.12.02 CN 115423845 A 1.一种融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特 征在于， 包括： 步骤S1、 获取相机采集的第一周围环境信息； 步骤S2、 获取毫米波雷达采集的第二周围环境信息； 步骤S3、 根据所述第一周围环境信息， 检测周边的目标对象相对本车的位置信息， 用以 得到视觉目标轨 迹； 步骤S4、 解析所述第二周围环境信息， 消除其中的虚假目标和空目标， 并区分出动态目 标对象与静态目标对象， 得到有效的目标轨 迹信息； 步骤S5、 在接收所述第一周围环境信息以及所述第二周围环境信息的处理结果后， 对 毫米波雷达和相 机进行空间对齐以建立空间位置关联； 根据 空间位置关联结果判断： 若毫 米波雷达和相机各自检测到的目标对象为疑似同一 目标， 则执行步骤S6； 若确定毫米波雷 达和相机各自检测到的目标对象不是同一目标， 则跳 至步骤S8； 步骤S6、 对所述疑似同一目标的两个目标对象各自对应的所述目标轨迹信息以及所述 视觉目标轨迹进行轨迹相似度计算， 并基于轨迹相似度的计算结果进行局部轨迹关联； 根 据局部轨迹关联结果确定所述疑似同一 目标的两个目标对 象是否为同一 目标对象， 若是， 则执行步骤S7； 若否， 则跳转至步骤S 8； 步骤S7、 对成功关联的目标对象进行信息融合， 并输出毫米波雷达检测的目标对象以 及相机识别的目标对象的融合数据信息， 用以进行目标对象跟踪； 步骤S8、 输出毫米波雷达检测的目标对象的数据信息， 或输出相机识别的目标对象的 数据信息 。 2.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特征 在于， 所述 根据所述第一周围环境信息， 检测周边的目标对象相对本车的位置信息包括： 结合所述第一周围环境信息以及预设的图像识别算法对目标对象进行识别； 在识别到所述目标对象后， 根据预设的视觉测距几何模型得到所述目标对象相距本车 的位置信息 。 3.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特征 在于， 所述得到有效的目标轨 迹信息包括： 将解析后的所述第二周围环境信息， 结合扩展卡尔曼滤波与生命周期检测机制， 消除 空目标与虚假目标； 采用层次聚类算法对已检测到的目标对象， 以相对速度作为分类标准进行动态及静态 分类； 利用扩展卡尔曼 滤波对动态的目标对象进行跟踪， 获得有效目标的局部运动轨 迹。 4.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特征 在于， 所述对毫米波雷达和相机进行空间对齐以建立空间位置关联包括： 采用直接线性变换方式， 将毫米波雷达检测的目标对象的坐标变换为对应的图像坐 标； 将所述图像坐标与相机识别的目标对象对应的视 觉感兴趣区域框进行对比； 若所述图像坐标与 所述视觉感兴趣区域框满足预设条件， 则确定毫米波雷达检测的目 标对象与相机识别的目标对象可能为疑似同一目标。 5.根据权利要求4所述的融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特征权　利　要　求　书 1/2 页 2 CN 115423845 A 2在于， 所述轨 迹相似度计算包括： 在对目标对象的坐标信息进行归一化处理后， 结合动态时间规整机制求取轨迹相似 度。 6.根据权利要求5所述的融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特征 在于， 成功关联的判断方式包括： 当同一视觉感兴趣区域框 内存在多个满足预设相似度阈值的雷达投影点 时， 将轨迹相 似度最小的雷达投影点作为成功关联的雷达目标点。 7.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法， 其特征 在于， 所述进行目标对象跟踪包括： 对成功关联的目标对象设置融合后的生命周期， 且每成功关联一次， 将生命周期加1； 当累计生命周期大于或等于预设的生命周期最大值时， 确定为关联稳定状态， 并直接 对融合后的目标对象的轨 迹进行跟踪。 8.根据权利要求1～7任一项所述的融合毫米波雷达及相机的目标对象检测与跟踪方 法， 其特征在于， 所述对成功关联的目标对象进 行信息融合包括： 采用基于无重置式联合滤 波器的轨 迹状态融合机制。 9.根据权利要求1～7任一项所述的融合毫米波雷达及相机的目标对象检测与跟踪方 法， 其特征在于， 所述 步骤S8具体包括： 输出成功关联的目标对象信息、 或输出未成功关联的毫米波雷达检测的目标对象信 息、 或输出 未成功关联的相机识别的目标对象信息 。权　利　要　求　书 2/2 页 3 CN 115423845 A 3