(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210399603.8 (22)申请日 2022.04.15 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 王章静　黄振　赵铖鑫　曹敏　 仇隆　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 邹裕蓉 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/80(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01)G01S 13/86(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于注意力机制的毫米波雷达与视觉 融合的三维目标检测方法 (57)摘要 本发明提供一种基于注意力机制的毫米波 雷达与视觉融合的三维目标检测方法， 包括数据 采集与处理步骤： 采集时间近似同步的毫米波雷 达点云与视觉图像数据； 融合步骤： 将毫米波雷 达点云数据从雷达坐标系转换到相机坐标系实 现空间同步后进行预处理操作， 提取点云框内目 标点云的速度和深度信息构建雷达矩 阵数据完 成雷达信息提取； 再在融合框架中通过神经网络 提取图像特征图和雷达特征图并结合注意力机 制进行特征融合得到融合特征图； 检测步骤： 将 融合特征图进行上采样输入至分支卷积网络， 对 分支卷积的输出信息进行解码后得到目标的类 别和三维信息。 本发明高效地融合了视觉图像数 据与毫米波雷达数据， 有效提高了复杂场景下三 维目标检测的准确率和可靠性。 权利要求书3页 说明书7页 附图2页 CN 114708585 A 2022.07.05 CN 114708585 A 1.一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法， 其特征在于， 包括以下步骤： 数据采集与处理步骤： 采集毫米波雷达点云与视觉 图像数据； 对毫米波雷达点云与视 觉图像数据进行时间近似同步处 理； 融合步骤： 将毫米波雷达点云数据从雷达坐标系转换到相机坐标系实现空间 同步后进 行预处理操作， 提取点云框内目标点云的速度和深度信息构建雷达矩阵数据完成雷达信息 提取； 再在融合框架中通过神经网络提取图像特征图和雷达特征图并结合注意力机制进 行 特征融合得到融合特 征图； 检测步骤： 将融合特征图进行上采样输入至分支卷积网络， 对分支卷积的输出信息进 行解码后得到目标的类别和三维信息 。 2.如权利要求1所述方法， 其特征在于， 数据采集与处理步骤的具体方法为： 使用与毫 米波雷达和摄像头相连的安装有机器人操作系统ROS的设备采集毫米波 雷达点云数据和视 觉图像数据并保存为ba g格式； 通过以下步骤 对毫米波雷达点云数据与视 觉图像进行时间近似同步处 理： 首先在ROS中回放保存为bag文件格式的毫米波雷达点云数据和视觉图像数据； 创建 ROS节点， 该ROS节 点用于订阅毫米波雷达点云数据和视觉图像数据， 订阅数据后使用ROS提 供的自适应算法来实现不同数据时间戳信息的近似匹配， 随后使用发布器将同步后的多模 态数据作为信息对外发布； 订阅同步后的点云信息和图像信息并保存为bag格式的文件， 提 取毫米波雷达点云数据保存为pcd格式文件， 提取视 觉图像数据保存为jpg格式文件。 3.如权利要求1所述方法， 其特征在于， 融合步骤中对毫米波雷达点云数据进行预处理 操作具体为： 将转换到相机坐标系的毫米波雷达点云数据解析为(5,N)的矩阵， 其中N为多帧积累后 的点云数量， 每一个点云包括5个维度的特征(x,y,z,vx,vy)， 其中(x,y,z)表示点云的空间 位置， (vx,vy)表示目标相对雷达的径向运动速度在相机坐标系X与Y方向的速度分量； 采用直通滤波筛 选出径向运动速度以及相机坐标系下Z轴的距离满足条件的点云； 采用直通滤波后的点云采用欧式聚类分割得到点云集群； 利用点云库中的类提取欧式分割聚类后每 个点云集群的三维的坐标轴平行包围盒； 将坐标轴平行包围盒投影到图像平面进行目标关联， 坐标轴平行包围盒投影得到二维 点云包围框， 具体投影 计算公式如下： 其中Zc为尺度因子， (u,v)为点云在图像平面的像素坐标系下的像素坐标， f为像距， dx 和dy分别表示在像素坐 标系的X， Y方向上的一个像素在相机感光板上的物理长度， u0和v0分 别表示相机感光板中心在像素坐标系下的坐标； 将点云在相机坐标中Z轴的值记为距离d， 投影后按照距离d从小到大对点云进行排序，权　利　要　求　书 1/3 页 2 CN 114708585 A 2然后将点云扩展为三 维点云柱， 将点云柱投影到图像平面的像素坐标系得到矩形的点云区 域， 获取点云区域在图像平面的位置以及宽和高。 4.如权利要求3所述方法， 其特征在于， 融合步骤中提取点云框内目标点云的x和y分量 速度、 深度构建雷达矩阵数据完成雷达特 征图提取的具体方法为： 提取二维点云包围框内的点云构建与图像尺寸相同的3通道雷达矩阵数据， 在与二维 点云包围框尺寸 成比例的矩形内填充 雷达点云信息作为雷达特征图， 其余位置填充0， 填充 区域的数值 计算公式如下： 其中， i表示第i个点云， nc为3个通道的取值， 分别为相机坐标系下的目标距离d 以及目 标径向速度X与Y分量； 相机坐标系下的目标距离 d采用点云 的z值， 目标径向速度的X与Y分 量为点云的vx值和vy值； Sc为标准化因子； 是缩放系数， 和 是第i个点云柱投影所得的矩形点云区域在像素坐标系下的中心 坐标， wi和hi为矩形点云区域的宽和高， W和H为图像的宽和高。 5.如权利要求3所述方法， 其特 征在于， 融合 步骤中直 通滤波的具体方法是： 首先指定一个维度以及该维度 下的值域范围， 然后遍历点云中的每一个维度 上的元素 值， 判断该元素值在指定维度上的取值是否在值域内， 若取值不在值域内则删除该点云， 遍 历结束后留下的点云 即完成滤波操作， 有效雷达点云筛 选公式为： 其中v为目标的径向运动速度在相机坐标系下X与Y方向的速度分量， z为目标在相机坐 标系下Z轴的距离 。 6.如权利要求3所述方法， 其特 征在于， 欧式聚类分割的具体方法为： 依据点云与点云之间的距离将小于距离阈值的作为一个集群， 使用Kd ‑Tree近邻搜索 算法进行聚类： 1)为输入的点云数据集P创建Kd ‑tree的表示； 2)设置一个空聚类列表C以及一个点云队列Q； 3)在P中选取一个未被聚类处 理的点云p_i进行如下聚类处 理步骤： a)将p_i添加到当前队列Q； b)对每个Q中的p_i进行如下步骤： b1通过Kd ‑Tree近邻搜索算法在点云数据集P中找到k个离p_i最近 的点组成点云集p_ i_k； b2设置距离阈值r， 遍历p_i_k， 将p_i_k中与p_i的欧式距离不超过r且未被聚类处理的 点云加入到Q中； b3 p_i_k遍历完毕后， 则把 Q添加到聚类列表C的一个新的聚类上， 并将Q清空；权　利　要　求　书 2/3 页 3 CN 114708585 A 3