(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671076.3 (22)申请日 2021.12.31 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 向超　黄鹏　吴忠人　李冬冬　 陈向阳　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 代理人 赵凯莉 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/73(2017.01) G06K 9/62(2022.01) G06F 17/18(2006.01)G01S 7/40(2006.01) (54)发明名称 一种雷达和图像的联合标定方法及装置 (57)摘要 本发明实施例涉及多传感器联合标定技术 领域， 尤其涉及一种基于雷达和图像的联合标定 方法及装置。 该方法包括： 针对任一设定区域， 基 于各第一雷达帧中设定区域的各雷达目标确定 设定区域的雷达目标线， 并基于各第一图像帧中 的各第一图像目标确定设定区域的图像目标线； 各第一雷达帧中任一雷达帧在设定区域具有雷 达目标； 各第一图像帧与各第一雷达帧之间一一 对应且具有相同的采集时刻； 针对任一存在对应 关系的雷达帧和图像帧， 从雷达帧中位于雷达目 标区域的各雷达目标与图像帧中位于图像目标 区域的各图像目标中确定出匹配对； 根据各匹配 对， 确定雷达目标与图像目标之间的标定关系。 无需人工 选点， 提高标定的自动化 程度和效率。 权利要求书3页 说明书18页 附图12页 CN 114373001 A 2022.04.19 CN 114373001 A 1.一种基于雷达和图像的联合标定方法， 其特 征在于， 包括： 针对任一设定区域， 基于各第 一雷达帧中所述设定区域的各雷达目标确定所述设定区 域的雷达目标线， 并基于各第一图像帧中的各第一图像目标确定所述设定区域的图像目标 线； 所述各第一雷达帧中任一雷达帧在所述设定区域具有雷达目标； 所述各第一图像 帧与 所述各第一雷达帧之间一 一对应且具有相同的采集时刻； 针对任一存在对应关系的雷达帧和图像帧， 从所述雷达帧中位于雷达目标区域的各雷 达目标与所述图像帧中位于图像目标区域的各图像目标中确定出匹配对； 所述雷达目标区 域为根据任意两个连续的雷达目标线确定的； 所述图像目标区域为根据与所述任意两个连 续的雷达目标线具有对应关系的两个图像目标线确定的； 根据各雷达目标区域和各图像目标区域确定的各匹配对， 确定雷达目标与图像目标之 间的标定关系。 2.如权利要求1所述的方法， 其特征在于， 基于各第 一图像帧中的各第 一图像目标确定 所述设定区域的图像目标线， 包括： 将各第一图像帧中的各第一图像目标置于同一图像坐标系下； 按照高斯分布， 确定各 第一图像目标所在区域的各像素点的第一概率值； 所述第一概率值用于表征所述第一图像 目标所在区域的各像素点 位于所述设定区域的概 率； 基于各第一图像目标所在区域的各像素点的第一概率值和各第一图像目标所在区域 的各像素点在所述图像坐标系下的位置， 确定所述设定区域的图像目标线。 3.如权利要求1所述的方法， 其特 征在于， 还 包括： 针对任一设定区域， 通过所述设定区域中不具有雷达目标的第二雷达帧， 获取与所述 第二雷达帧同时进行采集的第二图像帧； 基于各第一图像帧中的各第一图像目标确定所述设定区域的图像目标线， 包括： 确定针对同一设定区域的各第一图像帧和各第二图像帧； 基于各第一图像帧中的各第一图像目标和各第二图像帧中的各第二图像目标确定所 述设定区域的图像目标线。 4.如权利要求3所述的方法， 其特征在于， 基于各第 一图像帧中的各第 一图像目标和各 第二图像帧中的各第二图像目标确定所述设定区域的图像目标线， 包括： 将各第一图像帧中的各第一图像目标置于同一图像坐标系下； 按照高斯分布， 确定各 第一图像目标 所在区域的各像素点的第一 概率值； 将各第二图像帧中的各第二图像目标置于同一图像坐标系下； 按照高斯分布， 确定各 第二图像目标所在区域的各像素点的第二概率值； 所述第二概率值用于表征所述第二图像 目标所在区域的各像素点 不位于所述设定区域的概 率； 将位于所述图像坐标系下同一位置的像素点的第一概率值与所述像素点的第二概率 值进行消减， 得到更新后的各像素点的概 率值； 基于更新后的各像素点的概率值和各像素点在所述图像坐标系下的位置， 确定所述设 定区域的图像目标线。 5.如权利要求2所述的方法， 其特征在于， 按照高斯分布， 确定各第一图像目标所在区 域的各像素点的第一 概率值， 包括： 通过如下方式对各第 一图像目标进行遍历处理， 将所述第 一图像目标对应的高斯分布权　利　要　求　书 1/3 页 2 CN 114373001 A 2公式的峰值确定为所述第一图像目标对应第一像素点的概率值， 根据所述第一图像目标所 在区域的各第二像素点与所述第一图像目标 的距离， 通过所述高斯分布公式， 确定各第二 像素点的概 率值； 在对各第一图像目标遍历结束后， 得到各第 一图像目标所在区域的各像素点的第 一概 率值。 6.如权利要求5所述的方法， 其特征在于， 与所述第 一图像帧的下边缘的距离小于设定 数值的第一图像目标通过第一高斯公式确定第一概率值， 与所述第一图像帧的下边缘不小 于设定数值的第一图像目标通过第二高斯公式确定第一概率值； 所述第一高斯公式的均值 和所述第二高斯 公式的均值对应相同的峰值， 所述第一高斯 公式的标准差大于所述第二高 斯公式的标准差 。 7.如权利要求1所述的方法， 其特征在于， 从所述雷达帧中位于雷达目标区域的各雷达 目标与所述图像帧中位于图像目标区域的各图像目标中确定出匹配对， 包括： 将所述雷达帧中位于雷达目标区域的各 雷达目标按照设定顺序排序； 将所述图像帧中位于图像目标区域的各图像目标按照所述设定顺序排序； 将排序后位于设定位置的雷达目标和位于设定位置的图像目标， 确定为匹配对。 8.如权利要求1所述的方法， 其特征在于， 第 一雷达帧中所述设定区域的各雷达目标通 过如下方式得到， 包括： 将所述第一雷达帧中位于所述设定区域的车道内且运动方向与车道方向相同的各雷 达对象， 确定为各 雷达目标。 9.如权利要求1所述的方法， 其特征在于， 第 一图像帧中的各第 一图像目标通过如下方 式得到， 包括： 确定与所述第一图像帧存在对应关系的第一雷达帧中设定区域中的各雷达目标的目 标类别、 运动方向和/或运动状态； 将所述第一图像帧位于车道内、 运动方向与车道方向相同且具有所述目标类别、 运动 方向和/或所述 运动状态的各图像对象， 确定为各第一图像目标。 10.如权利要求1 ‑6任一项所述的方法， 其特征在于， 所述设定区域包括近端的第一区 域、 近端的第二区域、 远端的第三区域和远端的第四区域； 所述近端 是指距离近端 雷达盲区 满足第一设定距离的雷达采集区； 所述远端 是指距离远端 雷达盲区满足第二设定距离的雷 达采集区； 根据各图像目标区域和各雷达目标区域确定的各匹配对包括位于近端最左位置的匹 配对、 位于近端最右位置的匹配对、 位于远端最左位置的匹配对及位于远端最右位置的匹 配对。 11.如权利要求7所述的方法， 其特征在于， 所述第 一区域和所述第 二区域为相邻区域， 所述第三区域和所述第四区域 为相邻区域； 所述设定区域的宽度是根据车长确定的。 12.一种基于雷达和图像的联合标定装置， 其特 征在于， 包括： 确定单元， 用于： 针对任一设定区域， 基于各第 一雷达帧中所述设定区域的各雷达目标 确定所述设定区域的雷达目标线， 并基于各第一图像帧中的各第一图像目标确定所述设定 区域的图像目标线； 所述各第一雷达 帧中任一雷达 帧在所述设定区域具有雷达目标； 所述权　利　要　求　书 2/3 页 3 CN 114373001 A 3