(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210695357.0 (22)申请日 2022.06.20 (71)申请人 苏州天准软件 有限公司 地址 215000 江苏省苏州市高新区科灵路 78号2号楼5 02室 申请人 苏州天准科技股份有限公司 (72)发明人 吴雷　张海东　范林林　王钦　 周海明　曹葵康　刘军传　 (74)专利代理 机构 上海华诚知识产权代理有限 公司 313 00 专利代理师 刘煜 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/73(2017.01) G06T 7/246(2017.01)G06V 10/82(2022.01) G06V 20/54(2022.01) (54)发明名称 交通场景下的单目视觉定位方法及装置、 设 备、 存储介质 (57)摘要 本发明提供一种交通场景下的基于图像检 测框的单目视觉定位方法及装置、 终端设备、 存 储介质， 该方法包括获取路侧传感器采集的二维 图像； 基于二维图像中的特征点对传感器进行标 定， 并建立二维图像坐标系与道路平 面坐标系之 间的映射关系； 将二维图像输入卷积神经网络， 得到二维图像中目标的 图像矩形框， 以对目标进 行跟踪； 基于图像矩形框利用边缘分析模块对二 维图像进行分析， 以得到目标在道路平面坐标系 上的位置； 该定位方法克服了单目相机在深度估 计上的不足， 通过本发明的定位方法实现对道路 上目标的精确检测与定位及道路场景下精确的 环境感知， 并且基于此将感知结果广播至道路上 的周围车辆， 实现车路协同。 权利要求书2页 说明书8页 附图7页 CN 115100290 A 2022.09.23 CN 115100290 A 1.一种交通场景 下的基于图像 检测框的单目视 觉定位方法， 其特 征在于， 包括： 获取路侧传感器采集的二维图像； 基于所述二维图像中的特征点对所述传感器进行标定， 并建立所述二维图像坐标系与 道路平面 坐标系之间的映射关系； 将所述二维图像输入卷积神经网络， 得到所述二维图像中目标的图像矩形框， 以对所 述目标进行跟踪； 基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用 边缘分析模块对所述 二维图像进行分析， 以得到目标在道路平面 坐标系上的位置 。 2.如权利要求1所述的交通场景下的基于图像检测框的单目视觉定位方法， 其特征在 于， 所述基于所述二维 图像中的特征点对所述传感器进行标定， 并建立所述二维 图像坐标 系与道路平面 坐标系之间的映射关系包括： 获取所述二维图像坐标系与道路平面坐标系中的相同特征点， 并利用最小二乘法基于 所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值得到所述二维图像坐标 系与道路平面 坐标系之间的映射关系。 3.如权利要求2所述的交通场景下的基于图像检测框的单目视觉定位方法， 其特征在 于， 获取所述道路平面 坐标系中的特 征点包括： 通过GPS获取道路平面 坐标系中的所述特 征点的坐标值。 4.如权利要求1所述的交通场景下的基于图像检测框的单目视觉定位方法， 其特征在 于， 在建立所述 二维图像坐标系与道路平面 坐标系之间的映射关系之后， 包括： 利用图像反投影误差与道路平面反投影误差对所述特征点在所述二维图像坐标系与 道路平面 坐标系中的坐标值进行验证。 5.如权利要求1所述的交通场景下的基于图像检测框的单目视觉定位方法， 其特征在 于， 基于所述二 维图像坐标系与 道路平面坐标系之 间的映射关系及所述图像矩形框利用边 缘分析模块对所述 二维图像进行分析， 以得到目标在道路平面 坐标系上的位置包括： 获取所述目标从所述 二维图像坐标系映射到所述道路平面 坐标系上的线段AB； 建立传感器坐标系， 所述传感器坐标系以相机朝向为X轴， 所述线段AB垂直于所述传感 器坐标系的X轴； 以及 建立道路平面上的目标坐标系， 所述目标坐标系以所述目标的运动方向为Y轴方向， 所 述目标的横向左右为X轴； 基于所述道路平面坐标系中的所述线段AB与所述目标坐标系中的所述目标的几何位 置关系进行计算， 以得到所述目标在所述传感器坐标系中的位置； 基于所述目标在所述传感器坐标系中的位置利用坐标系转换， 以得到所述目标在道路 平面坐标系上的位置 。 6.如权利要求5所述的交通场景下的基于图像检测框的单目视觉定位方法， 其特征在 于， 基于所述 目标在所述传感器坐标系中的位置利用坐标系转换， 得到所述 目标在道路平 面坐标系上的位置， 包括： 获取所述传感器坐标系的朝向角； 以及 获取所述目标自身的参数以及所述目标的航向角； 基于所述目标自身的参数、 所述目标的航向角、 所述传感器坐标系的朝向角和所述目权　利　要　求　书 1/2 页 2 CN 115100290 A 2标在所述传感器坐标系中的位置坐标进行计算， 以得到所述目标底边的四个顶点在所述传 感器坐标系中的坐标； 基于所述传感器坐标系的朝向角， 将所述传感器坐标系中的所述 四个顶点的坐标转换 至所述平面道路坐标系中； 基于所述目标的四个顶点 坐标得出所述目标在所述道路平面 坐标系中的位置 。 7.如权利要求6所述的交通场景下的基于图像检测框的单目视觉定位方法， 其特征在 于， 基于所述目标的四个顶点 坐标得出所述目标在所述道路平面 坐标系中的位置， 包括： 基于所述目标自身的参数与四个顶点 坐标， 得到所述目标的三维位置姿态。 8.一种交通场景 下的基于图像 检测框的单目视 觉定位装置， 其特 征在于， 包括： 获取模块， 所述获取模块被 配置用于获取路侧传感器采集的二维图像； 映射模块， 所述映射模块被配置用于基于所述二维图像中的特征点对所述传感器进行 标定， 并建立所述 二维图像坐标系与道路平面 坐标系之间的映射关系； 追踪模块， 所述追踪模块被配置用于将所述二维图像输入卷积神经网络， 得到所述二 维图像中目标的图像矩形框， 以对所述目标进行跟踪； 分析模块， 所述分析模块被配置用于基于所述二维图像坐标系与道路平面坐标系之间 的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析， 以得到目标在 道路平面 坐标系上的位置 。 9.一种终端设备， 其特 征在于， 所述终端设备包括： 处理器； 存储器； 以及程序， 其中， 所述程序被存储在所述存储器中， 并且被配置成由处理器执 行， 以使得 所述终端设备实现根据权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于： 所述计算机程序 被处理器执行时实现根据权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115100290 A 3