(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989407.6 (22)申请日 2022.08.17 (71)申请人 东揽 （南京） 智能科技有限公司 地址 210000 江苏省南京市江宁区苏源大 道19号九龙湖国际企业总部园B1栋3 层310室 (72)发明人 李松明　彭丽娟　李志斌　 (51)Int.Cl. G08G 1/16(2006.01) H04N 7/18(2006.01) G06V 20/54(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) (54)发明名称 一种交叉口多视角大 型车辆盲区预警方法 (57)摘要 本发明提出了一种交叉口多视角大型车辆 盲区预警方法， 通过在交叉口内部布设多机位摄 像头的方式， 对交叉口内大型车辆与行人目标形 成多视角检测， 识别采用训练好的YOLOv5模型， 通过多视角单应性变换实现人车坐标的俯视图 重构与转换， 提出主视角闵可夫斯基加权算法对 多视角捕获到的目标进行同源锁定， 提出多视角 遮挡率加权修正算法对大型车状态空间进行融 合修正， 提出CTARA模型对大型车辆进行轨迹预 测， 提出建立自适应盲区模型库， 通过车辆特征 信息实现大型车辆盲区的自适应匹配， 最后基于 盲区重合度提出全盲区及半盲区两类形式， 实现 多视角下大型车辆的盲区预警。 相比于现有的盲 区预警方法， 本发明弥补了单目摄像头视野范围 受限的缺点， 提高了车辆盲区范围的针对性， 避 免了车载装置存在数据交互不统一与推广困难 的问题。 权利要求书7页 说明书13页 附图1页 CN 115171431 A 2022.10.11 CN 115171431 A 1.一种交叉口多视角大 型车辆盲区预警方法， 其特 征在于： 包括以下步骤： S10： 多视角大型车辆与行人检测识别， 采用训练好的具备可用于识别大型车种类、 车 辆姿态以及行人的权重的Y OLOv5模型对车辆目标与行人目标进 行识别， 提出在交叉口内布 设多机位摄像头的方式， 对交叉口内采集多角度画面并对画面赋予编号i； 当第i角度画面 检测到出现大型车辆时， 将所述画 面作为主视角画 面， 将所述车辆作为关键目标， 采集所述 目标的车辆尺寸信息与特 征信息， 进S20； 当第i角度画面检测到出现行 人时， 进行S6 0； S20： 大型车辆坐标转换与同源匹配， 对各视角画面与对应交叉口俯视图坐标进行标 定， 通过单应性变换， 将各画 面内获取的大型车坐标转换到世界坐标系下； 在同一坐标系下 多视角坐标的基础上， 提出主视角闵可夫斯基加权算法对各画 面获取到的所述交叉口坐标 (X_wi,Y_wi)进行目标划分， 实现不同视角下同一目标的锁定； S30： 大型车辆状态空间修正， 采用所述YOLOv5模型， 通过视角转换， 输出各角度画面 内 大型车在二维世界坐标系O_w ‑X_w Y_w下的状态空间Z_i； 由各角度 画面内大型车的受遮挡 情况提出遮挡率θ_i概念， 并在此基础上提出多视角遮挡率加权修正算法， 对所述同一大型 车的所有状态空间Z_i进行修正， 得到大型车的修正状态空间Z_k； 构成大型车所述状态空 间的特征量包括交叉口坐标(X_wi,Y_wi)、 偏航角φ_i、 速度v_i、 加速度α _i以及角 加速度 ω_i； S40： 预测大型车辆的短时未来轨迹， 以当前时刻 为初始帧， 提出CTARA （Constant  Turn  Acceleration  Rate and Acceleration） 模型对所述目标进行轨迹 预测， 以40毫秒为间隔， 得到未来1秒内大 型车辆的预测状态空间Z_(k+m)； S50： 自适应车辆盲区匹配与计算， 提出自适应大型车盲区模型库的建立， 通过S10所述 车辆尺寸信息调取对应盲区模 型库， 得到各预测坐标(X_wn,Y_wn)下的盲区范围； 对 所述范 围进行重叠累计， 设定出全盲区与半盲区范围； 所述自适应大型车盲区模型库包括自适应 静态视觉盲区与右转向轨 迹盲区； S60： 行人位置与盲区预警范围重合度检测， 通过所述单应性变换， 将行人的所述画面 坐标(u_i,v_i)转换到所述交叉口坐标(X_wi,Y_wi)， 判断是否在盲区预警范 围内， 是则进 行 S70； 否则回到S40； S70： 对来车方向进行LED文字滚动与语音提示警报， 对所述全盲区采取持续预警， 即存 在行人即刻启动预警； 对所述半盲区采 取选择性预警， 即当存在行人时， 仅车辆靠近后启动 预警。 2.根据权利要求1所述的一种交叉口多视角大型车辆盲区预警方法， 其特征在于： 对大 型车采集的所述车辆尺寸信息包括： 车辆轴数N、 轴距T、 车身长度L以及车身宽度W； 所述车 辆特征信息包括车头左右车灯、 驾驶室挡风 玻璃边角、 左右后视镜、 车牌、 前后车轮、 左右侧 窗玻璃边角、 车辆货箱， 车厢边 缘点、 车尾灯以及后围板玻璃四角。 3.根据权利要求1与2所述的一种交叉口多视角大型车辆盲区预警方法， 其特征在于： 所述主视角闵可 夫斯基加权算法过程如下： S21： 以交叉口平面几何中心作为原点建立二维世界坐标系 ， 以视频画面左上 角为原点建立像素坐标系 ， 得到第 画面中大型车 的二位检测框中心点在所述像素权　利　要　求　书 1/7 页 2 CN 115171431 A 2坐标系中的画面坐标( )， 通过单应性变 换， 将所述画面坐标( )转换到所述二维世界 坐标系下的交叉口坐标( )； S22： 由主视角画面获取到的大型车交叉口坐标与速度生成目标判别空间 ， 其余画面 获取到的大 型车交叉口坐标与速度生成 ； S23： 若两所述目标判别空间符合以下关系： 则说明第 画面与第 画面 （主视角画面） 识别到相同目标， 进入S50； 否则说明存在第二 目标， 继续寻找符合所述关系的坐标点， 直到所有所述坐标都锁定了对应目标； 式中 为大型车在第 画面 （主视角画面） 内的交叉口坐标， 为大型车在第 画面内 的交叉口坐标， 、 、 为量纲权重值， 为其他视角与主视角目标判定空间的闵可夫 斯基加权距离， 为分类误差值。 4.根据权利要求1与3所述的一种交叉口多视角大型车辆盲区预警方法， 其特征在于： 所述大型车偏航角 采用余弦向量 转换得到， 过程如下： S31： 采用所述训练好的YOLOv5模型， 输出各画面内大型车当前在车辆坐标系 下 的偏航角 ， 由 得到车辆坐标系 下的车辆朝向量 ； S32： 通过S20所述多视角单应性变换， 得到大型车在各画面中世界坐标系 下 的偏航角 ： 式中， 为从车辆坐标系 转换到世界坐标系 的单应性矩阵， 为 世界坐标系 下的车辆朝向量。 5.根据权利要求5所述的一种交叉口多视角大型车辆盲区预警方法， 其特征在于： 在所 述S32之后， 所述大 型车辆状态空间修 正过程如下： S33： 所述大 型车在各画面内的遮挡率 有如下表达式： 权　利　要　求　书 2/7 页 3 CN 115171431 A 3