(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087281 1.5 (22)申请日 2022.07.21 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号南京航空航天大 学 (72)发明人 吴旭峰　刘玉虎　陆洋　陈广永　 袁杨　管凯　刘青春　周成中　 王弟伟　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 于瀚文 (51)Int.Cl. G08G 5/04(2006.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06T 7/73(2017.01)G06T 7/246(2017.01) (54)发明名称 用于直升机近地告警的障碍物探测方法、 装 置和存储介质 (57)摘要 本发明提供了用于直升机近地告警的障碍 物探测方法、 装置和存储介质， 所述方法包括： 步 骤1， 使用图像检测神经网络和多目标跟踪算法 对机载摄像机回传的图像进行障碍物检测及跟 踪， 得到相应信息； 步骤2， 进行信息融合处理， 得 到障碍物经纬度信息； 步骤3， 对步骤2得到的障 碍物经纬度信息进行数据处理， 完成障碍物探测 与传统的通过昂贵的测地雷达进行地形感知 的 方法相比， 本发 明方法针对城市场景及障碍物探 测任务进行了专精优化， 无需使用专业的测地雷 达， 显著降低了安装及 购买成本 。 权利要求书4页 说明书8页 附图2页 CN 115440094 A 2022.12.06 CN 115440094 A 1.用于直升 机近地告警的障碍物探测方法， 其特 征在于， 包括以下步骤： 步骤1， 使用图像检测神经网络和多目标跟踪算法对机载摄像机回传的图像进行障碍 物检测及跟踪， 得到每张图像中障碍物的角点像素坐标、 障碍物类型和障碍物序号； 通过障 碍物角点像素坐标与图像宽度中线的距离与相机视场角关系， 得到障碍物与直升机前视方 向方位角信息， 通过方位角信息提取由机载毫米波雷达探测得到的障碍物与直升机间距 离； 步骤2， 进行信息融合处 理， 得到障碍物经纬度信息； 步骤3， 对步骤2得到的障碍物经纬度信息进行 数据处理， 完成障碍物探测。 2.根据权利要求1所述的方法， 其特征在于， 步骤1中， 首先制作城市内常见障碍物数据 集， 对数据集中各个障碍物进行标签划分及障碍物角点像素坐标划分， 在完成后对数据集 进行分割和归一 化操作， 将数据集分为训练集及测试集； 对图像神经网络进行调整， 调整多目标检测图像神经网络输出为障碍物角点像素坐标 和障碍物类型概 率； 训练使神经网络模型达 到收敛， 得到神经网络模型权 重； 根据相机视场角与像素长度的对应关系， 通过障碍物边缘检测框 中心位置横坐标与图 像中心点横坐标差值， 计算得到障碍物与直升 机前视方向方位角； 根据所述方位角对雷达探测距离进行提取， 提取最近一 次时间戳的对应方位角加上雷 达方位角精度误差的所有距离数据， 并进 行平均值计算， 通过平均值剔除离群点， 再次进 行 计算， 得到最终直升 机与对应障碍物间距离数据。 3.根据权利要求2所述的方法， 其特征在于， 步骤2包括： 通过整合机载摄像机回传数据 及机载毫米波雷达回传数据， 得到针对障碍物的全部探测信息 帧， 帧中信息包括障碍物序 号、 障碍物像素坐标、 障碍物类型、 障碍物与直升 机距离、 方位角； 通过如下公式得到像素点与实际长度对应关系： 其中， ηpix2meter为像素与实际尺寸转换系数； drel为直升机与障碍物的相对距离； θ为世 界坐标系中经度方向与障碍物间夹角； x1为图像坐标系中障碍物边界检测框左下角点横坐 标； x2为图像坐标系中障碍物边界检测框右上角点横坐标； hIMG_WIDTH为图像像素宽度； 通过像素点与实际长度对应关系计算得到障碍物相对于直升机 高度和宽度， 并设定障 碍物厚度与宽度相等； 通过当地经纬度与实际长度对应关系及直升机经纬度与高度信 息， 计算障碍物中心点 经纬度坐标， 通过障碍物自身几何关系计算得到障碍物各角点位置经纬度坐标， 再通过直 升机高度与障碍物相对于直升 机高度的叠加得到障碍物实际高度。 4.根据权利要求3所述的方法， 其特征在于， 步骤3包括： 得到从信息融合模块103传输 来的障碍物各角点位置经纬度坐标和高度信息帧， 将各同一障碍物序号数据帧排进同一队 列， 当队列中帧数量达到阈值时， 将队列内数据取出； 使用公式(2)计算得到每个点反映经 纬度及高度的马氏距离量， 并使用公式(3)判断是否有离群点存在， 如果存在则剔除离群 点：权　利　要　求　书 1/4 页 2 CN 115440094 A 2其中， 为队列中第k个包含障碍物经纬度及高度向量 与其前一个向量 的马氏距离， ∑‑1为特征向量间协方差矩阵， PM为当前马氏距离概率密度， PTr为截断概 率密度阈值， 二进制数bk用于判定被检测点是否为离群点， bk为0表示检测点非离群点， bk为 1时检测点被判定为离群点； 完成剔除操作后， 对队列其余点根据更新 时间先后顺序输入式(4)进行处理， 得到新的 障碍物信息队列， 再输入式(5)， 得到最 终输出点， 并清空障碍物序号队列， 重新等待障碍物 数据信息 输入队列： 其中， 为上一次探测时的障碍物位置高度向量， 为当前探测时障碍物经纬度及 高度信息， 为一阶滤波得到的结果； ω为权重矩阵， μi为当前序号中包含障碍物经纬度 及高度的向量的队列中第i项 的遗忘系数， 为叠加遗 忘系数后加权平均所 得结果。 5.根据权利要求4所述的方法， 其特征在于， 步骤3 中， 每次当同一序号障碍物队列达到 阈值后就再次执 行步骤3。 6.用于直升机近地告警的障碍物探测装置， 其特征在于， 包括视觉探测模块(101)、 雷 达探测模块(102)、 信息融合模块(103)、 障碍物数据处理模块(104)、 机载地形数据库(105) 和直升机近地告警系统(10 6)； 其中， 视觉探测模块(101)使用图像检测神经网络和多目标跟踪算法对机载摄像机回 传的图像进行障碍物检测及跟踪， 得到每张图像中障碍物的角点像素坐标、 障碍物类型和 障碍物序号； 通过障碍物角点像素坐标与图像宽度中线的距离与相 机视场角关系， 得到障 碍物与直升机前视方向方位角信息， 通过方位角信息提取由雷达探测模块(102)探测得到 的障碍物与直升 机间距离； 信息融合模块(103)将视觉探测模块(101)得到的信息进行融合， 再根据直升机当前位 姿计算得到障碍物经纬度范围和高度； 障碍物数据处理模块(104)将包含同一个序号的障碍物信息分入同一队列并进行处 理， 剔除离群点并得到处理后障碍物信息， 输入进机载地形数据库(105)， 供直升机近地告 警系统(106)使用， 供直升机近地告警系统106会实时扫描机载地形数据库(105)中储存直 升机当前位置周围环境的地形高程数据， 并基于地形高程数据进行碰撞威胁预测， 如果有 威胁则将告警提示画面及声音发送至告警显示面板中， 如果无威胁， 则不发送告警提示画 面和声音。 7.根据权利要求6所述的装置， 其特 征在于， 所述装置执 行如下步骤：权　利　要　求　书 2/4 页 3 CN 115440094 A 3