(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210788539.2 (22)申请日 2022.07.04 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 黄嘉慧　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 张丽 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06T 7/70(2017.01) (54)发明名称 障碍物检测方法、 装置、 车辆及存 储介质 (57)摘要 本公开涉及一种障碍物检测方法、 装置、 车 辆及存储介质。 该方法包括： 获取待检测图像中 障碍物的图像特征， 待检测图像是通过车辆上的 图像采集设备采集的； 获取障碍物在图像采集设 备坐标系下的三维位置信息； 将图像特征和三维 位置信息输入第一预设检测网络， 得到第一预设 检测网络输出的分类结果， 分类结果表征障碍物 是否是车辆的路径中最近障碍物。 该方案隐性地 对车道线和障碍物的关系进行学习， 并在学习过 程中加入了障碍物在图像采集设备坐标系下的 三维位置信息， 实现了路径中最近障碍物的检 测。 由于其是直接通过网络学习， 并判定各障碍 物是否为车辆的路径中最近障碍物， 不用识别车 道线及对自车道的车进行距离 计算， 检测简洁。 权利要求书2页 说明书10页 附图3页 CN 115082898 A 2022.09.20 CN 115082898 A 1.一种障碍物检测方法， 其特 征在于， 包括： 获取待检测图像中障碍物的图像特征， 所述待检测图像是通过车辆上的图像采集设备 采集的； 获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息； 将所述图像特征和三维位置信 息输入第 一预设检测网络， 得到所述第 一预设检测网络 输出的分类结果， 所述分类结果表征 所述障碍物是否是 所述车辆的路径中最近障碍物。 2.根据权利要求1所述的障碍物检测方法， 其特征在于， 所述获取待检测图像中障碍物 的图像特 征包括： 将所述待检测图像输入骨干网络和第 二预设检测网络， 获取所述骨干网络输出的所述 待检测图像的全局图像特征， 及获取所述第一预设检测网络输出的所述待检测图像中障碍 物的二维位置信息； 根据所述二维位置信息从所述全局图像特征中选取所述待检测图像中障碍物的图像 特征。 3.根据权利要求2所述的障碍物检测方法， 其特征在于， 所述获取所述障碍物在所述图 像采集设备的三维坐标系下的三维位置信息包括： 根据所述二维位置信 息和所述图像采集设备的内参矩阵， 获取所述障碍物在所述图像 采集设备的三维坐标系下的三维位置信息 。 4.根据权利要求3所述的障碍物检测方法， 其特征在于， 所述骨干网络、 第二预设检测 网络和第一预设检测网络是通过以下 方式训练得到的： 针对训练集内的每张图像， 根据用户输入的标注指令对该图像中的各障碍物进行标 注， 所述标注指令用于描述该图像中各障碍物的矩形框和各障碍物的分类标签， 所述分类 标签包括是路径中最近障碍物或不是路径中最近障碍物； 根据所述训练集和损 失函数训练， 得到所述骨干网络、 第二预设检测网络和第一预设 检测网络； 其中， 所述损 失函数为能调整所述训练集内正样本和负样本分类不均衡的损 失函数， 其中正样本为是路径中最近障碍物的障碍物， 负 样本为不是路径中最近障碍物的障碍物。 5.根据权利要求 4所述的障碍物检测方法， 其特 征在于， 所述损失函数的计算公式为： FL(pt)＝ ‑at(1‑pt)γlog(pt) 其中， pt所述第二预设检测网络输出的分类结果， γ为均衡难分样本的超参数， at为均 衡正负样本不均衡的超参数， FL(pt)为损失函数的输出。 6.一种障碍物检测装置， 其特 征在于， 包括： 障碍物图像特征获取模块， 被配置为获取待检测图像中障碍物的图像特征， 所述待检 测图像是通过 车辆上的图像采集设备采集的； 三维位置信 息获取模块， 被配置为获取所述障碍物在所述图像采集设备的三维坐标系 下的三维位置信息； 分类模块， 被配置为将所述图像特征和三维位置信息输入第一预设检测网络， 得到所 述第一预设检测网络输出的分类结果， 所述分类结果表征所述障碍物是否是所述车辆的路 径中最近障碍物。 7.根据权利要求6所述的障碍物检测装置， 其特征在于， 所述障碍物图像特征获取模块权　利　要　求　书 1/2 页 2 CN 115082898 A 2包括： 特征输出子模块， 被配置为将所述待检测图像输入骨干网络和第二预设检测网络， 获 取所述骨干网络输出的所述待检测图像的全局图像特征， 及获取所述第一预设检测网络输 出的所述待检测图像中障碍物的二维位置信息； 选取子模块， 被配置为根据 所述二维位置信 息从所述全局图像特征中选取所述待检测 图像中障碍物的图像特 征。 8.根据权利要求7所述的障碍物检测装置， 其特征在于， 所述三维位置信 息获取模块具 体被配置为， 根据所述二维位置信息和所述图像采集设备 的内参矩阵， 获取所述障碍物在 所述图像采集设备的三维坐标系下的三维位置信息 。 9.一种车辆， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为： 实现权利要求1～5中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 该程序指令 被第一处 理器执行时实现权利要求1～5中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115082898 A 3