(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210049898.6 (22)申请日 2022.01.17 (66)本国优先权数据 202111576531.1 2021.12.2 2 CN (71)申请人 中国科学院计算 技术研究所 地址 100190 北京市海淀区中关村科 学院 南路6号 (72)发明人 沙宇洋　张杰　山世光　陈熙霖　 (74)专利代理 机构 北京泛华伟业知识产权代理 有限公司 1 1280 代理人 王勇 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/56(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01C 21/20(2006.01) (54)发明名称 一种基于多种传感器的导盲设备 (57)摘要 本发明提供了一种基于多传感器的智能导 盲设备， 包括多种传感器， 用于采集盲人的当前 位置信息、 行动信息和多种环境信息； 路径规划 设备； 以及人机交互模块， 用于将所述最优路径 转换为引导盲人行动的行动指令； 本发明能极大 地拓展现有可穿戴式导盲设备的应用场景， 帮助 盲人群体更加高效、 安全的在复杂的环境中出 行。 权利要求书2页 说明书11页 附图2页 CN 114387584 A 2022.04.22 CN 114387584 A 1.一种用于导盲的路径规划设备， 其特 征在于， 所述路径规划设备被 配置为： 根据盲人的目的地和当前位置信息进行全局路径规划， 得到全局路径； 利用第一深度学习模型根据深度相机采集的彩色图对盲人所处空间进行可行区域识 别， 得到可 行区域识别结果； 利用第二深度学习模型根据深度相机采集的彩色图对盲人所处空间进行目标检测， 得 到目标检测结果； 利用所述目标检测结果和深度相机采集的深度图确定对障碍物的第一检测结果以及 利用多个超声传感器确定对障碍物的第二检测结果； 将彩色图对应的空间映射到预设的行走空间网格， 根据可行区域识别结果、 第一检测 结果以及第二检测结果确定行 走空间网格中相应网格的代价缩放因子； 利用路径规划算法根据全局路径、 网格的代价缩放因子进行局部路径规划， 得到用于 引导盲人 行走的最优路径。 2.根据权利要求1所述的路径规划设备， 其特征在于， 所述第 一深度学习 模型利用经改 进的ESPNetV2模型实现， 其中， 所述经改进的ESPNetV2模型为在原始的ESPNetV2模型的特 征提取模块的最后添加特 征金字塔模块。 3.根据权利 要求2所述的路径规划设备， 其特征在于， 所述经改进的ESPNetV2模型按照 以下方式训练得到： 利用收集的道路相 关的数据集训练经改进 的ESPNetV2模型对道路数据集中的样本图 像中的可行区域进 行分割识别， 输出可行区域识别结果， 其中， 所述道路相关的数据集包括 样本图像和可行区域分割标签， 所述可行区域分割标签包括指示样本图像的相应区域为盲 道、 人行道、 车行道、 斑马线、 背景对应的标注值； 利用交叉熵作为损失函数根据输出的可行区域识别结果和可行区域分割标签计算分 割可行区域的损失值， 根据分割可 行区域的损失值更新经改进的ES PNetV2模型的参数。 4.根据权利要求1所述的路径规划设备， 其特征在于， 所述第 二深度学习 模型利用经改 进的YOLOv5模型实现， 其中， 所述经改进的YOLOv5模型为将原始的YOLOv5模型中的3x3普通 卷积换为深度可分离卷积。 5.根据权利要求4所述的路径规划设备， 其特征在于， 所述第 二深度学习 模型按照以下 方式训练得到： 利用COCO2017数据集训练经改进的YOLOv5模型对数据 集中的样本图像进行目标检测， 输出目标检测结果； 根据输出的目标检测结果和目标检测标签计算目标检测的总损失， 根据目标检测的总 损失更新经改进的YOLOv5的参数， 其中， 所述目标检测的总损失包括分类预测 子损失和检 测框预测子损失。 6.根据权利要求1所述的路径规划设备， 其特征在于， 第一检测结果包括： 基于 图像的 目标检测结果确定的障碍物以及根据深度图检测深度值 突变确定的障碍物。 7.根据权利要求6所述的路径规划设备， 其特征在于， 所述根据深度图检测深度值突变 确定的障碍物中所利用的深度图是利用第三深度学习模型根据深度相机采集的彩色图对 关联的深度图进行补全后的深度图。 8.根据权利要求7所述的路径规划设备， 其特征在于， 所述第三深度学习模型利用权　利　要　求　书 1/2 页 2 CN 114387584 A 2PENet模型实现， 并且按照以下 方式训练得到： 使用KITTI‑Depth数据集训练PENet模型根据彩色图对关联的深度图进行补全， 利用均方误差损失函数根据补全后的深度图和深度标签计算损失值， 并根据 所述损失 值更新PENet模型的参数。 9.根据权利要求1所述的路径规划设备， 其特征在于， 确定行走空间网格中相应网格的 代价缩放因子时， 使得相应网格的代价被缩小的相对程度如下： 盲道≥斑马线＞人行道＞车行道＞障碍物， 其中， 障碍物包括行人、 自行车、 汽车、 交通 标识牌、 其 他地面障碍物。 10.根据权利要求9所述的路径规划设备， 其特征在于， 确定行走空间网格中相应网格 的代价缩放因子时， 将相应网格是否作为障碍物的依据如下： 对于距离大于预定的距离 阈值的远距离障碍物， 第 二检测结果的优先级高于第 一检测 结果； 对于距离小于等于预定的距离阈值的近距离障碍物， 第 一检测结果的优先级高于第 二 检测结果。 11.根据权利要求1 ‑10之一所述的路径规划设备， 其特征在于， 所述路径规划设备被配 置为： 在单位时间内对可行区域识别结果更新所利用的深度相机采集的彩色图的帧数少于 在单位时间内对目标检测结果更新所利用的深度相机采集的彩色图的帧数。 12.一种基于多种传感器的导盲设备， 其特 征在于， 包括： 多种传感器， 用于采集盲人的当前位置信息、 行动信息和多种环境信息； 如权利要求1 ‑11所述的路径规划设备； 以及 人机交互模块， 用于将所述 最优路径转换为引导盲人 行动的行动指令 。 13.根据权利要求12所述的基于多种传感器的导盲设备， 其特征在于， 所述多种传感器 包括： 用于采集盲人的行动信息的惯性测量仪， 所述行动信息包括朝向； 用于采集盲人的当前位置信息的全球定位模块； 用于采集盲人所处空间的环境信息的深度相机和多个超声传感器， 其中， 所述深度相 机同时采集在空间上配准的彩色图和深度图。权　利　要　求　书 2/2 页 3 CN 114387584 A 3