(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210935973.9 (22)申请日 2022.08.04 (71)申请人 淮北矿业股份有限公司 地址 235000 安徽省淮北市相山区人民中 路276号 (72)发明人 杜伟　王磊　肖潇　陈闯　赵一鸣　 (74)专利代理 机构 深圳众邦专利代理有限公司 44545 专利代理师 熊指挥 (51)Int.Cl. H04N 7/18(2006.01) G10L 15/22(2006.01) G10L 21/0208(2013.01) G06V 10/30(2022.01) G06V 10/28(2022.01)G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种矿业AR智能设备巡 检系统 (57)摘要 本发明公开了一种矿业AR智能设备巡检系 统， 包括远程专家端、 控制中心及AR巡检端； 远程 专家端包括第一音频交互模块、 标绘指导模块、 资料共享模块及第一显示模块； 控制中心包括巡 检内容定义模块、 设备数据整理模块、 运行数据 监测预警模块、 第二显示模块、 第二音视频交互 模块、 报告生成模块及数据库； AR巡检端包括第 三音视频交互模块、 定位模块、 语音指令控制模 块、 远程指导模块、 第三显示模块、 巡检内容调用 模块及巡检内容记录上传模块。 本发 明可以在满 足井上下远程音视频沟通的同时还可以解放巡 检人员的双手， 实时获得 故障诊断所需要的辅助 信息及专家指导意见， 从而可以有效地提高巡检 人员的巡 检效率及质量。 权利要求书3页 说明书8页 附图3页 CN 115484436 A 2022.12.16 CN 115484436 A 1.一种矿业AR智能设备巡检系统， 包括远程专家端(1)、 控制中心(2)及AR巡检端(3)， 且该远程专 家端(1)、 控制中心(2)及AR巡检端(3)之间相互通信连接， 其特 征在于： 所述远程专家端(1 )包括第一音频交互模块(11)、 标绘指导模块(12)、 资料共享模块 (13)及第一显示模块(14)； 所述第一音频交互模块(11)用于远程专家端与控制中心及AR巡检端之间的语音及视 频沟通； 所述标绘指导模块(12)用于通过立体标绘功能将专家的虚拟标绘内容呈现在真实世 界， 叠加出混合现实效果； 所述资料共享模块(13)用于实现地面上的专家的标绘指导与资料共享， 并实时发送至 井下AR巡检端； 所述第一显示模块(14)用于 显示AR巡检端采集的实时画面； 所述控制中心(2)包括巡检内容定义模块(21)、 设备数据整 理模块(22)、 运行数据 监测 预警模块(23)、 第二显示模块(24)、 第二音视频交互模块(25)、 报告生成模块(26)及数据库 (27)； 所述巡检内容定义模块(21)用于根据企业自身情况自定义编辑巡检区域、 巡检路线及 巡检清单； 所述设备数据整理模块(22)用于对各类设备进行分类整理， 并提供设备资料的增删查 改； 所述运行数据监测预警模块(23)用于通过脉冲耦合神经网络对巡检对象进行实时运 行数据监测及预警； 所述第二显示模块(24)用于 显示AR巡检端采集的实时画面； 所述第二音视频交互模块(25)用于控制中心与远程专家端及AR巡检端之间的语音及 视频沟通； 所述报告生成模块(26)用于基于 巡检内容 生成巡检报告单； 所述数据库(27)用于 巡检数据的存 储； 所述AR巡检端(3)包括第三音视频交互模块(31)、 定位模块(32)、 语音指令控制模块 (33)、 远程指导模块(34)、 第三显示模块(35)、 巡检内容调用模块(36)及巡检内容记录上传 模块(37)； 所述第三音视频交互模块(31)用于AR巡检端与远程专家端及控制中心之间的语音及 视频沟通； 所述定位模块(32)用于对 佩带AR智能眼镜的巡检人员进行定位； 所述语音指令控制模块(3 3)用于巡检人员利用语音命令控制AR智能眼镜操作； 所述远程指导模块(34)用于随时连线地面上的领导或专家， 并将远程指导意见全息实 时呈现在AR智能眼镜上； 所述第三显示模块(35)用于将远程指导意见全息实时呈现在巡检人员佩带的AR智能 眼镜上； 所述巡检内容调用模块(36)用于根据巡检场所即时调用查看控制中心发送的安全巡 检内容； 所述巡检内容记录上传模块(37)用于将巡检内容通过图片及视频的形式实时记录、 存权　利　要　求　书 1/3 页 2 CN 115484436 A 2储及上传。 2.根据权利要求1所述的一种矿业AR智能设备巡检系统， 其特征在于， 所述运行数据监 测预警模块(23)包括图像获取模块(231)、 图像识别模块(232)及检测结果输出预警模块 (233)； 所述图像获取模块(231)用于获取AR巡检端在巡检过程中实时采集的巡检图像； 所述图像识别 模块(232)用于利用脉冲耦合神经网络对巡检图像 中巡检设备仪表盘上 的仪表数据进行识别； 所述检测结果输出预警模块(233)用于根据巡检设备中仪表盘上仪表数据的识别结果 输出该巡检设备的运行 数据， 并在运行 数据异常时发出 预警。 3.根据权利要求2所述的一种矿业AR智能设备巡检系统， 其特征在于， 所述图像识别模 块(232)在利用脉冲耦合神经网络对巡检图像中巡检设备仪表盘上的仪表数据进 行识别时 包括以下步骤： 采用颜色图像区域搜索算法对巡检设备中的目标仪表图像区域进行定位， 并通过中值 滤波去除目标图像噪声； 采用脉冲耦合神经网络对仪表图像数据显示盘中的数字 字符进行分割和二 值化处理； 通过样本匹配算法匹配仪表图像样本的数字字符， 实现巡检设备仪表盘上的仪表数据 的识别。 4.根据权利要求3所述的一种矿业AR智能设备巡检系统， 其特征在于， 所述采用脉冲耦 合神经网络对仪表图像数据显示盘中的数字 字符进行分割和二 值化处理还包括以下步骤： 计算仪表图像数据显示盘中每 个数字字符的质心坐标， 并连接每 个质心计算 斜率； 基于计算得到的倾斜率判断该字符是否倾斜， 若是， 则调整字符， 若否， 则通过水平竖 直投影法获取仪表读数。 5.根据权利要求3所述的一种矿业AR智能设备巡检系统， 其特征在于， 所述仪表图像样 本中包括所有巡检设备的仪表读数及该读数对应的设备运行状态。 6.根据权利 要求1所述的一种矿业A R智能设备巡检系统， 其特征在于， 所述数据库(27) 包括巡检问题数据库(271)、 巡检 设备数据库(272)及专家数据库(273)， 所述巡检问题数据 库(271)中包 含有历史巡检过程中出现的问题及其对应的解决方案 。 7.根据权利要求1所述的一种矿业AR智能设备巡检系统， 其特征在于， 所述语音指令控 制模块(33)包括语音采集模块(331)、 验证识别模块(332)、 语音处理模块(333)、 音频编解 码模块(3 34)及指令执 行模块(3 35)； 所述语音采集模块(3 31)用于采集巡检过程中的语音信号； 所述验证识别模块(332)用于通过VQ码本结合SVM分类模型对采集的语音信号进行识 别； 所述语音处理模块(333)用于采用小波频带阈值消噪算法对识别后的语音信号进行处 理； 所述音频编解码模块(334)用于对消噪后的语音信号进行编码及解码， 实现语音信号 的模数转换； 所述指令执 行模块(3 35)用于根据转换后的语音信号执 行相应的语音指令 。 8.根据权利要求7所述的一种矿业AR智能设备巡检系统， 其特征在于， 所述验证识别模权　利　要　求　书 2/3 页 3 CN 115484436 A 3