(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365194.6 (22)申请日 2022.11.03 (71)申请人 国网浙江省电力有限公司宁波供电 公司 地址 315000 浙江省宁波市海曙区丽园北 路1408号 (72)发明人 李杨　林明晖　董元龙　钱锡颖　 岳衡　尚海一　邬黎斌　陈凌　 丁靖　任学海　 (74)专利代理 机构 北京隆源天恒知识产权代理 有限公司 1 1473 专利代理师 吴航 (51)Int.Cl. G01C 21/00(2006.01) G01C 21/16(2006.01)G01C 21/20(2006.01) G06T 7/73(2017.01) G06T 7/33(2017.01) G06T 19/00(2011.01) H02G 1/02(2006.01) B25J 11/00(2006.01) (54)发明名称 基于多传感信息融合的质检方法、 机器人、 设备及介质 (57)摘要 本发明提供一种基于多传感信息融合的质 检方法、 机器人、 设备及介质， 所述方法包括通过 质检机器人的视觉传感器获取质检区域的环境 信息， 基于环 境信息通过位姿预估算法确定视觉 传感器对应的位姿信息； 通过所述质检机器人的 导航传感器获取与质检区域对应的导航信息； 基 于预设的传感信息融合算法将位姿信息与导航 信息进行融合， 得到融合信息； 所述质检机器人 通过融合信息对质检区域进行质检， 并通过所获 取的环境信息对质检区域中的目标对象进行目 标识别； 通过跟踪定位技术对目标对象进行跟踪 定位， 确定目标对象的空间坐标信息， 将空间坐 标信息叠加在目标对象上。 本发 明实施例的方法 能够进行智能质检， 并且 进行信息增强显示。 权利要求书3页 说明书12页 附图2页 CN 115468560 A 2022.12.13 CN 115468560 A 1.一种基于多传感信 息融合的质检方法， 其特征在于， 所述方法应用于质检机器人， 所 述质检机器人包括视 觉传感器以及导 航传感器， 所述方法包括： 通过所述质检机器人的所述视觉传感器获取质检区域的环境信 息， 基于所述环境信 息 通过位姿 预估算法确定所述视觉传感器对应的位姿信息； 通过所述质检机器人的导航传感 器获取与所述质检区域对应的导 航信息； 基于预设的传感信 息融合算法将所述位姿信 息与所述导航信 息进行融合， 得到 融合信 息； 所述质检机器人通过所述融合信息对所述质检区域进行质检， 并通过所获取 的环境信 息对所述质检区域中的目标对象进行目标识别； 通过跟踪定位技术对所述目标对象进行跟踪定位， 确定所述目标对象的空间坐标信 息， 将所述空间坐标信息 叠加在所述目标对象上。 2.根据权利要求1所述的方法， 其特 征在于， 所述环境信息包括可 见光图像信息， 所述通过所述质检机器人的所述视觉传感器获取质检区域的环境信 息， 基于所述环境 信息通过位姿预估确定所述视 觉传感器对应的位姿信息的方法包括： 通过特征提取算法从所述环境信 息中提取与所述环境信 息对应的图像特征信 息， 并将 所述图像特 征信息与实际环境进行匹配； 基于匹配结果， 确定所述可 见光图像信息中相邻帧图像相对预设坐标系的位姿变化； 根据所述位姿变化， 进行位姿优化调整位姿变化所带来的位姿偏差， 确定所述视觉传 感器对应的位姿信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述位姿变化， 进行位姿优化调 整位姿变化所 带来的位姿偏差， 确定所述视 觉传感器对应的位姿信息的方法包括： 根据所述位姿变化， 确定相邻帧图像中视觉传感器对应的中心位置、 相邻帧图像中任 一点在与所述中心位置对应的平面的投影位置； 基于所述中心位置、 所述投影位置， 以及图像特征信息与实际环境的匹配信息， 通过空 间投影关系确定位姿偏差； 通过位姿优化算法调整所述位姿偏差， 以使所述位姿偏差的重投影误差最小从而确定 所述视觉传感器对应的位姿信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述通过位姿优化算法调整所述位姿偏 差， 以使所述位姿偏差的重投影误差最小从而确定所述视觉传感器对应的位姿信息的方法 包括： 按照如下公式所示的方法最小化 位姿偏差的重投影误差： ； 其中，f(xi, yi)表示位姿偏差函数， ； k表示像素点的数量， xi，yi表示配对的点， r表示配对点对应的旋转矩阵， t表示配对点 对应的偏转矩阵， K表示权重参数， uj表示第j个残差，m、n分别表示残差累加的次数和循环 迭代的次数。 5.根据权利要求1所述的方法， 其特征在于， 所述基于预设的传感信 息融合算法将所述权　利　要　求　书 1/3 页 2 CN 115468560 A 2位姿信息与所述 导航信息进行融合， 得到融合信息的方法包括： 根据所述 位姿信息以及所述环境信息， 确定空间偏差状态信息； 根据所述空间偏差状态信 息以及所述导航信 息， 通过所述传感信 息融合算法分别为所 述空间偏差状态信息匹配对应的第一状态矩阵和 为所述导航信息匹配对应的第二状态矩 阵； 根据所述空间偏差状态信 息以及所述第 一状态矩阵、 所述导航信 息以及所述第 二状态 矩阵进行全局最优 估计， 得到融合信息， 其中， 所述第一状态矩阵和所述第二状态矩阵分别用于指示漂移误差和噪声误差对空间偏 差状态信息和导 航信息所造成的误差影响。 6.根据权利要求1所述的方法， 其特征在于， 所述通过跟踪定位技术对所述目标对象进 行跟踪定位， 确定所述 目标对象的空间坐标信息， 将所述空间坐标信息叠加在所述 目标对 象上的方法包括： 通过跟踪定位技术对所述目标对象进行跟踪定位， 确定所述目标对象的空间坐标信 息， 并计算所述空间坐标信息对应的特 征点匹配矩阵； 根据所述特征点匹配矩阵对所述空间坐标信 息进行空间 映射， 确定所述空间坐标信 息 对应的三维空间信息， 将所述三维空间信息与所述 目标对象进行配准， 以使所述空间坐标 信息叠加在所述目标对象上。 7.根据权利要求6所述的方法， 其特征在于， 将所述空间坐标信 息叠加在所述目标对象 之后， 所述方法还 包括： 确定所述空间坐标信 息与所述目标对象在预设空间坐标系中坐标信 息的偏差值； 根据 所述偏差值对所述空间坐标信息进行迭代重 建优化， 直至所述偏差值满足预设条件， 其中， 确定所述偏差值的方法按照如下公式所示： ； 其中，k、q分别表示偏差累加的次数和循环迭代的次数， f(hijRj)表示第i个空间坐标在 第j次循环迭代中与目标对象的偏差函数， hij表示第i个空间坐标在第 j次循环迭代中与目 标对象的空间坐标差值， Rj表示循环迭代函数， Uij表示的第 i个空间坐标在第 j次循环迭代 中与目标对象的空间坐标参 考值。 8.一种应用权利要求1至7中任一项所述的基于多传感信息融合的质检方法的质检机 器人， 其特征在于， 所述质检机器人包括视觉传感器以及导航传感器， 所述质检机器人还包 括： 第一模块， 用于通过所述质检机器人的所述视觉传感器获取质检区域的环境信息， 基 于所述环境信息通过位姿 预估算法确定所述视觉传感器对应的位姿信息； 通过质检机器人 的导航传感器获取与所述质检区域对应的导 航信息； 第二模块， 用于基于预设的传感信 息融合算法将所述位姿信 息与所述导航信 息进行融 合， 得到融合信息； 所述质检机器人通过所述融合信息对所述质检区域进 行质检， 并通过所 获取的环境信息对所述质检区域中的目标对象进行目标识别； 第三模块， 用于通过跟踪定位技术对所述目标对象进行跟踪定位， 确定所述目标对象权　利　要　求　书 2/3 页 3 CN 115468560 A 3