(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210446123.2 (22)申请日 2022.04.26 (71)申请人 云南电网有限责任公司电力科 学研 究院 地址 650000 云南省昆明市经济技 术开发 区云大西路10 5号 (72)发明人 文刚　潘浩　马仪　马御棠　 马宏明　曹俊　杨明昆　 (74)专利代理 机构 深圳中细软知识产权代理有 限公司 4 4528 专利代理师 袁文英 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 7/246(2017.01)G06T 7/55(2017.01) (54)发明名称 机器人定位系统、 方法、 设备和介质 (57)摘要 本发明公开了机器人定位系统、 方法、 设备 和介质， 结合了光度一致性和温度一致性来进行 位姿跟踪， 使本发明在不同的环 境中均具有 稳定 的性能。 并且， 将光度信息和温度信息整合到了 同一个框架中， 实现了光度信息和温度信息的紧 密耦合， 进而进行位姿跟踪， 能获得更好的定位 效果。 此外还通过最小二乘法对 所述巡检机器人 多个位姿的误差累积进行优化， 输出优化后的位 姿， 以定位所述巡检机器人的巡检过程， 可进一 步的提高定位的准确性。 权利要求书3页 说明书9页 附图3页 CN 114998429 A 2022.09.02 CN 114998429 A 1.一种机器人定位系统， 其特征在于， 应用于设置有可见光相机及红外相机的巡检机 器人上， 所述可见光相机用于拍摄可见光图像， 所述红外相机用于拍摄红外图像， 所述系统 包括： 光度标定模块， 温度标定模块， 位姿初始化模块， 位姿估计模块， 后端优化模块； 所述光度标定模块， 用于对所述可见光相机在成像过程中的光度参数进行标定， 以基 于标定后的光度参数调整可见光图像的光度信息， 直至获取的可见光图像满足光度一致 性； 其中， 所述 光度一致性指示同一像素在不同可 见光图像的光度信息是相同的； 所述温度标定模块， 用于对所述红外相机成像过程中的漂移进行标定， 以消除所述红 外相机成像过程中产生的温度噪声， 直至获取的红外图像满足温度一致性； 其中， 所述 温度 一致性指示同一像素在不同红外图像的温度信息是相同的； 所述位姿初始化模块， 用于提取可见光图像中的稀疏特征点， 利用相邻两帧可见光图 像之间的特征点对， 计算所述巡检机器人的初始相对位姿； 其中， 所述特征点对由稀疏特征 点构成； 所述位姿估计模块， 用于基于稀疏特征点仿射变换下的光度差和温度差建立误差函 数， 最小化所述 误差函数， 以对所述巡检机器人的当前位姿 进行跟踪； 所述后端优化模块， 用于通过最小二乘法对所述巡检机器人多个位姿的误差累积进行 优化， 输出优化后的位姿， 以定位所述巡检机器人的巡检过程。 2.根据权利要求1所述的方法， 其特征在于， 所述光度参数为所述光学相机的响应函 数， 所述响应函数用于指示输入的曝光量和输出 的可见光图像中的光度信息之间的关系， 所述光度标定模块， 具体用于： 每当所述可见光相机拍摄时， 调整所述可见光相机的曝光时间， 获取拍摄得到的多张 可见光图像， 并确定每张可见光图像内每一像素点的光度信息； 其中， 所述多张见光图像为 所述可见光相机针对同一静止场景拍摄的不同角度的可 见光图像； 获取所述可见光相机的辐照度图像及所述光学相机 中光学模块的影响参数， 基于不同 可见光图像内的光度信息， 通过最大似然估计轮流最小化所述响应函数和所述辐照度图像 与所述影响参数的乘积， 以标定所述响应函数， 直至获取的可 见光图像满足光度一 致性。 3.根据权利要求2所述的方法， 其特 征在于， 所述温度标定模块， 具体用于： 获取与所述多张可见光图像在相同时刻拍摄的多张红外图像， 并确定每张红外图像 内 每一像素点的温度信息； 基于在不同可见光图像 内相同的光度信 息确定任一像素点的移动速度， 根据 所述移动 速度及红外图像之间的时间 间隔确定在不同红外图像内对应的同一像素点； 基于所述红外相机的红外辐射， 调整不同红外图像中同一像素点的温度信 息出现的增 益和漂移， 以消除所述红外相 机在成像过程中产生的热量干扰和红外图像的固定噪声， 直 至红外图像满足温度一 致性。 4.根据权利要求1所述的方法， 其特 征在于， 所述 位姿初始化模块， 具体用于： 若目标像素点与预设邻域内的像素点之间的灰度差值大于预设值， 则确定所述目标像 素点作为稀疏 特征点； 其中， 所述目标像素点 为可见光图像中的任意 一个像素点； 将稀疏特征点的数量大于第 一预设数量的可见光图像作为关键帧， 将第 一个关键帧作 为初始关键 帧， 确定所述初始关键帧和所述初始关键帧的下一帧之间的特征点对， 基于所 述特征点对进 行三角初始化， 以得到包含地图点的地图； 其中， 所述地图的地图点用于描述权　利　要　求　书 1/3 页 2 CN 114998429 A 2所述稀疏 特征点的实际空间位置； 通过所述地图点和所述特征点对构建单应矩阵和基础矩阵， 根据 所述单应矩阵和所述 基础矩阵计算所述巡检机器人的初始相对位姿。 5.根据权利要求 4所述的方法， 其特 征在于， 所述 位姿估计模块， 具体用于： 将当前时刻获取的可见光图像作为当前帧， 对包含在所述当前帧上的地图点， 确定在 所述初始关键帧上的第一投影点和在所述当前帧上的第二投影点； 计算所述第 一投影点和所述第 二投影点之间仿射变换下的灰度差和温度差， 根据 所述 灰度差和所述温度差构建对应的二范数误差函数， 最小化所述二范数误差函数， 以估计所 述巡检机器人的当前位姿。 6.根据权利要求5所述的方法， 其特 征在于， 所述 位姿估计模块， 还具体用于： 以所述第一投影点为中心， 将在所述初始关键帧内预设位置处的像素点确定为第 一投 影图像块， 及以所述第二投影点为中心， 将在所述当前帧内相同预设位置处的像素点确定 为第二投影图像块； 根据所述第一投影图像块和所述第二投影图像块之间的灰度差和温度差构建八维残 差函数， 最小化所述八维残差函数， 以优化所述巡检机器人的当前位姿。 7.根据权利要求6所述的方法， 其特 征在于， 所述后端优化模块， 具体用于： 创建包含第 二预设数量个关键帧的滑动窗口， 当确定新的关键帧加入到所述滑动窗口 时， 边缘化所有关键帧对应的地图点及最后获取的两个关键帧中未观察到的像素点； 通过最小二乘法多个位姿的误差累积确定从所述滑动窗口中被移除的关键帧， 将被确 定移除的关键帧从所述滑动窗口移除。 8.一种机器人定位方法， 其特征在于， 应用于设置有可见光相机及红外相机的巡检机 器人上， 所述可见光相机用于拍摄可见光图像， 所述红外相机用于拍摄红外图像， 所述方法 包括： 对所述可见光相机在成像过程中的光度参数进行标定， 以基于标定后的光度参数调整 可见光图像的光度信息， 直至获取的可见光图像满足光度一致性； 其中， 所述光度一致性指 示同一像素在不同可 见光图像的光度信息是相同的； 对所述红外相机成像过程中的漂移进行标定， 以消除所述红外相机成像过程中产生的 温度噪声， 直至获取的红外图像满足温度一致性； 其中， 所述光度一致性指示同一像素在不 同红外图像的温度信息是相同的； 提取可见光图像中的稀疏特征点， 利用相邻两帧可见光图像之间的特征点对， 计算所 述巡检机器人的初始相对位姿； 其中， 所述特 征点对由稀疏 特征点构成； 基于稀疏特征点仿射变换下的光度差和温度差建立误差函数， 最小化所述误差函数， 以对所述巡检机器人的当前位姿 进行跟踪； 通过最小二乘法对所述巡检机器人多个位姿的误差累积进行优化， 输出优化后的位 姿， 以定位所述巡检机器人的巡检过程。 9.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处理 器执行时， 使得 所述处理器执行如权利要求8中所述方法的步骤。 10.一种机器人定位设备， 包括存储器和处理器， 其特征在于， 所述存储器存储有计算 机程序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行如权利要求8中所述方权　利　要　求　书 2/3 页 3 CN 114998429 A 3