(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822686.7 (22)申请日 2022.07.12 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 申请人 中国医学 科学院北京协和医院 (72)发明人 刘翌勋　秦陈陈　姚建华　常健博　 陈亦豪　冯铭　王任直　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/33(2017.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 目标配准方法、 装置、 设备、 存储介质及程序 产品 (57)摘要 本申请公开了一种目标配准方法、 装置、 设 备、 存储介质及程序产品， 涉及人工智 能技术领 域。 所述方法包括： 获取包含同一目标的待配准 图像和参考图像； 基于待配准图像中目标的位姿 矩阵， 以及参考图像中目标的位姿矩阵， 获取待 配准图像和参考图像之间的初始 配准关系； 根据 初始配准关系和参考图像， 获取配准图像中目标 对应的初步配准结果； 基于待配准图像对应的深 度图像的有效区域， 以及初步配准结果， 获取待 配准图像和参考图像之间的优化配准关系； 根据 优化配准关系， 对初步配准结果进行调整， 获取 配准图像中目标对应的优化配准结果， 优化配准 结果用于引导对象对目标进行处理。 本申请通过 深度图像对初步配准结果进行优化， 能够提高目 标的配准 准确性。 权利要求书3页 说明书21页 附图12页 CN 115187550 A 2022.10.14 CN 115187550 A 1.一种目标配准方法， 其特 征在于， 所述方法包括： 获取包含同一目标的待配准图像和参 考图像； 对所述待配准图像进行检测， 得到所述待配准图像中所述目标的位姿矩阵， 所述位姿 矩阵用于表征 所述目标在图像中的位置和姿态； 基于所述待配准图像中所述目标的位姿矩阵， 以及所述参考图像中所述目标的位姿矩 阵， 获取所述待配准图像和所述参考图像之 间的初始配准关系； 其中， 所述初始配准关系用 于初步表征 所述待配准图像和所述 参考图像之间的变换关系； 根据所述初始配准关系和所述参考图像， 获取所述待配准图像中所述目标对应的初步 配准结果； 基于所述待配准图像对应的深度图像的有效区域， 以及所述初步配准结果， 获取所述 待配准图像和所述参考图像之间的优化配准关系； 其中， 所述深度图像的有效区域包括所 述目标； 根据所述优化配准关系， 对所述初步配准结果进行调整， 获取所述配准图像中所述目 标对应的优化配准结果； 其中， 所述优化配准结果用于引导对象对所述目标进行处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述待配准图像对应的深度图像 的有效区域， 以及所述初步配准结果， 获取所述待配准图像和所述参考图像之间的优化配 准关系， 包括： 获取所述初步配准结果对应的点云； 去除所述初步配准结果对应的点云中的异常值， 得到优化后的点云； 根据所述待配准图像对应的拍摄方向， 从所述优化后的点云中提取目标点云， 所述目 标点云是指以所述拍摄方向观察到的点云； 基于所述目标点云和所述有效区域对应的点云， 迭代优化得到所述待配准图像和所述 参考图像之间的优化配准关系。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述待配准图像进行检测， 得到所 述待配准图像中所述目标的位姿矩阵， 包括： 对所述待配准图像进行目标检测， 得到所述目标对应的边界框； 基于所述目标对应的边界框， 从所述待配准图像中， 截取包括所述目标的截取图像； 对所述截取图像进行关键点检测， 得到所述目标对应的目标关键点； 对所述截取图像进行姿态检测， 得到所述目标对应的旋转矩阵， 所述旋转矩阵用于表 征所述目标的姿态； 基于所述目标关键点和所述旋转矩阵， 得到所述待配准图像中所述目标的位姿矩阵。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述目标对应的边界框， 从所述 待配准图像中， 截取包括所述目标的截取图像， 包括： 对所述边界框进行放大， 得到放大后的边界框； 根据所述 放大后的边界框， 从所述待配准图像中， 截取包括所述目标的截取图像。 5.根据权利要求3所述的方法， 其特征在于， 所述基于所述目标关键点和所述旋转矩 阵， 得到所述待配准图像中所述目标的位姿矩阵， 包括： 基于所述待配准图像对应的深度图像， 获取 所述目标关键点的深度信息； 基于所述待配准图像中所述目标关键点的平面坐标， 以及所述目标关键点的深度信权　利　要　求　书 1/3 页 2 CN 115187550 A 2息， 获取所述目标关键点在世界坐标系下的平移向量； 其中， 所述平移向量用于表征所述目 标关键点在所述待配准图像中的位置； 基于所述平移向量和所述旋转矩阵， 构建得到所述待配准图像中所述目标的位姿矩 阵。 6.根据权利要求3所述的方法， 其特征在于， 所述对所述截取图像进行姿态检测， 得到 所述目标对应的旋转矩阵， 包括： 对所述截取图像进行姿态检测， 得到所述目标对应的输出向量， 所述输出向量用于表 征所述目标在所述截取图像中的姿态； 对所述输出向量进行拆分， 得到第一 正交旋转向量和第二 正交旋转向量； 对所述第一 正交旋转向量进行转换， 得到第一子矩阵； 基于所述第一子矩阵和所述第二 正交旋转向量， 得到第二子矩阵； 对所述第二 正交旋转向量进行转换， 得到第三子矩阵； 基于所述第一子矩阵和所述第三子矩阵， 得到第四子矩阵； 基于所述第一子矩阵、 所述第三子矩阵和所述第 四子矩阵， 得到所述目标对应的旋转 矩阵。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述待配准图像中所述目标的位 姿矩阵， 以及所述参考图像中所述 目标的位姿矩阵， 获取所述待配准图像和所述参考图像 之间的初始配准关系， 包括： 基于所述 参考图像， 构建所述目标对应的参 考模型； 基于所述目标对应的标准数据， 对所述参考模型进行刚体变换， 得到变换后的参考模 型； 基于所述变换后的参 考模型， 获取 所述参考图像中所述目标的位姿矩阵； 对所述待配准图像中所述目标的位姿矩阵， 和所述参考图像中所述目标的位姿矩阵进 行相除， 获取 所述待配准图像和所述 参考图像之间的初始配准关系。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述参考图像， 构建所述目标对 应的参考模型， 包括： 基于所述 参考图像中所述目标的表面数据， 获取 所述目标对应的二 值分割图像； 对所述二值分割图像进行转换， 得到所述目标对应的参考模型； 其中， 所述参考模型由 多个三角面片组成。 9.根据权利要求7所述的方法， 其特征在于， 所述根据所述初始配准关系和所述参考图 像， 获取所述待配准图像中所述目标对应的初步配准结果， 包括： 根据所述初始配准关系， 对所述待配准图像中所述目标进行调整， 获取所述配准图像 中所述目标对应的初步配准模型； 所述根据所述优化配准关系， 对所述初步配准结果进行调整， 获取所述配准图像中所 述目标对应的优化配准结果， 包括： 根据所述优化配准关系， 对所述初步配准模型进行调整， 获取所述配准图像中所述目 标对应的优化配准模型。 10.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述优化配准结果从世界坐标系转换至图像获取设备坐标系下的优化配准结果；权　利　要　求　书 2/3 页 3 CN 115187550 A 3