(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210709108.2 (22)申请日 2022.06.22 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 沈沛意　张亮　党毅轩　郑可　 姜恒　唐亚娇　朱光明　冯明涛　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 王晶 (51)Int.Cl. A61B 34/20(2016.01) A61B 34/30(2016.01) A61B 34/10(2016.01) G06T 7/73(2017.01) G06T 17/00(2006.01)G06V 10/44(2022.01) G06V 10/46(2022.01) (54)发明名称 基于人造特征靶标及引导装置的口腔咽喉 狭小空间视 觉导航方法 (57)摘要 本发明公开了基于人造特征靶标及引导装 置的口腔咽喉狭小空间视觉导航方法， S1： 构建 环绕口腔内部结构的人造引导辅助装置， 设计附 带的内壁人造纹理特征作为视觉辅助； S2： 基于 S1中的引导辅助装置及人造视觉特征辅助， 在漫 游阶段， 通过组合轻量级的视觉里程计与后端优 化模块， 构建基于同步定位与建图技术的末端执 行器自身位姿估计方法； S3； 构造 人造特征靶标， 在执行阶段， 方便S4中算法通过靶标区域对视野 范围内的具体手术器械进行跟踪定位； S4： 在执 行阶段， 构建基于目标位姿检测技术的具体手术 器械位姿估计方法。 本发明能有效应对手术空间 的特殊运行环 境下的诸多实际挑战， 构建针对末 端执行器自身和目标手术器械的稳定、 高精度的 位姿解算。 权利要求书4页 说明书11页 附图2页 CN 115227396 A 2022.10.25 CN 115227396 A 1.基于人造特征靶标及引导装置的口腔咽喉狭小空间视觉导航方法， 其特征在于， 包 括以下步骤； S1： 面向手术机器人末端执行器由人体外部抵近口腔咽喉内部病灶发生区域的漫游阶 段， 构建环绕口腔内部结构的人造引导辅助装置， 充当抵近阶段的物理路径引导， 并设置人 造辅助视觉特征； 所述视觉辅助特征 由不同图案设计的平面棋盘格靶标构成， 位于引导装 置内壁表面； S2： 基于S1中的引导辅助装置及人造辅助视觉特征， 在漫游阶段， 通过组合轻量级的视 觉里程计与后端优化模块， 构建基于同步定位与建图技术的末端执行器自身位姿估计方 法； S3； 手术机器人末端执行器整体模型通过中间连接件， 按照特定方式， 与各类具体手术 器械(如电热手术钳、 激光装置)相连； 构建多种图案设计的平面特征靶标附于中间连接件 侧壁表面， 在执行阶段， 方便S4中算法通过靶标区域对视野范围内的具体手术器械进行跟 踪定位； S4： 基于具体手术器械及相应连接件上的平面特征靶标， 在执行阶段， 通过平面单应性 原理和传统特 征法， 构建基于目标位姿检测技 术的具体 手术器械位姿估计方法。 2.根据权利要求1所述的基于人造特征靶标及引导装置的口腔咽喉狭小空间视觉导航 方法， 其特征在于， 所述S1中所述的环绕口腔内部结构的人造引导辅助装置的构建方法如 下： 环绕引导装置为一中空圆台， 内外径逐步缩小， 最小处外径不大于15毫米， 以满足成人 口腔咽喉内部结构要求； 装置由多个不同规格圆台组件串联构成， 实际使用中， 可以任意组 装以满足口腔咽喉不同区域手术的需求； 中空组件内部表面由平行于执行器进入方向的环 绕侧壁， 以及垂直于进入运行方向的正面狭窄圆台平面组成， 其上设置有大量经过特殊设 计的平面特征图案， 通过不同观测角度为运行视觉算法提供足够的特征点支持， 所述平面 特征图案包括 二维码、 A rUco基准以及多层嵌套同心圆环等 不同形式的靶标； 所述人造引导辅助装置在漫游阶段， 将直接引导手术机器人末端执行器(通过柔性体 连接控制)由患者口腔外部， 通过圆台最大内径 开口处进入， 沿收缩 管道抵达最小内径出口 处， 即病灶发生区域附近 。 3.根据权利要求1所述的基于人造特征靶标及引导装置的口腔咽喉狭小空间视觉导航 方法， 其特征在于， 所述S2中基于同步定位与建图技术的末端执行器 自身位姿估计方法包 括给出当前时刻初始 位姿估计的前端视觉里程计模块， 以及用于持续优化运行通道内整体 估计结果的后端优化模块； 所述前端视觉里程计模块基于ORB(Oriented  FAST and Rotated BRIEF)特征实现， 在 运行通道的连续时刻内， 视觉里程计用以基于当前时刻输入图像 帧， 计算相邻时刻 间相机 的相对位姿转换， 或基于有效连续图像对在初始 时刻对模块进行初始化， 重建基础稀疏地 图点和通道起始。 4.根据权利要求3所述的基于人造特征靶标及引导装置的口腔咽喉狭小空间视觉导航 方法， 其特 征在于， 所述前端视 觉里程计模块的基本原理和流 程如下描述： 基于ORB特征提取图像关键点； 通过暴力匹配和筛选机制获取帧间特征对应关系； 在有 效的初始化单目 图像对间， 构建Frame2Frame的多视图几何模 型， 基于对极约束求取初始相权　利　要　求　书 1/4 页 2 CN 115227396 A 2邻时刻位姿转换， 并由三角测量重 建特征点3D坐标， 确定唯一的单目场景尺度信息； 对于任 意时刻的单目图像输入， 构建从图像像素点到已知重建空间点的特征匹配关系， 构建 Model2Frame的几何模型并基于Pnp(Perspective ‑n‑Point)法求解位姿转换； 向优化模块 提供初始位姿估计， 插 入稀疏地图特 征点； 所述后端优化模块基于多样式光束平差法实现， 在相机标定的内参估计、 初始位姿转 换估计和 地图点重建等过程中， 运行通道内的误差会不断累积， 导致后续估计结果逐渐偏 离实际情况， 优化模块用以在此过程中通过构建不同的帧间共视关系来对通道内整体估计 结果进行约束， 消除误差累积； 采用的光束平差法模式包括以下几种： 针对全体优化目标， 即运行通道内所有时刻对应的位姿状态节点以及相关地图点， 进 行彻底的调优， 在算法初始化阶段， 使用最奢侈的方式(即针对初始化图像帧对， 及初始构 建地图点等全体优化 目标， 基于最小化重投影误差的办法， 进行彻底的优化)， 获取最准确 的初始状态、 地图点及单目尺度估计， 以尽量消除后续 误差累积； 针对局部优化目标， 即通过共视关系搜索确定的围绕当前时刻状态节点的所有其他关 联节点以及被观测地图点， 进行彻底的优化， 在运行通道的任意时刻内， 每次地图点插入 后， 对这一局部区域进行优化； 仅针对位姿状态节点的优化， 在通过前端视觉里程计获取初步位姿估计后， 地图点插 入前， 对估计结果进行初步优化； 以上所有优化过程均基于最小化 地图点到对应图像帧的重投影误差实现。 5.根据权利要求1所述的基于人造特征靶标及引导装置的口腔咽喉狭小空间视觉导航 方法， 其特 征在于， 所述S3中手术器械中间连接件及人造特 征靶标的基本构建方法如下： 手术器械 中间连接件用以作为从柔性体连接臂到器械主体的过渡部分， 由一个立方体 组成， 外侧为四个严格的矩形平面， 用以构建基于人造特 征图案的纹 理支持； 特征图案包括二维码、 ArUco基准以及多层嵌套同心圆环， 多个被观测平面可以为视觉 定位算法提供足够的纹 理支持， 特 征图案设置 于目标手术器械末端组件表面； 所述组件前后端分别连接对应手术器械主体及柔性体连接臂， 为一规则长方体， 正方 形横切面 边长不超过4毫米， 用以适配通用末端手术器械的一般尺寸； 所述组件外侧壁为 四个严格的矩形平面， 表面分别填充有一二维码靶标图案及任一种 其他所述人造靶标特征图案， 即所有 特征点提取严格处于同一平面， 符合单应性原理假设， 同时以为在经过任意旋转后的观测角度中， 仍能够通过对应侧壁平面团特征对当前视野范 围内的手术器械进行位姿估计。 6.根据权利要求1所述的基于人造特征靶标及引导装置的口腔咽喉狭小空间视觉导航 方法， 其特征在于， 所述S4中所述基于特殊特征图案的目标手术器械位姿估计方法主要包 括以下步骤： 步骤1： 算法初始化流程中， 计算执行阶段固定姿态的内窥镜相机到手术器械对应靶标 平面的单应映射关系； 步骤2： 在之后任意连续 时刻， 对当前图像帧输入进行特征点提取和到初始化帧的特征 匹配； 步骤3： 以参照靶标平面设置的随器械主体移动的世界坐标系为基础， 重建当前帧特征权　利　要　求　书 2/4 页 3 CN 115227396 A 3