(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211301638.X (22)申请日 2022.10.24 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 赵子健　宋赫　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 任欢 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/60(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 应用于机器人辅助手术视频分析的实时手 术工具检测方法 (57)摘要 本发明属于计算机辅助手术的技术领域， 尤 其涉及一种应用于机器人辅助手术视频分析的 实时手术工具检测方法， 包括： 采集计算机辅助 手术视频并处理得到手术图像； 对手术图像以逐 像素预测方式进行分类预测， 回归 预测与中心度 预测； 根据回归预测得到手术工具的候选边界 框， 利用分类预测和中心度预测得到候选候选边 界框的预测得分， 利用后处理非极大值抑制算法 对预测得分进行处理， 得到最终的边界框。 本发 明采用无锚框卷积神经网络架构， 避免了复杂的 锚框计算， 显著减少了参数的数量。 并结合了注 意力机制来增强网络的表达能力， 提高了网络的 检测精度。 权利要求书2页 说明书6页 附图2页 CN 115546698 A 2022.12.30 CN 115546698 A 1.应用于 机器人辅助手术视频分析的实时手术工具检测方法， 其特 征在于， 包括： 采集计算机 辅助手术视频并处 理得到手术图像； 对手术图像以逐像素 预测方式进行分类预测， 回归预测以及中心度预测； 根据回归预测得到手术工具的候选边界框， 利用分类预测和中心度预测得到候选候选 边界框的预测得分， 利用后处理非极大值抑制算法对预测得分进行处理， 得到最终的边界 框。 2.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法， 其 特征在于， 采用训练轻量级神经网络框架后得到的骨干网络对手术图像进 行特征提取以及 特征融合后， 利用输出头进行分类预测、 回归预测 和中心度预测。 3.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法， 其 特征在于， 所述骨干网络为垮桥网络， 包括 一个卷积模块和四个桥模块。 4.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法， 其 特征在于， 所述的特征融合采用多跨阶段路径聚合网络进行， 具体包括： 首先使用空间金字 塔模块对骨干网络的最 终输出特征进 行处理， 然后通过上采样和下采样引出四个不同尺度 的预测路径， 以检测 不同尺度的手术工具， 每条路径都将进行两次高级特征与低级特征之 间的特征融合， 最后融合后的特征一方面进行上采样向下传播， 另一方面输入到输出头进 行预测。 5.如权利要求4所述的应用于机器人辅助手术视频分析的实时手术工具检测方法， 其 特征在于， 所述输出头为注意力头， 利用注意力头输出预测内容， 包括三个独立的分支分别 进行分类预测， 回归预测 和中心度预测。 6.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法， 其 特征在于， 所述利用后处理非极大值抑制算法对最终的预测得分进行处理， 获得最终的预 测边界框， 具体包括： 将所有候选边界框最终的预测得分进行排序， 选中最高预测得分及其对应的候选 框； 遍历其余的候选框， 如果和当前最高分候选框的重叠面积大于一定阈值， 就将该候选 框删除； 从未处理的框中继续选一个得分最高的， 重复上述过程。 7.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法， 其 特征在于， 所述训练神经网络包括： 建立神经网络的损失函数， 使损失函数的值越来越小到 某个值后趋 于不变， 直到卷积神经网络的损失函数曲线拟合， 代 表神经网络训练完成； 总损失函数如下 所示： 其中， Lcls是分类损失， Lctn是中心度损失， Lreg是回归损失， λ是平衡权重， 设为1； Npos表 示正样本数， px,y、 tx,y和ctnx,y分别表示特征图Fi的(x,y)位置的分类预测分数、 回归预测和权　利　要　求　书 1/2 页 2 CN 115546698 A 2中心度预测， 和 分别表示特征图Fi的(x,y)位置的分类标签、 回归标签和中 心度标签； 是指示符函数， 如果该位置有目标， 即 则 是1， 否则为0 。 8.应用于计算机 辅助手术视频分析的实时手术工具检测系统， 其特 征在于： 包括： 手术图像获取模块， 被 配置为： 采集计算机 辅助手术视频并处 理得到手术图像； 手术工具的预测模块， 被配置为： 对手术图像以逐像素预测方式进行分类预测， 回归预 测以及中心度预测； 手术工具的边界框获取模块， 被配置为： 根据回归预测得到手术工具的候选边界框， 利 用分类预测和中心度预测得到候选候选边界框的预测得分， 利用后处理非极大值抑制算法 对预测得分进行处 理， 得到最终的边界框 。 9.计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时实现如 权利要求1 ‑7任一项所述的应用于机器人辅助手术视频分析的实时手术工具检测方法中的 步骤。 10.电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的程序， 其 特征在于， 所述处理器执行所述程序时实现如权利要求1 ‑7任一项所述的应用于机器人辅 助手术视频分析的实时手术工具检测方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115546698 A 3