(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211023942.2 (22)申请日 2022.08.24 (71)申请人 陕西科技大 学 地址 710021 陕西省西安市未央大 学园区 (72)发明人 齐勇　王飞扬　姜何飞飞　李健　 杨钧　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　温瑞鑫 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 17/00(2006.01) G06V 10/26(2022.01) (54)发明名称 一种基于深度学习的骶骨三维模型匹配方 法和装置 (57)摘要 本申请涉及医学图像处理、 深度学习技术领 域， 具体而言， 涉及一种基于深度学习的骶骨三 维模型匹配方法和装置， 一定程度上可以解决由 于标准骶骨三维立体模型与患者三维立体模型 之间的差异比较大， 对两者进行对照时存在一定 困难， 进而影响判断骶髂螺钉植入位置的问题。 所述基于深度学习的骶骨三维模 型匹配方法， 包 括： 获取包括正常骶骨的CT图像， 通过深度学习 神经网络对CT图像进行三维重建， 生成代表正常 骶骨三维模 型的三维点云模型； 获取正常骶骨的 特征部位， 利用深度学习神经网络从特征部位中 选取对应的特征点； 根据特征点， 对三维点云模 型与标识有待测特征点的待测三维模型进行叠 加， 得到三维点云模型与待测三维模 型的叠加图 像。 权利要求书3页 说明书8页 附图3页 CN 115393622 A 2022.11.25 CN 115393622 A 1.一种基于深度学习的骶骨三维模型匹配方法， 其特 征在于， 包括： 获取包括正常骶骨的CT图像， 通过深度学习神经网络对所述CT图像进行三维重建， 生 成代表正常骶骨三维模型的三维点云模型， 所述三维点云模型用于表征包括所述正常骶骨 的高度和骨质密度的信息； 获取所述正常骶骨的特征部位， 利用深度 学习神经网络从所述特征部位中选取对应的 特征点， 所述特 征部位用于表征 所述正常骶骨的组成结构； 根据所述特征点， 对三维点云模型与标识有待测特征点的待测三维模型进行叠加， 得 到三维点云模型与待测三 维模型的叠加图像， 所述待测三 维模型为通过患者骶骨的CT图像 所生成的三维点云模型， 所述待测特征点与所述特征点对应， 所述叠加图像用于表征所述 待测三维模型与所述 三维点云模型之间的区别。 2.如权利要求1所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 所述深度 学习神经网络包括编 码器网络、 全连接层、 解码 器网络和像素分类层， 通过深度学习神经网 络对所述CT图像进行三维重建， 生成代 表正常骶骨三维模型的三维点云模型， 进一 步包括： 基于所述CT图像， 利用所述编码器网络的卷积生成一组特征图后， 将所述特征图输入 到所述全连接层； 通过所述全连接层将包含骶骨位置信 息的特征加入到所述特征图中后， 将所述特征图 输入解码器网络； 通过所述解码器网络对所述特征图进行采样生成稀疏特征图， 所述稀疏特征图用于通 过卷积生成密集特 征图， 所述所述密集特 征图用于 输入到所述像素分类层； 通过像素分类层预测所述密集特征图中每个像素概率对应的最大的类别， 所述类别包 括骶骨和除骶骨之外的其它部位； 基于所述类别对所述CT图像进行语义分割， 得到二维数组， 所述二维数组用于表征所 述CT图像中每个像素点的灰度值， 其中组成骶骨的像素点的灰度值为255， 组成所述其它部 分的像素点的灰度值 为0； 堆叠所述二维数组生成代表骶骨三维模型的三维点云模型， 所述二维数组包括所述CT 图像中的层位置、 图像高度和像素密度信息， 所述图像高度与所述高度对应， 所述像素密度 信息与所述骨质密度信息对应。 3.如权利要求2所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 在所述通 过像素分类层预测所述密集特征图中每个像素概率对应的最大的类别之后， 所述方法还包 括： 设置训练所述深度学习神经网络的优化学习速率、 初始动量、 模型损 失函数和优化器 类型， 其中所述优化器设置为Adam、 所述模型损失函数设置为交叉熵损失函数； 按照所述最大的类别对所述CT图像进行标记， 利用第 一训练集对所述深度学习神经网 络进行训练以对所述特征部位的所属类别进行验证， 所述标记后的CT图像为第一数据集， 所述第一数据集包括第一训练集和第一测试集。 4.如权利要求1所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 所述获取 所述正常骶骨的特 征部位， 进一 步包括： 对所述正常骶骨进行分类， 获取 所述正常骶骨的特 征部位； 其中， 所述正常骶骨的特征部位包括： 骶骨上终板、 骶孔、 椎管、 骶骨翼外侧关节面、 棘权　利　要　求　书 1/3 页 2 CN 115393622 A 2突中线上顶点和棘 突中线下顶点。 5.如权利要求1所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 所述利用 深度学习神经网络从所述特 征部位中选取对应的特 征点， 进一 步包括： 将所述特征部位的三维点云数据输入深度学习神经网络， 得到预设行的二维数组， 所 述深度学习神经网络用于对所述三维点云数据进 行输入变换和特征变换， 所述预设行与所 述特征部位的数量对应； 利用分类函数对每行所述二维数组进行分析， 得到每行所述二维数组中最大概率， 所 述最大概率对应的点云 即为所述特 征点。 6.如权利要求5所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 所述利用 深度学习网络从所述特 征部位中选取对应的特 征点之后， 所述方法进一 步包括： 设置训练所述深度学习神经网络的优化学习速率、 初始动量、 模型损 失函数和优化器 类型， 其中所述优化器设置为Adam、 所述模型损失函数设置为交叉熵损失函数； 按照所述特征部位对所述三维点云数据标记， 利用第 二训练集对所述深度学习神经网 络进行训练， 以对所述特征点的所属类别进 行验证， 其中， 所述标记后的三 维点云数据作为 第二数据集， 所述第二数据集包括第二训练集和第二测试集。 7.如权利要求1所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 所述根据 所述特征点， 对三维点云模型与标识有待测特征点的待测 三维模型进行叠加， 得到三维点 云模型与待测三维模型的叠加图像， 进一 步包括： 根据所述特征点确定缩放比例， 按照所述缩放比例对所述待测三维模型进行缩放， 直 至所述三 维点云模型中第一连线与所述待测三维模型中第二连线重合， 得到缩放后的待测 三维模型， 所述第一连线为所述三维点云模型中第一特征点和第二特征点之间的连线， 所 述第二连线为所述待测三维模型中对应的第一待测特 征点和第二待测特 征点之间的连线； 对所述三维点云模型中的第一平面与缩放后的待测三维模型中的第二平面进行面面 匹配， 所述第一平面由所述第一连线和第三特征点构成， 所述第二平面由所述第二连线和 对应的第三待测特 征点构成； 获取所述第三待测特征点、 第 四待测特征点、 第五待测特征点和第六待测特征点的标 准点， 所述标准点等于每个所述待测三 维模型中对应特征点矩阵相加之和与待测三 维模型 数目之间的商值； 基于所述标准点， 将所述三维点云模型和所述待测三维模型进行叠加， 得到三维点云 模型与待测三维模型的叠加图像。 8.如权利要求7所述的基于深度 学习的骶骨三维模型匹配方法， 其特征在于， 基于所述 特征点， 根据所述特征点确定缩放比例， 按照所述缩放比例对 所述待测三 维模型进 行缩放， 直至所述 三维点云模型中第一连线与所述待测三维模型中第二连线重合， 进一 步包括： 计算所述三维点云模型中任意两个特征点的第 一连线对应的第 一长度， 所述第 一长度 用第一矩阵表示； 计算所述待测三维模型中对应两个特征点的第 二连线对应的的第 二长度， 所述第 二长 度用第二矩阵表示； 基于所述第一矩阵和第二矩阵计算缩放比例； 基于所述缩放比例对所述待测三维模型进行调 整， 使所述第 二连线与 所述第一连线重权　利　要　求　书 2/3 页 3 CN 115393622 A 3