(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210715024.X (22)申请日 2022.06.23 (65)同一申请的已公布的文献号 申请公布号 CN 114782449 A (43)申请公布日 2022.07.22 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 谢洪涛　马凌峰　陈勋　张勇东　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 6/00(2006.01) 审查员 周锦 (54)发明名称 下肢X光影像中关键点提取方法、 系统、 设备 及存储介质 (57)摘要 本发明公开了一种下肢 X光影像中关键点提 取方法、 系统、 设备及存储介质， 一方面， 针对边 缘点类别的关键点提出了一种新的标签热力图 生成方式， 能使后续关键点检测网络更多地关注 信息相对丰富的边界区域而减少对其垂直方向 的关注； 另 一方面， 通过对不同特征通道之间进 行交互， 实现特征增强； 综合以上两个方面， 可以 提升各类关键点定位精度。 权利要求书3页 说明书9页 附图4页 CN 114782449 B 2022.11.22 CN 114782449 B 1.一种下肢X光影 像中关键点 提取方法， 其特 征在于， 包括： 获取已标注关键点的下肢X光影像， 并根据每一关键点的类别分别生成相应的标签热 力图； 其中， 对属于边 缘点类别的关键点， 利用二元高斯 生成具有方向性的标签热力图； 构造关键点检测网络， 将下肢X光影像输入至所述关键点检测网络， 先提取图像特征， 再处理为特征通道的向量集合， 并通过建模特征通道间的关联进行图像特征 的增强， 利用 增强后的图像特征输出预测热力图； 利用预测热力图与标签热力图构造函数， 并对所述关 键点检测网络进行训练； 其中， 预测热力图中每一 通道对应一个关键点； 训练完毕后， 将下肢X光影像输入至训练后的关键点检测网络， 获得预测热力图， 从预 测热力图中提取每 个通道最大 热力值的位置点作为相应的关键点； 所述通过建模特征通道间的关联进行图像特征的增强包括： 计算特征通道的向量集合 中任意两个特征通道的向量的初始关联系数， 再通过邻接矩阵对所有初始关联系数进 行掩 膜归一化； 将掩膜归一化后的关联系 数作为权值， 采用加权求和的方式对图像特征进行增 强； 通过邻接矩阵对所有初始关联系数进行掩膜归一 化表示为： 其中， 、 分别表示第 k个特征通道 的向量 与第i个特征通道 的向量 的初 始关联系数、 掩膜归一化后的关联系数， 每一个特征通道对应于一个关键点； 表示 LeakyReLU激活函数， 表示拼接操作， W表示可学习的参数矩阵； 表示邻接矩阵 A的第k 行第i列元素值； 表示与第 k个特征通道的向量 存在交互的特征 通道的向量对应的特征通道集合， j表示特征通道集合 中的任一特征通道， 表示任 一与第k个特征通道的向量 存在交互的特征通道的向量， 表示第k个特征通道的向 量 与特征通道的向量 的初始关联系数。 2.根据权利要求1所述的一种下肢X光影像中关键点提取方法， 其特征在于， 所述对属 于边缘点类别的关键点， 利用二元高斯 生成具有方向性的标签热力图包括： 对于第k个关键点， 若其属于边 缘点类别， 则通过 下述方式生成相应的标签热力图： 其中， 表示已标注的第 k个关键点的位置坐标； ( i,j)表示热力图上任意位置坐 标； 表示第k个标签热力图的( i,j)位置坐标处的热力值； 表示二元高斯的协方 差矩阵，T为矩阵转置符号， ×表示矩阵乘法。权　利　要　求　书 1/3 页 2 CN 114782449 B 23.根据权利要求1所述的一种下肢X光影像中关键点提取方法， 其特征在于， 将图像特 征处理为特征通道的向量 集合包括： 将提取的下肢X光影像的图像特征记为 ，C为特征通道的数目， 等同于关键 点数目；h和w代表图像特征在空间上的高度和宽度， 表示实数集； 对每一特征通道对应的 图 像 特 征 分 别进 行自 适 应 平 均池 化 与 展 平 操 作获 得 特 征 通 道的 向 量 集 合 ； 其中， 表示第k个特征通道的向量， 计算方式表示 为： 其中， 表示图像特征 中第k个特征通道对应的图像特征， 第 k个特征通道对应于 第k个关键点， ； APool(.)表示自适应平均池化操作， 表示展平操作。 4.根据权利要求1所述的一种下肢X光影像中关键点提取方法， 其特征在于， 所述邻接 矩阵的获取 方式表示 为： 其中，A表示邻接矩阵， Am表示设定的邻接矩阵， Ar表示随机生成的矩阵， or表示按位逻 辑或操作。 5.根据权利要求1所述的一种下肢X光影像中关键点提取方法， 其特征在于， 所述将掩 膜归一化后的关联系数作为权值， 采用加权求和的方式对图像特 征进行增强包括： 对提取的图像特征中每一特征通道对应的图像特征分别进行增强， 由增强后的所有特 征通道对应的图像特 征构成增强后的特 征Y； 其中， 对第 k个特征通道对应的图像特 征进行增强的方式表示 为： 其中， 表示增强后的第 k个特征通道对应的图像特征， 表示第k个特征通道的 向量 与第i个特征通道的向量 掩膜归一化后的关联系数； 、 分别表示提取 的图像特征中第 k个特征通道、 第 i个特征通道对应的图像特征， C为特征通道的数目， 等同 于关键点数目。 6.一种下肢X光影像中关键点提取系统， 其特征在于， 基于权利要求1~5任一项所述的 方法实现， 该系统包括： 标签热力图生成单元， 用于获取已标注关键点的下肢X光影像， 并根据每一关键点的类 别分别生成相应的标签热力图； 其中， 对属于边缘点类别的关键点， 利用二元高斯生成具有 方向性的标签热力图； 网络构造与训练单元， 用于构造关键点检测网络， 将下肢X光影像输入至所述关键点检 测网络， 通过特征提取器提取图像特征， 并处理为特征通道的向量集合， 再通过建模特征通 道间的关联进行图像特征 的增强， 利用增强后的图像特征输出预测热力图； 利用预测热力权　利　要　求　书 2/3 页 3 CN 114782449 B 3