(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210039032.7 (22)申请日 2022.01.13 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 毛科技　张拓　陈凯彦　陆伟　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 王兵　舒良 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于细粒度分类的骨龄 评估方法 (57)摘要 一种基于细粒度图像 分类的骨龄评估 方法， 包括： 步骤1)左手手腕骨X光片图像的获取； 步骤 2)输入本发明中设计的基于细粒度分类的骨龄 评估网络进行骨龄评估； 步骤3)获得骨龄评估结 果。 本发明利用细粒度图像分类的方法对左手手 腕骨X光片进行骨龄评估， 设计并实现了一个基 于细粒度图像 分类的骨龄评估网络， 在进行骨龄 评估时， 仅需输入待评估的X光片以及X光片 对应 的性别， 即可得到评估骨龄值。 对于输入的X光 片， 骨龄评估网络能够自适应地提取出其中包含 最多特征信息的若干兴趣区域， 利用这些兴趣区 域的图像特征来进行精确地骨龄评估。 该发明对 0至18岁青少年的左手手腕骨X光片都能进行准 确地骨龄 评估， 具有较大地应用价 值。 权利要求书2页 说明书4页 附图1页 CN 114742745 A 2022.07.12 CN 114742745 A 1.一种基于细粒度分类的骨龄 评估方法， 包括以下步骤： 步骤1： 左手 手腕骨X光片图像的获取； 具体包括： 1)使用python库函数scipy.misc.imread()函数读取待评估的X光片图像， 保存为 array数据类型； 2)使用python库函数Image.fromarray()函数将array数据类型转化为Image数据类 型； 3)使用python库函数transforms.Resize()函数将图像数据都转化成448*448的大小， 对所有待评估的X光片图像都使用相同的大小； 4)使用python库函数transforms.ToTensor()将图像数据转化为Tensor向量， 以供后 续的骨龄 评估网络使用； 步骤2： 输入基于细粒度分类的骨龄评估网络进行骨龄评估； 所述的骨龄评估 网络包括 特征提取器、 兴趣区域选择子网、 指导子网和评估子网： 所述的特征提取器使用ResNet50作为特征提取器来提取左手手腕部X光片的图像特 征； 将ResNet50网络最后的全连接层和Softmax层去除， 仅使用网络的特征提取部分； 经过 特征提取器， 将X光片中地图像特 征提取出来， 生成特 征图； 所述的兴趣区域选择子网根据特征提取器所提取出的图像特征， 选取出X光片中具有 最大信息量的兴趣区域， 即具有最多图像特 征的兴趣区域； 兴趣区域选择子网的输入为特征提取器所生成的特征图， 对这些特征图， 采用了特征 金字塔网络(Feature  Pyramid Networks,FPN)+路径聚合网络(Path  Aggregation   Network， PAN)的结构对不同的特征进行了特征融合， 其结构如图所示； 在特征融合后， 特征 图中的语言信息以及空间信息被增强， 再根据特征图中响应值， 选择出具有最大信息量的 兴趣区域， 记为R1， R2， …， RK； 接着计算K个兴趣区域中的信息量， 信息量定义为I(R)， 兴趣 区域选择子网的目的是按顺序选 出K个ROI,R1， R2， ...， RK， 使得它们满足条件I(R1)>I(R2) >…>I(Rk)； 所述的指导子网对兴趣区域选择子网进行优化， 使兴趣区域选择子网能够选出最具信 息量的ROI； 对于ROI选择子网选出的K的兴趣区域， R1， R2， …， RK， 指导子网对这些兴趣分别 进行分类， 计算出其置信度C(R1)， C(R2)， …， C(RK)， 并将其反馈给兴趣区域选择子网； 置信 度指的是将兴趣区域分类为其对应的真实标签的概率， 置信度越高证明其对于整个手腕骨 X光片进行分类具有越大帮助作用； 兴趣区域选择子网根据指导子网的反馈， 在网络训练过 程中不断优化， 使得最后选出的兴趣区域满足 公式(1)： 即对于ROI选择子网中被选出的ROI， 如果 其信息量更 大， 其置信度也更高； 评估子网进行骨龄评估； 对于输入的手腕骨X光片， 特征提取器提取出整张图片的特 征， 兴趣区域选择子网选出K个具有最大信息量的兴趣区域， 通过特征提取器提取出图像特 征； 在骨龄评估子网中， 将这K+1个特征连接起来， 形成新的图像特征特征； 经过两层 全连接 层， 得到最终的骨龄 评估结果； 步骤3： 获得骨龄 评估结果； 在进行骨龄 评估时， 将0～18岁按月进行划分， 每 个月为一个分类， 共2 28个分类；权　利　要　求　书 1/2 页 2 CN 114742745 A 2待评估的左手手腕骨X光片输入到骨龄评估网络后， 会输出其对应的骨龄值， 范围在0 ～228。权　利　要　求　书 2/2 页 3 CN 114742745 A 3