(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210068983.7 (22)申请日 2022.01.20 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 尚方信　何樾　杨叶辉　王晓荣　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 杨静 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 30/20(2018.01) (54)发明名称 图像分类方法、 训练方法、 装置、 电子设备以 及存储介质 (57)摘要 本公开提供了一种图像分类方法、 训练方 法、 装置、 电子设备以及存储介质， 涉及人工智能 技术领域， 尤其涉及计算机视觉和深度学习技术 领域。 具体实现方案为： 根据与目标医学图像对 应的多个目标切片图像， 获取多个目标切片图像 各自的目标图像特征向量， 其中， 目标图像特征 向量是用于表征目标切片图像的全局特征和局 部特征的特征向量； 根据多个目标切片图像各自 的目标图像特征向量， 获取多个目标切片图像各 自的目标分类向量； 对多个目标切片图像各自的 目标分类向量进行处理， 得到多个目标切片图像 各自的分类结果。 权利要求书3页 说明书17页 附图5页 CN 114419375 A 2022.04.29 CN 114419375 A 1.一种图像分类方法， 包括： 根据与目标医学图像对应的多个目标切片图像， 获取所述多个目标切片图像各自的目 标图像特征向量， 其中， 所述 目标图像特征向量是用于表征所述 目标切片图像的全局特征 和局部特征的特征向量； 根据所述多个目标切片图像各自的目标图像特征向量， 获取所述多个目标切片图像各 自的目标分类向量； 以及 对所述多个目标切片图像各自的目标分类向量进行处理， 得到所述多个目标切片图像 各自的分类结果。 2.根据权利要求1所述的方法， 其中， 所述根据与目标医学图像对应的多个目标切片图 像， 获取所述多个目标切片图像各自的目标图像特 征向量， 包括： 根据第一自注意力和局部特征， 对与所述目标医学图像对应的多个目标切片图像进行 处理， 得到所述多个目标切片图像各自的目标图像特 征向量。 3.根据权利要求2所述的方法， 其中， 所述根据第一自注意力和局部特征， 对与所述目 标医学图像对应的多个目标切片图像进行 处理， 得到所述多个目标切片图像各自的目标图 像特征向量， 包括： 对与所述目标医学图像对应的多个目标切片图像进行处理， 得到所述多个目标切片图 像各自的多个目标图像块； 对所述多个目标切片图像各自的多个目标图像块进行处理， 得到与每个所述目标图像 块对应的图像向量； 针对每个所述目标切片图像中的每个目标图像块， 根据与所述目标图像块对应的图像 向量和位置编码， 得到与所述每 个目标图像块对应的目标中间向量； 以及 根据所述第 一自注意力和所述局部特征， 对所述多个目标切片图像各自的多个目标中 间向量进行处 理， 得到所述多个目标切片图像各自的目标图像特 征向量。 4.根据权利要求1～3中任一项所述的方法， 其中， 所述根据所述多个目标切片图像各 自的目标图像特 征向量， 获取 所述多个目标切片图像各自的目标分类向量， 包括： 对所述多个目标切片图像各自的目标图像特征向量进行并行处理， 得到所述多个目标 切片图像各自的目标分类向量。 5.根据权利要求4所述的方法， 其中， 所述对所述多个目标切片图像各自的目标图像特 征向量进行并行处 理， 得到所述多个目标切片图像各自的目标分类向量， 包括： 根据第二自注意力， 对所述多个目标切片图像各自的目标图像特征向量进行处理， 得 到所述多个目标切片图像各自的目标分类向量。 6.根据权利要求5所述的方法， 其中， 所述根据第二自注意力， 对所述多个目标切片图 像各自的目标图像特征向量进行处理， 得到所述多个目标切片图像各自的目标分类向量， 包括： 根据所述第二自注意力， 对所述多个目标切片图像各自的目标图像特征向量进行处 理， 得到所述多个目标切片图像各自之间的关联信息； 以及 根据所述多个目标切片图像各自之间的关联信 息， 得到所述多个目标切片图像各自的 目标分类向量。 7.根据权利要求1～6中任一项所述的方法， 还 包括：权　利　要　求　书 1/3 页 2 CN 114419375 A 2针对与所述目标医学图像对应的多个初始切片图像中的每个初始切片图像， 基于与多 个预定组织各自的窗宽和窗位， 根据所述初始切片图像的强度值， 得到所述多个预定组织 各自的增强图像； 以及 对所述多个预定组织各自的增强图像进行融合， 得到与 所述初始切片图像对应的目标 切片图像。 8.根据权利要求7所述的方法， 其中， 所述对所述多个预定组织各自的增强图像进行融 合， 得到与所述初始切片图像对应的目标切片图像， 包括： 对所述多个预定组织各自的增强图像进行融合， 得到与 所述初始切片图像对应的中间 切片图像； 以及 对与所述初始切片图像对应的中间切片图像进行处理， 得到与 所述中间切片图像对应 的目标切片图像。 9.根据权利要求1所述的方法， 其中， 所述多个目标切片图像各自的目标图像特征向量 是利用图像分类模型包括的特征提取模块处理与所述目标医学图像对应的多个目标切片 图像得到的； 其中， 所述多个目标切片图像各自的目标分类向量是利用所述图像分类模型包括的关 联模块处 理所述多个目标切片图像各自的目标图像特 征向量得到的。 10.根据权利要求9所述的方法， 其中， 所述特征提取模块包括视觉Transformer模型， 所述关联模块包括时序Transformer模型。 11.根据权利要求1～10中任一项所述的方法， 其中， 与所述目标医学图像对应的切片 方式包括横断位切片、 矢状位切片或冠状位切片。 12.一种训练方法， 包括： 根据与样本 医学图像对应的多个样本切片图像， 获取所述多个样本切片图像各自的样 本图像特征向量， 其中， 所述样本图像特征向量是用于表征所述样本切片图像的全局特征 和局部特征的特征向量； 根据所述多个样本切片图像各自的样本图像特征向量， 获取所述多个样本切片图像各 自的样本分类向量； 对所述多个样本切片图像各自的样本分类向量进行处理， 得到所述多个样本切片图像 各自的第一预测分类结果； 以及 利用所述第一预测分类结果和真实分类结果， 训练图像分类模型， 得到经训练的图像 分类模型。 13.根据权利要求12所述的方法， 其中， 所述图像分类模型包括特征提取模块和关联模 块； 所述方法还 包括： 对所述多个样本切片图像各自的样本图像特征向量进行处理， 得到所述多个样本切片 图像各自的第二预测分类结果； 以及 利用所述第二预测分类结果和真实分类结果， 训练所述特征提取模块， 得到经训练的 特征提取模块； 其中， 所述利用所述第一预测分类结果和真实分类结果训练图像分类模型， 得到经训 练的图像分类模型， 包括：权　利　要　求　书 2/3 页 3 CN 114419375 A 3