(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210713767.3 (22)申请日 2022.06.22 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 唐小初　朱翌　舒畅　陈又新　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 医学图像识别模型的训练方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种医学 图像识别模型的训练方法， 包括： 根据掩膜自编 码器预训练方法， 利用预构建的标注样本集及无 标注样本集对预构建的视觉转换模型进行半监 督训练； 提取视觉转换模型中的编码器权重参 数， 并将所述编码器权重参数迁移至预构建的本 地编码器中， 得到本地更新编码器； 调用预设的 下游医疗任务译码器， 将所述本地更新编码器及 所述下游医疗任务译码器进行连接， 得到预训练 医学图像识别模型； 利用与构建任务样本集， 对 所述预训练医学图像识别模型进行训练， 得到训 练完成的医学图像识别模型。 本发 明还提出一种 医学图像识别模型的训练装置、 设备及存储介 质。 本发明可以对医学图像识别模 型的结构及所 需样本数量进行优化。 权利要求书3页 说明书10页 附图5页 CN 115205225 A 2022.10.18 CN 115205225 A 1.一种医学图像识别模型的训练方法， 其特 征在于， 所述方法包括： 根据掩膜自编码器预训练方法， 利用预构建的标注样本集及无标注样本集对预构建的 视觉转换模型进行半监 督训练， 得到训练完成的视 觉转换模型； 提取所述视觉转换模型中的编码器权重参数， 并将所述编码器权重参数迁移至预构建 的本地编码器中， 得到 本地更新编码器； 调用预设的下游医疗任务译码器， 将所述本地更新编码器及所述下游医疗任务译码器 进行连接， 得到预训练医学图像识别模型； 利用所述下游医疗任务译码器对应的任务样本集， 对所述预训练医学图像识别模型进 行训练， 得到训练完成的医学图像识别模型。 2.如权利要求1所述的医学图像识别模型的训练方法， 其特征在于， 所述根据掩膜自编 码器预训练方法， 利用预构建的标注样本集及无标注样本集对预构建的视觉转换模型进 行 半监督训练， 得到训练完成的视 觉转换模型， 包括： 利用预构建的有标注样本， 训练得到的视 觉转换模型； 根据预设的遮蔽比例， 对预构建的无标注样本集合中各个样本数据进行遮蔽， 得到遮 蔽数据集 合； 利用所述视觉转换模型对所述遮蔽数据集合进行识别， 得到各个遮蔽数据对应的识别 结果及准确性 概率分数； 获取准确性概率分数大于或等于预设的合格 阈值的遮蔽数据对应的识别结果， 作为的 无标注样本， 并将所述识别结果作为所述无 标注样本的伪标注， 得到伪标注样本； 计算各个所述 准确性概率分数的平均值， 并判断所述平均值的收敛性； 当所述平均值未收敛时， 将所述伪标注样本导入所述有标注样本中， 并返回上述利用 预构建的有标注样本， 训练得到的视 觉转换模型的步骤， 对所述视 觉转换模型进行 更新； 当所述平均值收敛时， 得到训练完成的视 觉转换模型。 3.如权利要求2所述的医学图像识别模型的训练方法， 其特征在于， 所述利用预构建的 有标注样本， 训练得到的视 觉转换模型， 包括： 将所述有标注样本进行图片拆分， 得到所述有标注样本的图块 集合； 利用预设的映射矩阵将所述图块 集合中每个图块进行一维映射， 得到图块向量 集合； 利用预构建的全连接层对图块向量 集合进行连接排布， 得到二维向量； 根据对所述二维向量先后分别进行列特征提取操作及行特征提取操作， 分别得到位置 关系特征向量及通道关系特 征向量； 利用高斯误差线性损 失函数、 所述位置关系特征向量及所述通道关系特征向量， 训练 得到视觉转换模型。 4.如权利要求1所述的医学图像识别模型的训练方法， 其特征在于， 所述利用所述下游 医疗任务译码器对应的任务样本集， 对所述预训练医学图像识别模型进行训练， 得到训练 完成的医学图像识别模型， 包括： 利用预训练医学图像识别模型对所述下游医疗任务译码器对应的任务样本集进行模 型预测， 得到预测结果 集； 根据预设损失函数， 计算所述预测结果集与所述任务样本集中各个任务样本的真实结 果的损失值；权　利　要　求　书 1/3 页 2 CN 115205225 A 2最小化所述损 失值， 得到所述损 失值最小时的网络参数， 并利用所述网络参数进行网 络反向传播， 更新所述预训练医学图像识别模型； 判断所述损失值是否小于预设阈值； 当所述损失值大于或等于所述预设阈值 时， 返回上述利用预训练医学图像识别模型对 所述下游医疗任务译码器对应的任务样本集进行模型预测， 得到预测结果集的步骤， 对上 述预训练医学图像识别模型进行迭代更新； 当所述损失值小于所述预设阈值时， 得到训练完成的医学图像识别模型。 5.如权利要求1所述的医学图像识别模型的训练方法， 其特征在于， 所述提取所述视觉 转换模型中的编码器权重参数， 并将所述编码器权重参数迁移至预构建的本地编码器中， 得到本地更新编码器， 包括： 利用torc h.save函数包， 获取 所述视觉转换模型的编码器权 重参数的存 储地址； 根据所述存储地址， 利用torch.load函数包， 将所述存储地址中的编码器权重参数迁 移至预构建的本地编码器中， 得到 本地更新编码器。 6.一种医学图像识别模型的训练装置， 其特 征在于， 所述装置包括： 半监督学习模块， 用于根据掩膜自编码器预训练方法， 利用预构建的标注样本集及无 标注样本集对预构建的视 觉转换模型进行半监 督训练， 得到训练完成的视 觉转换模型； 知识迁移模块， 用于提取所述视觉转换模型中的编码器权重参数， 并将所述编码器权 重参数迁移至预构建的本地编码器中， 得到 本地更新编码器； 模型拼接模块， 用于调用预设的下游医疗任务译码器， 将所述本地更新编码器及所述 下游医疗 任务译码器进行 连接， 得到预训练医学图像识别模型； 微调训练模块， 用于利用所述下游医疗任务译码器对应的任务样本集， 对所述预训练 医学图像识别模型进行训练， 得到训练完成的医学图像识别模型。 7.如权利要求6所述的医学图像识别模型的训练装置， 其特征在于， 所述根据掩膜自编 码器预训练方法， 利用预构建的标注样本集及无标注样本集对预构建的视觉转换模型进 行 半监督训练， 得到训练完成的视 觉转换模型， 包括： 利用预构建的有标注样本， 训练得到的视 觉转换模型； 根据预设的遮蔽比例， 对预构建的无标注样本集合中各个样本数据进行遮蔽， 得到遮 蔽数据集 合； 利用所述视觉转换模型对所述遮蔽数据集合进行识别， 得到各个遮蔽数据对应的识别 结果及准确性 概率分数； 获取准确性概率分数大于或等于预设的合格 阈值的遮蔽数据对应的识别结果， 作为的 无标注样本， 并将所述识别结果作为所述无 标注样本的伪标注， 得到伪标注样本； 计算各个所述 准确性概率分数的平均值， 并判断所述平均值的收敛性； 当所述平均值未收敛时， 将所述伪标注样本导入所述有标注样本中， 并返回上述利用 预构建的有标注样本， 训练得到的视 觉转换模型的步骤， 对所述视 觉转换模型进行 更新； 当所述平均值收敛时， 得到训练完成的视 觉转换模型。 8.如权利要求7所述的医学图像识别模型的训练装置， 其特征在于， 所述利用预构建的 有标注样本， 训练得到的视 觉转换模型， 包括： 将所述有标注样本进行图片拆分， 得到所述有标注样本的图块 集合；权　利　要　求　书 2/3 页 3 CN 115205225 A 3