(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122932.4 (22)申请日 2022.09.15 (71)申请人 北京京东拓先 科技有限公司 地址 100000 北京市北京经济技 术开发区 科创十一 街18号院1号楼7层701室 (72)发明人 李超　付奎　安山　王虎　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G16H 50/70(2018.01) G16H 10/60(2018.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 数据检索方法、 影像数据检 索方法和装置 (57)摘要 本申请提出了一种模 型训练方法、 数据检索 方法、 影像数据检索方法和装置， 其中， 该方法包 括： 通过哈希码提取模型分别确定正常影像样 本、 第一疾病影像样本、 第二疾病影像样本和疾 病诊断文本各自的哈希码； 根据正常影像样本和 疾病诊断文本的哈希码之间的距离以及第一疾 病影像样本和疾病诊断文本的哈希码之间的距 离， 确定跨模态对比损失值； 根据正常影像样本 和第一疾病影像样本的哈希码之间的距离以及 第一疾病影像样本和第二疾病影像样本的哈希 码之间的距离， 确定同模态对比损失值； 根据跨 模态对比损失值和同模态对比损失值对哈希码 提取模型进行训练。 由此， 无需人工标注样本， 降 低哈希码提取模型的训练成本 。 权利要求书4页 说明书15页 附图7页 CN 115410717 A 2022.11.29 CN 115410717 A 1.一种哈希码提取模型的训练方法， 其特 征在于， 所述方法包括： 获取目标部位的正常影像样本、 第一疾病影像样本、 第二疾病影像样本以及与所述第 一疾病影像样本对应的疾病诊断文本， 其中， 所述第一疾病影像样本、 所述第二疾病影像样 本和所述疾病诊断文本所对应的疾病名称是相同的； 通过哈希码提取模型分别确定所述正常影像样本、 所述第一疾病影像样本、 所述第二 疾病影像样本和所述疾病诊断文本各自的哈希码； 根据所述正常影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离以及所述 第一疾病影像样本的哈希码和所述疾病诊断文本的哈希码之间的距离， 确定所述哈希码提 取模型的跨模态对比损失值； 根据所述正常影像样本的哈希码和第一疾病影像样本的哈希码之间的距离以及所述 第一疾病影像样本的哈希码和所述第二疾病影像样本的哈希码之 间的距离， 确定所述哈希 码提取模型的同模态对比损失值； 根据所述跨模态对比损失值和所述同模态对比损失值， 对所述哈希码提取模型进行训 练。 2.如权利要求1所述的方法， 其特征在于， 所述哈希码提取模型包括影像深度网络、 文 本深度网络、 与所述影像深度网络连接的第一哈希层和与所述文本深度网络连接的第二哈 希层， 所述通过哈希码提取模型分别确定所述正常影像样 本、 所述第一疾病影像样本、 所述 第二疾病影 像样本和所述疾病诊断文本各自的哈希码， 包括： 通过所述影像深度网络分别确定所述正常影像样本和所述第二疾病影像样本各自对 应的第一图像特征， 并将所述第一图像特征输入到所述第一哈希层中， 以得到所述正常影 像样本和所述第二疾病影 像样本各自对应的哈希码； 通过所述影像深度网络确定所述第 一疾病影像样本的第 二图像特征， 并通过所述文本 深度网络确定所述疾病诊断文本的文本特 征； 将所述第二图像特征输入到所述第 一哈希层中以得到第 一疾病影像样本的哈希码， 并 将所述文本特 征输入到所述第二哈希层中以得到所述疾病诊断文本的哈希码。 3.如权利要求2所述的方法， 其特征在于， 所述哈希码提取模型还包括自注意力层， 所 述自注意力层设置在所述影像深度网络和所述文本深度网络之 间， 所述通过所述影像深度 网络确定所述第一疾病影像样本的第二图像特征， 并通过所述文本深度网络确定所述疾病 诊断文本的文本特 征， 包括： 通过所述文本深度网络确定所述疾病诊断文本的文本特 征； 将所述文本特 征输入到所述自注意力层中， 以得到所述疾病诊断文本的注意力特 征； 将所述注意力特征输入到所述影像深度网络 中， 以使得所述影像深度网络基于所述注 意力特征对所述第一疾病影像样本进 行病灶特征提取， 得到所述第一疾病影像样本的第二 图像特征。 4.一种基于哈希码提取模型的哈希检索方法， 其特 征在于， 所述方法包括： 获取所述目标部位的待检索数据， 其中， 所述待检索数据的模态为影像模态或者文本 模态； 将所述待检索数据输入到哈希码提取模型， 以得到所述待检索数据对应的目标哈希 码， 其中， 所述哈希码提取模型 是通过权利要求1 ‑3任一项所述的方法训练得到的；权　利　要　求　书 1/4 页 2 CN 115410717 A 2从不同于所述待检索数据的模态的数据库中， 获取与所述目标哈希码匹配的检索结 果。 5.如权利要求4所述的方法， 其特征在于， 所述从不同于所述待检索数据的模态的数据 库中， 获取与所述目标哈希码匹配的检索结果， 包括： 确定所述目标哈希码与所述数据库中各个数据的哈希码之间的距离； 根据所述距离， 从各个所述数据中获取与所述目标哈希码匹配的检索结果。 6.如权利要求5所述的方法， 其特征在于， 所述根据所述距离， 从各个所述数据中获取 与所述目标哈希码匹配的检索结果， 包括： 根据所述距离， 从各个所述数据中选择出距离最短的目标数据作为所述检索结果； 或 者， 按照距离从低到高的顺序对各个所述数据进行排序， 并从排序 结果中选择出排序在前 N位的数据作为所述检索结果， 其中， N 为大于或者 等于1的整数。 7.如权利要求4 ‑6中任一项所述的方法， 其特征在于， 所述数据库中各个数据的哈希码 是通过下述方式得到的： 针对各个数据， 将所述数据输入到所述哈希码提取模型中， 以通过所述哈希码提取模 型得到所述数据的哈希码。 8.一种影 像检索方法， 其特 征在于， 所述方法包括： 获取目标部位的疾病影 像数据； 将所述疾病影像数据输入到哈希码提取模型， 以得到所述疾病影像数据对应的目标哈 希码， 其中， 所述哈希码提取模型 是通过权利要求1 ‑3任一项所述的方法训练得到的； 从所述目标部位对应的疾病诊断文本库中获取与所述目标哈希码对应的目标诊断文 本。 9.一种哈希码提取模型的训练装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取目标部位的正常影像样本、 第 一疾病影像样本、 第 二疾病影像 样本以及与所述第一疾病影像样本对应的疾病诊断文本， 其中， 所述第一疾病影像样本、 所 述第二疾病影 像样本和所述疾病诊断文本所对应的疾病名称是相同的； 第一确定模块， 用于通过哈希码提取模型分别确定所述正常影像样本、 所述第一疾病 影像样本、 所述第二疾病影 像样本和所述疾病诊断文本各自的哈希码； 第二确定模块， 用于根据所述正常影像样本的哈希码和所述疾病 诊断文本的哈希码之 间的距离以及所述第一疾病影像样本的哈希码和所述疾病诊断文本的哈希码之 间的距离， 确定所述哈希码提取模型的跨模态对比损失值； 第三确定模块， 用于根据所述正常影像样本的哈希码和第 一疾病影像样本的哈希码之 间的距离以及所述第一疾病影像样本的哈希码和所述第二疾病影像样本的哈希码之间的 距离， 确定所述哈希码提取模型的同模态对比损失值； 训练模块， 用于根据所述跨模态对比损 失值和所述同模态对比损 失值， 对所述哈希码 提取模型进行训练。 10.如权利要求9所述的装置， 其特征在于， 所述哈希码提取模型包括影像深度网络、 文 本深度网络、 与所述影像深度网络连接的第一哈希层和与所述文本深度网络连接的第二哈 希层， 所述第一确定模块， 包括：权　利　要　求　书 2/4 页 3 CN 115410717 A 3