(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210931458.3 (22)申请日 2022.08.04 (71)申请人 上海大学 地址 200436 上海市宝山区上 大路99号 (72)发明人 武星　李婧雯　 (74)专利代理 机构 上海申汇 专利代理有限公司 31001 专利代理师 翁若莹　柏子雵 (51)Int.Cl. G06F 40/194(2020.01) G06F 40/126(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 15/00(2018.01) (54)发明名称 基于多模态对比学习放射学报告生成模型 训练方法及系统 (57)摘要 本发明揭示了一种基于多模态对比学习的 放射学报告生成模型训练方法及系统， 包括： 采 用自监督的表征学习方法， 基于对比学习的句子 级别的训练策略学习句子表征， 通过成对的图像 和文本之间的双向对比学习得到图像表征； 然后 将所学的图像编码器和句子编码器嵌入放射学 报告生成模型， 通过编码 ‑解码过程生成报告的 Impression部分， 融合视觉特征和语义特征递归 生成报告的Findings部分。 本发明提供的基于多 模态对比学习的放射学报告生成模型训练方法 及系统， 优化了对图像和文本的表征， 实现了放 射学报告生成任务， 可以辅助放射科医生作出诊 断， 并提升诊断过程中的准确性。 权利要求书5页 说明书10页 附图3页 CN 115293128 A 2022.11.04 CN 115293128 A 1.一种基于多模态对比学习放射学报告生成模型训练方法， 其特征在于， 包括以下步 骤： S100、 样本数据采集： 采集放射学影像以及文本数据， 并将影像数据和相对应的文本数据传输至样本数据 库， 其中， 每个文本数据包含一个结论性的诊断语句Impression和一段详细的描述段落 Findings； S200、 多模态对比学习： 采用自监督的表征学习方法， 基于样本数据库 学习得到用于影像数据中的视觉特征的 图像编码器和用于提取文本数据中的语义特 征的句子编码器， 其中： 句子编码器通过基于对比学习的句子级别的训练策略学习句子表征； 图像编码器通过成对的影像数据和文本数据之间的双向对比学习目标来学习图像表 征； S300、 放射学报告生成： 通过融合由图像编码器提取到的视觉特征和由句子编码器提取到的语义特征， 递归地 生成放射学报告的诊断语句Impres sion和描述段落Fi ndings， 具体包括以下步骤： S301、 由Impression生成模块基于编码器 ‑解码器框架， 生成单个的诊断语句 Impression， 具体包括以下步骤： 图像编码器从输入图像中提取视觉特征， 然后将其送入Impression部分句子解码器， 逐字生成整个句子作为诊断语句Impres sion； S302、 由Findings生成模块将图像的视觉特征和句子 的语义特征相融合， 循环生成句 子， 最终生成一个包 含多个结构性语句的长段落， 具体包括以下步骤： 在Findings生成模块中， 为了使生成的句子专注于描述不同的图像区域， 基于注意力 框架， 图像编 码器输出的视觉特征和句子编码器输出的前一个句子的语义特征被输入一个 全连接层， 然后再送入SoftMax层以获得加权的视觉特征， 加权的视觉特征被送入 Findings 部分句子解码器， 由Findings部分句子解码器获得句子的编码， 将句子的编码作为前一个 句子的编 码输入句子编码 器， 输入句子编码 器， 从而获得新的加权的视觉特征， 这个过程不 断重复， 直到Fin dings部分句子解码器产生一个空的句子， 这表明描述段落Findings的生 成已经完成； 其中， 通过加权的视觉特征将前一个句子的编码和图像的视觉特征被结合起来来指导 下一个句子的生成， 用于计算加权 视觉表征的注意力网络 定义为： Vw＝Attention(v,s) 其中， Vw是要得到的加权视觉表征； Attention()是注意力函数； v＝{v1,v2,…,vk}， 是图像编 码器学习的图像特征， 每个特征vi都是一个dv维度的表示， 对应于图像的 一部分； 代表前一句的编码， ds是语义特 征的维度； 鉴于视觉特征 和前一句的编码， 通过一个单一的注意力分配器在图像的K个 区域产生注意力分布， 通过一个单层的神经网络和一个SoftMax函数表示： α ＝softmax(z)权　利　要　求　书 1/5 页 2 CN 115293128 A 2式中： 是一个矢量， 所有元素都设为1； 是注 意力网络的参数； 是注意对(v,s)中v中特 征的权重。 基于注意力分布， 加权的视 觉表示Vw通过以下 方式得到： 式中， αi是α 中的第i维元 素； S400、 报告分析评估： 使用评价指标来评价所生成的放 射学报告： S500、 结果输出： 将分别生成的诊断语句Impression和描述段落Findings组合成一段完整的放射学报 告进行输出， 同时实现用多个评价指标来评估输出 结果。 2.如权利要求1所述的一种基于多模态对比学习放射学报告生成模型训练方法， 其特 征在于， 步骤S100中， 所述样 本数据库中的影像数据和文本数据为一一对应的关系， 并且包 括训练集、 测试集以及验证集。 3.如权利要求2所述的一种基于多模态对比学习放射学报告生成模型训练方法， 其特 征在于， 步骤S200中， 通过基于对比学习的句子级别的训练策 略学习句子表征包括以下步 骤： 对于一个句子的集合中的同一个句子， 通过实施不同的数据增强方法， 获得一系列不 同增强版本的句子表征作为训练集、 测试集或验证集中的正例， 其 他句子则作为负例； 对句子编码器进行训练时， 通过最大限度地提高同一样本的不同增强版本的句子表征 之间的一致性， 同时保持不同样本的句子向量之间相距尽可能远， 建立了句子编 码器， 构建 了有语义的句子嵌入。 4.如权利要求3所述的一种基于多模态对比学习放射学报告生成模型训练方法， 其特 征在于， 步骤S200中， 取一个句子的集合 xi表示第i句句子， m表 示集合 内句子 的总数； 对句子xi施加两种不同的数据增强方法f()和f ′()， 来生成两个不同版本的句子 嵌入ei、 e′i： ei＝f(xi) e′i＝f′(xi) 式中， L是句子嵌入的长度， D是句子嵌入的隐藏维度； 然后， 句子嵌入ei、 e′i被编码以得到句子表征hi、 h′i。 则对于一个小型批次的N句 句子， 句子xi的训练目标li如下： 式中， τ 是一个温度超参数， sim()是余弦相似度， 则有 最终的对比损失 是所有N个批内损失的平均值： 5.如权利要求1所述的一种基于多模态对比学习放射学报告生成模型训练方法， 其特权　利　要　求　书 2/5 页 3 CN 115293128 A 3