(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658858.3 (22)申请日 2021.12.31 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区之江实 验室南湖总部 申请人 浙江大学 (72)发明人 周长江　张伟　王立强　杨青　 袁波　 (74)专利代理 机构 北京志霖恒远知识产权代理 事务所(普通 合伙) 11435 代理人 奚丽萍 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06T 7/194(2017.01)G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于深度多示例学习的电子胆道镜图 像辅助诊断方法 (57)摘要 本发明公开了一种基于深度多示例学习的 电子胆道镜图像辅助诊断方法， 该方法包括胆道 镜系统中获取图像， 图像预处理， 深度多示例学 习模型训练和模 型预测患者胆管狭 窄良恶性。 对 于没有图片级别标注的胆道镜视频截 取图像， 本 方法采用深度多示例学习方法， 将一个患者的所 有图像作为多示例包， 患者的病理结果作为包 标 签进行模型的训练， 充分利用了序列信息， 最终 预测患者胆管狭窄的良恶性。 本方法能辅助医生 对患者的胆道检查进行判断， 提高医生诊断的准 确率和效率。 权利要求书1页 说明书4页 附图2页 CN 114299041 A 2022.04.08 CN 114299041 A 1.一种基于深度多示例学习的电子胆道镜图像辅助诊断方法， 其特征在于： 该方法采 用深度多示例学习的方法， 将一个患者胆道镜检查视频截取 的图片作为多示例包， 利用患 者的病理诊断结果作为包的标签， 经过训练后预测患者的胆管狭窄良恶性： 该方法具体包 括如下步骤： S1： 胆道镜检查系统中获取图像， 即在胆道镜检查过程中， 选择胆管区域部分， 在该段 视频中截取胆道镜图像； S2： 图像预处 理， 即对截取的胆道镜图像进行裁 剪、 尺寸调整、 旋转、 翻转处 理； S3： 深度多示例模型训练， 即以一个患者作为示例包， 患者病 理检测结果作为标签， S2 的图像作为 示例， 进行多示例模型训练； S4： 模型预测患者胆管狭窄良恶性， 即对于患者未知类别的胆管狭窄， 将胆道镜图像通 过S3训练得到的模型进行 预测、 分类。 2.根据权利要求1所述的一种基于深度多示例学习的电子胆道镜图像辅助诊断方法， 其特征在于， 所述的S1中的胆道镜检查系统中获取图像， 具体为： S1.1： 收集胆管狭窄患者的电子胆道镜检查视频和病理检测报告； S1.2： 选取系统中胆管区间的视频 段； S1.3： 在该区域内随机截取40帧图像， 作为深度多示例学习模型的输入。 3.根据权利要求1所述的一种基于深度多示例学习的电子胆道镜图像辅助诊断方法， 其特征在于， 所述的S2中的图像预处 理， 具体为： S2.1： 对选取的视频帧进行裁 剪， 去除背景和设备信息， 只留下胆管部位信息； S2.2： 对裁 剪的图像进行尺寸调整， 使其变成25 6*256大小的彩色图像； S2.3： 对示例图像进行旋转、 翻转操作以进行 数据增强。 4.根据权利要求1所述的一种基于深度多示例学习的电子胆道镜图像辅助诊断方法， 其特征在于， 所述的S3中的深度多示例学习模型训练， 具体为： S3.1： 将图像作为示例， 构成患者示例包， 根据患者病 理检测结果对包进行标注： 恶性 胆管狭窄标注为 正； 良性狭窄标注为负； S3.2： 使用卷积神经网络对胆道镜图像进行特征提取， 减小卷积核大小和卷积层层数， 以适应视频序列的示例数； 对于示例包H中的示例 hi， 在全连接层后面引入注意力机制， 采用动态的权重来表示包 和示例之间的逻辑关系： 其中：  在训练时， 模型的损失函数为交叉熵损失函数， 优化器设置为Adam优化器， 学习率为0   .0001， 权重衰减系数为0.0 005， batch size设置为1， 即以一个包的示例数为 一个batc h。权　利　要　求　书 1/1 页 2 CN 114299041 A 2一种基于深度多示例学习的电子胆道镜图像辅助诊断方 法 技术领域 [0001]本发明涉及深度学习技术领域， 更具体的， 本发明涉及一种基于深度多示例 学习 的电子胆道镜图像辅助诊断方法。 背景技术 [0002]不明原因胆管狭窄的性质判断对制定治疗方案和预后判断具有至关重要的作用， 现如今其在临床仍是巨大挑战。 内镜下逆行胰胆管造影 （ERCP） 技术可显示胆管狭窄的位 置、 形态、 范围， 但 不能准确鉴别狭 窄病变的良恶性质。 电子胆道镜， 如SpyGlass内镜直视系 统可以进入胆道腔内， 直视下观察狭 窄部位胆管的表面结构， 并在直视下取活检， 在胆管癌 检测的价值显著。 然而， 良性狭窄和恶性病变的表面特征无明显差异， 医生依据胆道镜进 行 判断可能存在误差， 所以目前病理诊断仍 为金标准。 [0003]以深度学习为代表的人工智能技术， 在医学 图像辅助诊断中具有准确性高、 定量 客观等优点， 因此取得了重要成就。 医学图像的智能分析依赖于高质量的数据标注， 然而手 动标注工作量大， 且存在主观性。 更重要的， 胆道结构形态复杂， 依据电子胆道镜系统下 的 特征， 医生的胆管狭窄诊断敏感性约为70%， 因此医生也很难判断狭窄性质， 标注病变具体 区域。 上述原因使得普通深度学习算法很难应用其中。 发明内容 [0004]针对现有技术的不足， 本发明提出一种基于深度多示例学习 （MIL） 的电子胆道镜 图像辅助诊断方法。 [0005]一种基于深度多示例学习的电子胆道镜图像辅助诊断方法， 该方法采用深度多示 例学习的方法， 将一个患者胆道镜检查视频截取 的图片作为多示例包， 利用患者的病理诊 断结果作为包的标签， 经 过训练后预测患者的胆管狭窄良恶性： 该 方法具体包括如下步骤： S1： 胆道镜检查系统中获取图像， 即在胆道镜检查过程中， 选择胆管区域部分， 在 该段视频中截取胆道镜图像； S2： 图像预处 理， 即对截取的胆道镜图像进行裁 剪、 尺寸调整、 旋转、 翻转处 理； S3： 深度多示例模型训练， 即以一个患者作为示例包， 患者病理检测结果作为标 签， S2的图像作为 示例， 进行多示例模型训练； S4： 模型预测患者胆管狭窄良恶性， 即对于患者未知 类别的胆管狭窄， 将胆道镜图 像通过S3训练得到的模型进行 预测、 分类。 [0006]作为优选， 所述的S1中的胆道镜检查系统中获取图像， 具体为： S1.1： 收集胆管狭窄患者的电子胆道镜检查视频和病理检测报告； S1.2： 选取系统中胆管区间的视频 段； S1.3： 在该区域内随机截取40帧图像， 作为深度多示例学习模型的输入。 [0007]作为优选， 所述的S2中的图像预处 理， 具体为： S2.1： 对选取的视频帧进行裁 剪， 去除背景和设备信息， 只留下胆管部位信息；说　明　书 1/4 页 3 CN 114299041 A 3