(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210237564.1 (22)申请日 2022.03.11 (65)同一申请的已公布的文献号 申请公布号 CN 114663372 A (43)申请公布日 2022.06.24 (73)专利权人 北京医准智能科技有限公司 地址 100083 北京市海淀区知春路7号 致真 大厦A座12层1202-120 3号 (72)发明人 丁佳　李小星　马璐　吕晨翀　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 陈婷婷 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/40(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (56)对比文件 CN 109214375 A,2019.01.15 CN 113488200 A,2021.10.08 US 2022031227 A1,202 2.02.03 US 2015300963 A1,2015.10.2 2 CN 111127391 A,2020.0 5.08 邓椀月.乳腺超 声造影预测模型在优化乳腺 病灶BI-RAD S分类中的价 值. 《中国优秀硕士学位 论文全文数据库 (医药卫 生科技辑)》 .2018, Jae Hyun Jeo n et al. .Multiple ROI selection based focal l iver lesi on classificati on in ultrasound ima ges. 《Expert System s with Applications》 .2012, 审查员 郭晓坤 (54)发明名称 一种基于视频的病灶分类方法、 装置、 电子 设备及介质 (57)摘要 本公开提供了一种基于视频的病灶分类方 法、 装置、 电子设备及介质， 通过 从多个样本超声 视频中获取视频片段集合和图像集合， 对视频片 段集合和图像集合进行多层特征提取， 并在特征 提取过程中将特征提取结果合并， 将合并的结果 作为下一层视频特征提取的输入， 最终得到训练 视频特征图集； 基于训练视频特征图集进行训练 得到病灶分类模 型。 通过训练好的病灶分类模型 对待识别的视频特征图集进行识别， 得到病灶的 分类结果。 通过视频片段和样 本图像对模型进行 训练， 既关注了病灶在时间维度的特征， 也关注 了样本图像中病灶的空间维度的特征， 且通过将 不同尺度的特征图拼接传递， 更好的将特征融 合， 使病灶分类模型对病灶的分类结果更加准 确。 权利要求书2页 说明书14页 附图7页 CN 114663372 B 2022.09.23 CN 114663372 B 1.一种基于 视频的病灶分类方法， 其特 征在于， 所述方法包括： 采集病灶的多个样本超声视频， 从所述多个样本超声视频中获取视频片段集合和图像 集合； 所述视频片段集合中的每个视频片段对应一组样本图像， 所述图像集合包括每个视 频片段对应的样本图像， 所述样本图像包括病灶的最大横切面图像和最大纵切面图像； 对所述样本超声视频进行多层特征提取， 每层特征提取包括视频特征提取和图像特征 提取， 将当前层视频特征提取结果和图像特征提取结果进 行合并的结果作为下一层视频特 征提取的输入， 将当前层图像特征提取结果作为下一层图像特征提取 的输入； 第一层视频 特征提取 的输入为所述视频片段集合， 第一层图像特征提取 的输入为所述图像集合； 所述 视频特征提取和图像特征提取的结果分别为特征图的集合； 将最后一层视频特征提取结果 和图像特征提取结果进行合并， 得到训练视频特征图集； 所述将当前层视频特征提取结果 和图像特征提取结果进行合并的结果作为下一层视频特征提取的输入， 包括： 将所述图像 特征提取结果基于所述视频 特征提取结果的时间维度拼接 至所述视频 特征提取结果中； 基于所述训练视频 特征图集进行训练得到病灶分类模型； 对待识别的病灶的超声视频进行 所述多层特 征提取， 得到待识别的视频 特征图集； 通过所述病灶分类模型对所述待识别的视频特征图集进行识别， 得到待识别的病灶的 分类结果。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述多个样本超声视频中获取视频 片段集合， 包括： 每次从任一所述样本超声视频中随机抽取指定帧数的图像， 得到 视频片段； 重复多次随机抽取 所述视频片段， 得到 视频片段集 合。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述多个样本超声视频中获取图像 集合， 包括： 从所述视频片段所属的样本超声视频中截取病灶的最大横切面图像和最大纵切面的 图像， 组成所述视频片段对应的一组样本图像； 所述视频片段集 合中每个视频片段对应的一组样本图像组成所述图像集 合。 4.根据权利要求1所述的方法， 其特 征在于， 所述多层视频 特征提取包括五层， 其中： 第一层视频 特征提取过程依次包括： 一层卷积层和一层最大池化层； 第二层视频特征提取过程依次包括三层瓶颈层： Bottleneck1、 Bottleneck2和 Bottleneck2； 第三层视频特征提取过程依次包括四层瓶颈层： Bottleneck1、 Bottleneck2、 Bottleneck2和Bot tleneck2； 第四层视频特征提取过程依次包括六层瓶颈层： Bottleneck1、 Bottleneck2、 Bottleneck2、 Bot tleneck2、 Bot tleneck2和Bot tleneck2； 第五层视频特征提取过程依次包括三层瓶颈层： Bottleneck1、 Bottleneck2和 Bottleneck2。 5.根据权利要求1所述的方法， 其特 征在于， 所述多层图像特 征提取包括五层， 其中： 第一层图像特 征提取过程依次包括： 一层卷积层和一层最大池化层； 第二层图像特 征提取过程依次包括： 两层卷积层和一层最大池化层； 第三层图像特 征提取过程依次包括： 三层卷积层和一层最大池化层；权　利　要　求　书 1/2 页 2 CN 114663372 B 2第四层图像特 征提取过程依次包括： 四层卷积层和一层最大池化层； 第五层图像特 征提取过程依次包括： 两层卷积层和一层最大池化层。 6.根据权利要求1所述的方法， 其特征在于， 所述通过所述病灶分类模型对待识别的视 频特征图集进行识别， 得到待识别的病灶的分类结果， 包括： 对待识别的视频 特征图集进行 特征融合和降维， 得到最终特 征图集； 对最终特 征图集进行分类预测， 得到特 征加权值； 基于特征加权值， 得到每一病灶分类级别对应的概 率数据； 基于概率数据， 选取所有分级的最大概率值对应的分级作为所述待识别的病灶的分类 结果。 7.一种基于 视频的病灶分类装置， 其特 征在于， 所述装置包括： 采集模块， 用于采集病灶的多个样本超声视频， 从所述多个样本超声视频中获取视频 片段集合和图像集 合； 特征提取模块， 用于对所述样本超声视频进行多层特征提取， 每层特征提取包括视频 特征提取和图像特征提取， 所述每层视频特征提取和图像特征提取的结果为特征图的集 合； 将当前层视频特征提取结果和图像特征提取结果进行合并的结果作为下一次视频特征 提取的输入， 将当前层图像特征提取结果作为下一次图像特征提取 的输入； 将最后一层视 频特征提取结果和图像特征提取结果进行合并， 得到训练视频特征图集； 对待识别的病灶 的超声视频进行所述多层特征提取， 得到待识别的视频特征图集； 所述将当前层视频特征 提取结果和图像特征提取结果进行合并的结果作为下一层视频特征提取 的输入， 包括： 将 所述图像特征提取结果基于所述视频特征提取结果的时间维度拼接至所述视频特征提取 结果中； 训练模块， 用于基于所述训练视频 特征图集进行训练得到病灶分类模型； 分类预测模块， 用于对得到待识别的视频特征图集进行识别， 得到待识别的病灶的分 类结果。 8.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。 9.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 所述计算机指 令用于使所述计算机执 行根据权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114663372 B 3