(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726680.X (22)申请日 2022.06.24 (71)申请人 华中科技大 学协和深圳医院 地址 518060 广东省深圳市南 山区桃园路 89号 (72)发明人 姜伟　邓晓妃　朱婷　杨意　 柳懿垚　雷柏英　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 朱阳波 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 超声自动乳腺全容积图像的识别方法、 装 置、 终端及 介质 (57)摘要 本发明公开了一种超声自动乳腺全容积图 像的识别方法、 装置、 终端及介质， 构建了用于提 取局部信息的CNN网络分支和用于提取全局信息 的Transformer网络分支， 然后将同一超声自动 乳腺全容积图像 分别输入至两个网络分支， 层级 提取对应的特征图， 并将两个分支提取的特征图 结合上一层级输出的融合后特征图， 通过空间和 通道混合注意力机制进行融合， 使得CNN网络分 支的局部信息层级引导Tran sformer网络分支的 全局信息， 增强Transformer网络分支的特征提 取能力。 与现有技术相比， 能够准确识别超声自 动乳腺全容积图像中各种大小和形态的感兴趣 区域。 权利要求书2页 说明书11页 附图5页 CN 115187530 A 2022.10.14 CN 115187530 A 1.超声自动乳腺全容积图像的识别方法， 其特 征在于， 所述方法包括： 将超声自动乳腺全容积图像分别输入CNN网络分支和Transformer网络分支， 对每一个 网络分支的层级输出采用3D卷积 操作， 获得多种尺度的CN N特征图和Transformer特 征图； 依据特征图的尺度从小至大顺序， 基于空间和通道混合注意力 机制， 将每一层级的CNN 特征图与对应层 级的Transformer特征图、 上一层 级的融合后特征图进 行融合， 获得当前层 级的融合后特 征图并逐层迭代直至获得最后层级的融合后特 征图； 基于所述 最后层级的融合后特 征图， 获得识别后的图像并输出。 2.如权利要求1所述的超声自动乳腺全容积图像的识别方法， 其特征在于， 所述基于空 间和通道混合注意力机制， 将CNN特征图与Tr ansformer特征图、 上一层级的融合后特征图 进行融合， 获得当前层级的融合后特 征图， 包括： 若当前层级为第一层级， 将所述CNN特征图和所述Transformer特征图输入 空间和通道 混合注意力模型， 获得第一注意力引导特征， 将所述第一注意力引导特征设为所述当前层 级的融合后特 征图； 否则， 将所述CNN特征图和所述上一层级的融合后特征图输入空间和通道混合注意力模型， 获得第二注意力引导特 征； 将第二注意力引导特征与所述Transformer特征图融合， 获得所述当前层级的融合后 特征图。 3.如权利要求2所述的超声自动乳腺全容积图像的识别方法， 其特征在于， 所述空间和 通道混合注意力模型包括空间注意力块和通道注意力块， 将所述CNN特征图作为第一特征 图， 所述Transformer特征图或所述上一层 级的融合后特征图作为第二特征图， 将第一特征 图和第二特 征图输入空间和通道混合注意力模型， 获得注意力引导特 征， 包括： 将所述第一特征图输入空间注意力块， 进行最大池化和平均池化的级联输出， 获得空 间注意力图； 将所述第二特征图输入通道注意力块， 进行最大池化和平均池化的并行输出并将输出 结果相加， 获得通道 注意力图； 将所述第二特征图与 所述通道注意力图和所述空间注意力图连乘， 并与所述第 一特征 图进行加权相加， 获得 所述注意力引导特 征。 4.如权利要求1所述的超声自动乳腺全容积图像的识别方法， 其特征在于， 所述 Transformer网络分支包括Swin ‑Transformer块， 所述Swin ‑Transformer块包括用于捕获 更多全局信息的膨胀多头自注 意力机制， 所述膨胀多头自注 意力机制与Swin ‑Transformer 的窗口自注意力机制并行采样并将输出 结果相加。 5.如权利要求4所述的超声自动乳腺全容积图像的识别方法， 其特征在于， 膨胀多头自 注意力机制对特 征图进行采样， 包括： 对特征图进行区间采样， 提取八个不同位置的特 征； 根据窗口自注意机制处 理提取的特 征， 输出采样结果。 6.如权利要求1所述的超声自动乳腺全容积图像的识别方法， 其特征在于， 获得识别后 的图像并输出后， 还 包括： 获取乳头下阴影、 肋骨阴影的空间位置关系和共同特 征；权　利　要　求　书 1/2 页 2 CN 115187530 A 2对所述空间位置关系和所述共同特 征进行判定以去除乳 头下阴影和肋骨阴影。 7.如权利要求1所述的超声自动乳腺全容积图像的识别方法， 其特征在于， 获得识别后 的图像并输出后， 还 包括： 基于网络的分割概 率， 获得全局最大值； 对网络的分割概 率进行划分， 获得分割概 率块； 获得每个所述分割概率块的局部最大值， 当所述局部最大值与 所述全局最大值的比值 大于设定阈值时， 筛 选当前分割概 率块的遍历点并加入遍历点 集合中； 输出用于对识别结果进行分类的遍历点 集合。 8.超声自动乳腺全容积图像的识别装置， 其特 征在于， 所述装置包括： 层级特征图获取模块， 用于将超声自动乳腺全容积图像分别输入CNN网络分支和 Transformer网络分支， 对每一个网络分支的层级输出采用3D卷积操作， 获得多种尺度的 CNN特征图和Transformer特 征图； 融合后特征图获取模块， 用于依据特征图的尺度从小至大顺序， 基于空间和通道混合 注意力机制， 将每一层级的CNN特征图与对应层级的Tr ansformer特征图、 上一层级的融合 后特征图进行融合， 获得当前层级的融合后特征图并逐层 迭代直至获得最后层级的融合后 特征图； 识别结果获取模块， 用于基于所述最后层级的融合后特征图， 获得识别后的图像并输 出。 9.智能终端， 其特征在于， 所述智能终端包括存储器、 处理器以及存储在所述存储器上 并可在所述处理器上运行的超声自动乳腺全容积图像的识别程序， 所述超声自动乳腺全容 积图像的识别程序被所述处理器执行时实现如权利要求 1‑7任意一项 所述超声自动乳腺全 容积图像的识别方法的步骤。 10.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有超声自动乳 腺全容积图像的识别程序， 所述超声自动乳腺全容积图像的识别程序被处理器执行时实现 如权利要求1 ‑7任意一项所述超声自动乳腺全容积图像的识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115187530 A 3