(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081719 9.1 (22)申请日 2022.07.12 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 夏霆坚　黄国恒　王嘉怡　邓戈龙　 杨琦　林超　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于注意力和图卷积的多模态鼻咽癌 图像分割方法 (57)摘要 本发明提供一种基于注意力和图卷积的多 模态鼻咽癌图像分割方法， 包括以下步骤： S1： 获 取鼻咽癌图像， 并将鼻咽癌图像输入图像分割模 型； S2： 利用共享编码器提取鼻咽癌图像各模态 的视觉特征图； S3： 根据各模态的视觉特征图对 应生成各模态的通道注意力特征图； S4： 根据各 模态的通道注意力特征图对应生成各模态的空 间注意力特征图； S5： 将各模态的空间注意力特 征图融合重标定得到多模态融合特征图； S6： 利 用图卷积根据多模态融合特征图生成最终特征 图； S7： 将最终特征图输入 解码器得到分割结果。 本发明提供一种基于注意力和图卷积的多模态 鼻咽癌图像分割方法， 解决了目前的鼻咽癌图像 分割方法仅针对单一模态进行分割的问题。 权利要求书3页 说明书7页 附图1页 CN 115187613 A 2022.10.14 CN 115187613 A 1.一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其特征在于， 包括以下步 骤： S1： 获取鼻咽癌图像， 并将鼻咽癌图像输入图像分割模型； S2： 利用图像分割模型的共享编码器提取 鼻咽癌图像各模态的视 觉特征图； S3： 根据各模态的视 觉特征图对应生成各模态的通道 注意力特 征图； S4： 根据各模态的通道 注意力特 征图对应生成各模态的空间注意力特 征图； S5： 将各模态的空间注意力特 征图融合重标定得到多模态融合特 征图； S6： 利用图卷积根据多模态融合特 征图生成最终特 征图； S7： 将最终特 征图输入图像分割模型的解码器得到分割结果。 2.根据权利要求1所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 所述图像分割模型为3D  U‑Net。 3.根据权利要求1所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 所述鼻咽癌图像的模态包括T1模态、 T1C模态和T2模态。 4.根据权利要求3所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 通过选取一个模态的鼻咽癌图像对所述共享编 码器进行训练得到共享编 码器的 权重参数。 5.根据权利要求3或4所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其特征在于， 步骤S3具体为： 先对各模态 的视觉特征图分别进行全局平均池化操作， 对应得到各模态的中间变量； 然后使用权重共享的1D卷积对各模态的中间变量进 行特征映射， 以捕获非线性跨通道的特 征交互； 最后对各模态的中间变量进行融合与Sigmod激活， 得到各模态的通道注意力 特征 图； 总体运算流程如下： WC(X1,X2,X3)＝σ(Convk(Pavg(X1))+Convk(Pavg(X2))+Convk(Pavg(X3))) 其中， FCi表示第i种模态下输 出的通道注意力特征图， WC表示多模态通道注意力权重， X1 表示T1模态的视觉特征图， X2表示T1C模态的视觉特征图， X3表示T2模态的视觉特征图， σ (·)表示Sigmod激活函数； Pavg(·)表示全局平均池化操作， 其数 学表达式如下： 其中， X(d,h,w)表示输入的视觉特征图在坐标(d,h,w)上的特征值， D， H， W分别表示输 入的视觉特征图的深度、 高度和宽度； Convk表示核大小为 k的1D卷积运 算， k的计算表达式如下： 其中， c表示 通道数， |n|odd表示与n最邻近的奇数， r和b分别为 不同的超参数。 6.根据权利要求5所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 步骤S4具体为：权　利　要　求　书 1/3 页 2 CN 115187613 A 2沿输入各模态通道注意力特征图的通道轴进行GAP操作， 以有效地突出分割目标的区 域分布信息； 随后对并行输出的全局平均池化结果进行Concat操作， 并馈入到一个卷积核 大小为3×3×3的卷积层来 生成空间注意力权 重， 从而生成各模态的空间注意力特 征图； 多模态空间注意力块的总体运 算流程如下： WS＝σ(Conv3×3×3([Pavg(FC1)； Pavg(FC2)； Pavg(FC3)])) 其中， FSi表示第i种模态下输出的空间注意力特征图， WS表示多模态空间注意力权重， Pavg(·)表示全局平均池化操作， FC1、 FC2、 FC3分别表示T1、 T1C和T2模态的通道注意力特征 图， [； ]表示Co ncat操作。 7.根据权利要求6所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 步骤S5具体为： 通过将共享编码器的输出端与解码器的输入端跳跃连接， 将各模态的视觉特征图和空 间注意力特 征图进行融合重标定得到多模态融合特 征图； 其数学化表达如下： 其中， 表示逐元素相加， F表示 为多模态融合特 征图。 8.根据权利要求1所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 步骤S6具体包括以下步骤： S6.1： 将多模态融合特 征图F转换为 坐标空间表示， 得到坐标空间特 征图XF； S6.2： 根据XF的特征实例之间的关系构建坐标空间的特 征交互图G＝{V,E,A}； 其中， V表示特征交互图的节点集合， E表示特征交互图节点与节点之间的边结合， A表 示特征交互图的邻接矩阵； S6.3： 将特征交互图从坐标空间投影到特征交互空间， 并利用图卷积对特征交互空间 的特征节点进行传播与交 互推理， 得到交 互空间特征图XG； S6.4： 将交互空间特征图从特征交互空间逆投影回到对应的坐标空间， 得到坐标空间 交互特征图XG′； S6.5： 将坐标空间特 征图和坐标空间交 互特征图进行残差操作， 得到最终特 征图。 9.根据权利要求8所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 将特 征交互图从坐标空间投影到特 征交互空间的具体步骤为： 给定一个 高维特征 通过度量高维特征的元素xn的方式将特征交互图的原 始特征投影到特 征交互空间， 生成相应的投影特 征 其中， N表示中间特征映射中的特征实例总数， Nn表示体素n的相邻体素， wnm和bnm分别是 通过对高维特征xn进行随机梯度衰减单独学习而来的不同偏移距离， ρ( ·)表示对特征节 点xm周围的偏移 节点进行三线性插值采样。 10.根据权利要求8所述的一种基于注意力和图卷积的多模态鼻咽癌图像分割方法， 其 特征在于， 交 互推理的过程描述 为：权　利　要　求　书 2/3 页 3 CN 115187613 A 3