(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210693998.2 (22)申请日 2022.06.19 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 何熊熊　朱润雯　李胜　董胜　 杨文琴　古梦婷　龚歆宇　 (74)专利代理 机构 杭州赛科专利代理事务所 (普通合伙) 33230 专利代理师 宋飞燕 (51)Int.Cl. G16H 50/20(2018.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于非局部模块与注意力机制的肠道疾病 辅助诊断方法 (57)摘要 本发明涉及一种基于非局部块深度残差与 注意力机制的肠道疾病辅助诊断方法， 预处理数 据集后建立神经网络； 神经网络以ResNet 基线模 型作为主干网络， 用于特征提取， 配合主干网络 嵌入非局部模块， 配合主干网络的输出端设置注 意力模块； 以预处理后的数据集对神经网络进行 训练， 直至神经网络稳定； 向稳定后的神经网络 输入待诊断图像， 对肠道疾病进行辅助诊断。 本 发明的主干网络利用嵌入非局部模块的ResNet 基线模型的前四层提取病灶区域特征， 克服类内 病灶大小形状差异大的问题； 使用注 意力分支结 构聚焦病灶区域； 利用注意力分支和感知分支两 个分支的损失函数之和对网络进行端到端方式 的训练， 进一 步提高肠道病灶的分类性能。 权利要求书3页 说明书8页 附图3页 CN 115249540 A 2022.10.28 CN 115249540 A 1.一种基于非局部模块与注意力机制的肠道疾病辅助诊断方法， 其特征在于： 所述方 法预处理数据集后， 建立神经网络； 所述神经网络以ResNet基线模型作为主干网络， 用于特征提取， 配合主干网络嵌入非 局部模块， 配合主干网络的输出端设置注意力模块； 以预处理后的数据集对神经网络进行训练， 直至神经网络稳定； 向稳定后的神经网络 输入待诊断图像， 对肠道疾病进行辅助诊断。 2.根据权利要求1所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 所述数据集 为图像数据集， 预处 理为对数据集进行整理与标注。 3.根据权利要求1或2所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断 方法， 其特征在于： 所述数据集X＝{ x1,x2,…,xn}， 其中， n为样本总数， xi为输入图像的三个 通道像素值构成的特征向量， 对应任一xi输出样本类别标签yi， 样本i为(xi, yi)； 以类别标签yi的值为0表示正常、 值为1表示息肉病灶、 值 为2表示溃疡病灶。 4.根据权利要求1所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 所述主干网络为归一化的ResNet基线模型， 对输入的数据以BatchNorm归 一层进行归一化操作， 再对数据进行缩放和平移操作； 以式(1)计算第b层第i个节点的输 出， 其中， 为输入的第b层第i个节点的值， xi为 构成的行向量， μ和σ 分别为该行的均值和标准差， γ为缩放参数， β 为平移参数， ε为防止除零引入的修正项， BN 为BatchNorm归一化。 5.根据权利要求4所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 配合所述主干网络嵌入非局部模块时， 计算每个位置的特征与所有 具有关 联特征位置之间的配对的加权和， 按式(2)计算， 其中， 是输入特征图， i,j是特征图像中的像素位置索引， 即Xi、 Xj分别表示第 i,j行特征像素， f( ·)是具有有限F ‑范数的亲和核， g( ·)表示线性嵌入， 定义为g(Xj)＝ XjWZ， C1和C'分别为输入特征和传递特征的通道数； N是每个要素的总位置； 以 式(3)计算Yi， 表示第i行的输出 特征像素， Yi＝Xi+F(Xi)W  (3) 其中， 为权重矩阵。 6.根据权利要求5所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 引入非局部运 算符的矩阵形式， 得到， Y＝X+F(X)W ＝X+AZWS1WS2  (4) 权　利　要　求　书 1/3 页 2 CN 115249540 A 2其中， A是亲和矩阵， M＝[Mij]由像素之间的成对相似性组成， DM是包含M个顶点的对角 矩阵， 是通过与 进行线性变换来压缩X的通道传递特征映射， 和 分别用于滤除鉴别特 征和恢复通道数的两个参数矩阵； 得到， Y＝X+F(A,Z,WS1)WS2＝X+F(A,Z,gθ)WS2  (6) 其中， F(A,Z,gθ)是光谱视图中的非局部算子， 以gθ将WS1分解为一组图滤波器； 缩写为F (A,Z)。 7.根据权利要求6所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 按式(7)对式(6)以对称亲和矩阵调整对称性， Y＝X+FR(A,Z)＝X+ZW1+AZW2， 其中， FR(A,Z)是该非局部块算子， W1、 W2是两个参数矩阵,这里的A则表示对称亲和矩 阵， 而M＝[Mij]依旧由像素之间的成对相似性组成。 8.根据权利要求1所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 所述注意力模块如式(8)所示， 其中， μB和σB是预设批量B的平均值和标准差， γ和β 是 可训练的仿射变换参数， 以式(9)得到 输出特征MC， MC＝sigmoid(Wγ(BN(F1)))  (9) 其中， γ是每个通道的比例因子， 权值为Wγ＝γi/∑j＝0γi， 经过Sigmoid激活函数之后 输出类概 率分数Prob.score。 9.根据权利要求8所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 以式(10)在损失函数中添加正则化项， 其中， f(x,W)表示计算的预测结果， x表示输入， y表示输出， W为网络权重， l( ·)是损失 函数， g(·)为L1范数惩罚函数， p则是平衡惩罚函数的系数， p∈(0,1)。 10.根据权利要求1所述的一种基于非局部模块与注意力机制的肠道疾病辅助诊断方 法， 其特征在于： 以Latt(xi)表示输入样本为xi时的注意力分支损失， 以Lper(xi)表示输入样 本为xi时的感知分支损失， 总损失函数L(xi)表示为式(11)， L＝Latt(xi)+Lper(xi)  (11) 以式(12)计算准确率Accuracy、 式(13)计算敏感度Sensitivity、 式(14)计算特异度 Specificity， 用于 评估模型的性能直至获得最优， 权　利　要　求　书 2/3 页 3 CN 115249540 A 3