(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210478942.5 (22)申请日 2022.05.04 (71)申请人 长春理工大 学 地址 130000 吉林省长 春市卫星路7989号 (72)发明人 陈广秋　段锦　黄丹丹　刘广文　 (74)专利代理 机构 吉林长春新纪元专利代理有 限责任公司 2 2100 专利代理师 魏征骥 (51)Int.Cl. G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/46(2022.01) G06V 10/56(2022.01) (54)发明名称 一种基于孪生卷积神经网络的零学习医学 图像融合方法 (57)摘要 本发明涉及一种基于孪生卷积神经网络的 零学习医学图像融合方法， 属于及医学图像处理 技术领域。 对源图像进行预处理生成输入源图 像， 得到各卷积层的初始显著特征图， 进行上采 样运算处理， 对各层的显著特征图进行指数运 算， 以归一化源图像作为引导滤波器的引导图 像， 得到引导滤波器输出图像， 利用各层的权重 图， 采用加权平均融合算法， 得到各层的融合图 像， 采用像素取大算法， 得到最后的融合图像。 本 发明自动实现多模态医学图像的显著特征提取， 省时省力， 能够更加全面、 深层次地表达图像， 实 现多个抽象层次上图像语义的表征， 有利于实现 高精度低硬件复杂 度的图像融合平台的搭建， 提 高了融合精度和效率。 权利要求书5页 说明书13页 附图3页 CN 114821259 A 2022.07.29 CN 114821259 A 1.一种基于孪生卷积神经网络的零学习 医学图像融合方法， 其特征在于， 包括下列步 骤： 步骤A： 对源图像φk进行预处理， 生成输入源图像fk， 然后进行归一化 处理， 生成归一化 源图像 将其作为预先训练的三层孪生卷积神 经网络的输入， 得到3个卷积层的特征图， 表示为 和全连接层的初始显著特征图， 表示为 k∈{1,2}为图像索引， d∈{1,2,3}为 卷积层索引， M∈{64,128,25 6}为卷积层的特 征图个数， 1： M表示从特 征图1到特 征图M； 步骤B： 在各卷积层的特征图中， 以滑动窗口方式选择5 ×5×M的窗口， 排列成25 ×M矩 阵， 计算其核范数， 得到一个像素值， 当滑动窗口遍历整个特征图后， 得到各卷积层的初始 显著特征图， 表示 为 步骤C： 对卷积层3的初始显著特征图 和全连接层的初始显著特征图 进行上采样运 算处理， 生 成卷积层3的显著特征图 和全连接层的显著特征图 其尺寸与归一化源图像 的尺寸一致， 令 得到卷积层1的显著特征图 令 得到卷积层2的显著特 征图 这样各层的显著特 征图统一表示成 l∈{1,2,3,4}为显著特 征图的层 索引； 步骤D： 对各层的显著特征图 进行指数运算， 应用Softmax算子生成各层初始权重图 步骤E： 以归一化源图像 作为引导滤波器的引导图像， 对各层初始权重图 进行引导 滤波， 得到引导滤波器输出图像 应用Softmax算子， 生成各层的权 重图 步骤F： 利用各层的权重图 采用加权平均融合算法， 得到各层的融合图像 采用像 素取大算法， 得到最后的融合图像fF。 2.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法， 其 特征在于， 所述 步骤A包括： 子步骤A1： 对源图像进行预处理， 生成输入源图像， 然后进行归一化处理， 生成归一化 源图像； 源图像为φk， 若φk为灰度图像， 则令fk＝φk， 得到输入源图像fk， 对其进行归一化处 理， 得到归一 化源图像 计算公式为： 式中， k∈{1,2}为图像索引， fk和 分别表示归一化处理前第k个输入源图像和归一化 处理后第k个归一化源图像， fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最 大值； 若源图像φk中， φ1为灰度图像， φ2为RGB彩色图像， 需要将φ2预处理转换到YUV空间， RGB到YUV图像空间的转换公式为： 权　利　要　求　书 1/5 页 2 CN 114821259 A 2式中φ2R， φ2G， φ2B分别表示源图像φ2在RGB色彩空间中的红、 绿、 蓝通道图像， 分别表示 转换后图像 在YUV色彩空间中的亮度、 色彩、 饱和度三个分量图像； 令f1＝φ1， 此时输入源图像fk中， f1和f2均为灰度图像， 对其进行归一化处理， 得 到归一化源图像 同时对 和 分量也进行归一化 处理， 得到归一化图像 和 计算公 式为： 式中， k∈{1,2}为图像索引， fk和 分别表示归一化处理前第k个输入源图像和归一化 处理后第k个归一化源图像， fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最 大值， Umin表示U分量图像中最小的像素值， Umin表示U分量图像中最大的像素值， Vmin表示V分 量图像中最小的像素值， Vmax表示V分量图像中最小的像素值； 子步骤A2： 构建孪生卷积神经网络模型， 输入至输出依次为： 卷积层1、 卷积层2、 池化 层、 卷积层3和全连接层； 孪生卷积神经网络包括两个权重参数相同的网络分支， 每个分支包含3个卷积层、 1个 最大池化层和1个全连接层， 顺序为卷积层1> 卷积层2>最大池化层> 卷积层3>全连接层； 两个网络分支中卷积层的卷积核尺寸和步长分别为3 ×3和1， 最大池化层的核尺寸和 步长分别为2 ×2和2， 全连接层的权重向量为1 ×32768； 在两个分支输入的归一化源图像 中， 通过步长为2的两个滑动窗口方式得到2个16 ×16的图像块， 送入孪生卷积神经网络中， 每个网络分支上的卷积层1、 卷积层2和卷积层3生成的特征图数量分别为64、 128和256， 尺 寸分别为16 ×16、 16×16和8×8， 全连接层是将两个网络分支中卷积层3所生成的共计512 个尺寸为8×8的特征图进行串 联， 形成32768 ×1的矩阵， 然后分别与两个尺 寸相同、 元素不 同的权重向量进行线性加权运算， 得到2个不同的神经元， 在两个网络分支中， 当两个滑动 窗口分别遍历2个归一化源图像后， 就会得到两个滑动窗口所对应的所有神经元， 最后在全 连接层中生成2个表示归 一化源图像清晰度的初 始显著特征图 由于在卷积层 2后存在最 大池化层， 所以卷积层1中的64个特征图和卷层2中的128个特征图尺寸与归一化源图像 尺寸一致， 卷积层3中的256个特征图和全连接层中的初始显著特征图的尺 寸为归一化源图 像的四分之一； 归一化源图像 经过孪生 卷积神经网络模型运算后， 在卷积层中会生成M个特征图， k∈ {1,2}为输入归一化源图像索引， M∈{64,128,256}为卷积层特征图数目， 三个卷积层的特 征图统一表示为 d∈{1,2,3}为卷积层索引， 全连接层生成的初始显著特征图表示为 1： M表示从特 征图1到特 征图M。 3.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法， 其 特征在于， 所述 步骤B包括： 矩阵的核范数为矩阵奇异值的总和， 在各卷积层的特征图 中， 采用窗口滑动方式 选择5×5×M的窗口， 将其排列成25 ×M矩阵， 求出该矩阵的奇异 值总和， 即为该窗口的核 范 数， 得到初始显著特征图中的一个像素值， 当滑动窗口遍历整个特征图后， 就得到该卷积层 的初始显著特 征图， 各卷积层的初始显著特 征图表示 为 权　利　要　求　书 2/5 页 3 CN 114821259 A 3