(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210859319.4 (22)申请日 2022.07.21 (71)申请人 南京农业大 学 地址 210095 江苏省南京市玄武区卫岗1号 (72)发明人 伍学惠　罗志伟　徐焕良　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 徐红梅 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 20/60(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制与多尺度特征融合的 植物图像分割方法 (57)摘要 本发明公开了一种基于注意力机制与多尺 度特征融合的植物图像分割方法， 包括划分训练 集、 验证集和测试集， 并进行数据处理； 提取多尺 度特征， 包括深层特征和浅层特征； 调整深层特 征的通道权重， 并对深层特征图进行上采样处 理， 得到上采样引导后的深层特征图； 调整浅层 特征的空间分布权重， 得到调整空间分布权重后 的浅层特征图； 将上采样引导后的深层特征图和 调整空间分布权重后的浅层特征图进行多尺度 融合， 得到多尺度融合后的特征图； 模型训练， 得 到训练好的植物图像分割模型； 最后对模型进行 验证和测试。 本发明能够较好的解决复杂背景下 植物图像分割识别问题， 具有较强的鲁棒性和较 高的准确率， 可为植物表型提取， 长势预测提供 视觉支持。 权利要求书3页 说明书6页 附图2页 CN 115205647 A 2022.10.18 CN 115205647 A 1.一种基于注意力机制与多尺度特征融合的植物图像分割方法， 其特征在于， 包括以 下步骤： S1、 将植物图像数据集划分为训练集、 验证集和测试集， 并分别对训练集、 验证集和测 试集中的原图像采用标签进 行标注， 生成训练集、 验证集和测试集的标签文件， 标签包括植 物和背景； 将各 标签文件转换为标注图， 得到训练集、 验证集和 测试集的标注图； S2、 将训练集中的原图像输入到特征提取网络VGG16中， 由VGG16中由浅至深的五个卷 积层对原图像进行 卷积以提取浅层特 征和深层特 征， 并获得浅层特 征图和深层特 征图； S3、 基于通道注意力 模块分别调整深层特征的通道权重： 将步骤S2提取的各深层特征， 先在空间维度上进行全局平均池化获得通道注意力向量vh； 其次使用两个连续的全连接层 捕获通道间的权重关系； 最后将通道注意力向量vh映射到[0,1]区间， 并将映射到[0,1]区 间后的通道注意力向量vh与步骤S2中相对应的深层特征图在通道维度上相乘， 调整相应深 层特征图的通道权重， 得到调整通道权重后的相 应深层特征图， 最终得到调整通道权重后 的各深层特 征图； S4、 将步骤S3输出的调整通道权重后的各深层特征图先分别进行上采样， 使用线性插 值函数扩大分辨 率， 随后使用上采样引导模块处 理， 得到上采样引导后的各深层特 征图； S5、 基于空间注意力模块调整各浅层特征的空间分布权重： 将步骤S2获得的各浅层特 征图先在通道维度上分别进行最大池化和平均池化， 得到最大池化后的各浅层特征图和平 均池化后的各浅层特征图； 其次将最大池化后的各浅层特征图和与其相对应的平均池化后 的各浅层特征图拼接和卷积得到各二维注意力图， 即得到各浅层特征 的空间权重系 数； 最 后将各浅层特征的空间权重系数分别映射到[ 0,1]区间， 并将映射到[ 0,1]区间后的各空间 权重系数与步骤S2中相应的浅层特征图相乘， 调整相应的浅层特征图在空间纬度上各个部 分的权重， 得到调整空间分布权重后的相 应的浅层特征图， 最终得到调整空间分布权重后 的各浅层特 征图； S6、 多尺度特征融合： 将步骤S4得到的上采样引导后的各深层特征图和步骤S5得到的 调整空间分布权重后的各浅层特征图， 使用concatenate函数在通道维度上拼接， 得到拼接 特征图， 并将拼接特 征图映射至[0,1]区间， 得到多尺度特 征融合后的特 征图； S7、 使用步骤S6得到的多尺度特征融合后的特征图与训练集中的标注图计算交叉熵损 失值， 交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数， 反复迭代 此过程直至交叉熵损失值趋 于一稳定值， 得到植物图像的分割模型， 并保存 模型； S8、 采用验证集中的原图像验证步骤S7得到的植物图像的分割模型， 若模型不好， 则重 新进行模型训练； 若模型是好的， 则采用测试集中的原图像对植物图像的分割模型进行测 试， 得到分割后的植物二 值图。 2.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方 法， 其特征在于， 步骤S1中使用lab elme图像标注软件分别对训练集、 验证集和测试集中的 原图像进行人工手动标注， 标签文件为json格式； 使用labelme_json_to_dataset命令将 json格式的标签文件转换为jpg格式的标注图。 3.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方 法， 其特征在于， 步骤S2中卷积层的卷积函数为Conv2d， 第一层和第二层卷积层提取浅层特 征， 并分别输出卷积后的第一浅层特征图和 第二浅层特征图， 第三层、 第四层和 第五层卷积权　利　要　求　书 1/3 页 2 CN 115205647 A 2层提取深层特征， 并分别输出卷积后的第一深层特征图、 第二深层特征图和第三深层特征 图； 浅层特 征和深层特 征为不同尺度的特 征。 4.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方 法， 其特征在于， 步骤S3中调整通道权 重后的深层特 征图的计算公式为： Mc(Fl)＝F(vh)＝σ(fc2( δ(fc1(vh)))) 其中， Mc(Fl)表示调整通道权重后的深层特征图， Fl表示深层特征图， σ 表示Sigmoid函 数， fc1和fc2分别表示两个全连接层， δ表示ReLU函数， vh表示通道注意力向量， F(vh)表示对 通道注意力向量进行权 重调整的函数。 5.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方 法， 其特征在于， 步骤S4中上采样引导模块具体为： 将经过上采样的深层特征分别进 行2倍， 4倍和8倍的下采样， 平均池化后再通过2倍， 4倍和8倍的上采样还原回原尺寸， 最后与经过 上采样的深层特 征相加求均值。 6.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方 法， 其特征在于， 步骤S5中调整空间分布权 重后的浅层特 征图计算公式为： Ms(Fd)＝σ(f7×7([AvgPool(Fd)； MaxPool(Fd)])) ＝σ(f7×7([Favg； Fmax])) 其中， Ms(Fd)表示调整空间分布权重后的浅层特征图， Fd表示浅层特征图， σ表示 Sigmoid函数， f7×7表示卷积核大小为7 ×7的卷积操作， Favg表示平均池化后的浅层特征图， Fmax表示最大池化后的浅层特 征图。 7.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方 法， 其特征在于， 步骤S7中采用损失函数BC ELoss()计算交叉熵损失值。 8.一种基于注意力机制与多尺度特 征融合的植物图像分割 系统， 其特 征在于， 包括： 数据处理模块， 用于将植物图像数据集划分为训练集、 验证集和测试集， 并分别对训练 集、 验证集和测试集中的原图像采用标签进 行标注， 生成训练集、 验证集和测试集的标签文 件， 标签包括植物和背景； 将各标签文件转换为标注图， 得到训练集、 验证集和测试集的标 注图； 特征提取模块， 用于提取原图像的浅层特征和深层特征， 并输出浅层特征图和深层特 征图； 深层特征图更新模块， 用于调整深层特征的通道权重， 并输出调整通道权重后的深层 特征图； 浅层特征图更新模块， 用于调整浅层特征的空间分布权重， 并输出调整空间分布权重 后的浅层特 征图； 多尺度特征融合模块， 用于将上采样引导后的深层特征图和调整空间分布权重后的浅 层特征图， 使用co ncatenate函数拼接， 并将拼接特 征图映射至[0,1]区间； 训练模块， 用于将映射至[0,1]区间后的拼接特征图与训练集中的标签图像计算交叉 熵损失值， 交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数， 反复 迭代此过程直至交叉熵损失值趋 于一稳定值， 得到植物图像的分割模型， 并保存 模型； 验证模块， 用于采用验证集中的原图像验证保存后的模型； 测试模块， 用于采用测试集中的原图像对验证后的模型进行测试， 得到分割后的植物权　利　要　求　书 2/3 页 3 CN 115205647 A 3