(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210680166.7 (22)申请日 2022.06.15 (71)申请人 重庆师范大学 地址 400000 重庆市沙坪坝区大 学城中路 37号 (72)发明人 杨有　安永志　胡峻滔　何丽　 (74)专利代理 机构 北京康达联禾知识产权代理 事务所(普通 合伙) 11461 专利代理师 刘莹 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种三通路残差注意力图像描述方法 (57)摘要 本发明涉及数据处理技术领域， 具体涉及一 种三通路残差注意力图像描述方法， 包括提取输 入图片的网络特征； 构建三个残差注意力路径； 通过在三个残差注意力路径之间添加跳过连接 来生成注意力分数； 在编码器中引入相对位置的 残差注意力模块将相对位置分数与注意力分数 结合， 得到更新编码器； 在解码器中引入带有层 归一化查询向量的残差注意力模块， 得到更新解 码器； 基于三个残差注意力路径、 更新编码器和 更新解码器构建并训练注意力机制模 型； 将网格 特征输入训练后的注意力机制模型进行融合后 输出， 得到图像文字描述， 解决了现有的注意力 机制模型不同层的注意力分数之间的联系不够 强的问题。 权利要求书1页 说明书11页 附图4页 CN 114863222 A 2022.08.05 CN 114863222 A 1.一种三 通路残差注意力图像描述方法， 其特 征在于， 包括以下步骤： 提取输入图片的网络特 征； 构建三个残差注意力路径； 通过在三个所述残差注意力路径之间添加跳过 连接来生成注意力分数； 在编码器中引入相对位置的残差注意力模块将相对位置分数与 所述注意力分数结合， 得到更新编码器； 在解码器中引入带有层归一 化查询向量的残差注意力模块， 得到更新 解码器； 基于三个所述残差注意力路径、 所述更新编码器和所述更新解码器构建并训练注意力 机制模型； 将所述网格特征输入训练后的所述注意力 机制模型进行融合后输出， 得到图像文字描 述。 2.如权利要求1所述的三 通路残差注意力图像描述方法， 其特 征在于， 所述提取输入图片的网络特 征的具体方式为： 设定网格提取参数； 利用视觉特征基于所述网特提取参数提取输入图片的网格特 征。 3.如权利要求2所述的三 通路残差注意力图像描述方法， 其特 征在于， 所述基于三个所述残差注意力路径、 所述更新编码器和所述更新解码器构建并训练注 意力机制模型的具体方式为： 基于三个所述残差注意力路径、 所述更新编码器和所述更新 解码器构建网络模型； 获取图像字幕基准数据集； 删除所述图像字幕基准数据集中所有句子的标点符号， 并将所述图像字幕基准数据集 中的所有单词转换为小 写， 得到训练数据集； 使用所述训练数据集对所述网络模型进行训练、 验证和 测试， 得到注意力机制模型。 4.如权利要求3所述的三 通路残差注意力图像描述方法， 其特 征在于， 所述使用所述训练数据集对所述网络模型进行训练、 验证和测试， 得到注意力机制模 型的具体方式为： 计算所述训练数据集的注意力， 得到计算 值； 基于所述计算 值对所述训练数据集进行图像标注， 得到标注数据集； 使用所述标注数据集对所述网络模型进行训练、 验证和 测试， 得到注意力机制模型。 5.如权利要求 4所述的三 通路残差注意力图像描述方法， 其特 征在于， 所述将所述网格特征输入训练后的所述注意力 机制模型进行融合后输出， 得到图像文 字描述的具体方式为： 将所述网格特 征展平， 得到展平特 征； 将所述展平特征馈入训练后的所述注意力 机制模型进行融合后输出， 得到图像文字描 述。权　利　要　求　书 1/1 页 2 CN 114863222 A 2一种三通路残差注意力图像描述 方法 技术领域 [0001]本发明涉及数据处 理技术领域， 尤其涉及一种三 通路残差注意力图像描述方法。 背景技术 [0002]注意力机制和网格特征被广泛用于图像描述等视觉语言任务中， 注意力分数是注 意机制成功的关键因素。 [0003]然而， 由于Transformer(注意力机制模型)是一个层次结构， 不同层的注意力分数 之间的联系不够强， 会导致图像的网格特征进入Transformer模 型时， 会导致几何位置信息 发生丢失。 发明内容 [0004]本发明的目的在于提供一种三通路残差注意力图像描述方法， 旨在解决现有的注 意力机制模型不同层的注意力分数之间的联系不够强的问题。 [0005]为实现上述目的， 本发明提供了一种三通路残差注意力图像描述方法， 包括以下 步骤： [0006]提取输入图片的网络特 征； [0007]构建三个残差注意力路径； [0008]通过在三个所述残差注意力路径之间添加跳过 连接来生成注意力分数； [0009]在编码器中引入相对位置 的残差注意力模块将相对位置分数与所述注意力分数 结合， 得到更新编码器； [0010]在解码器中引入带有层归一 化查询向量的残差注意力模块， 得到更新 解码器； [0011]基于三个所述残差注意力路径、 所述更新编码器和所述更新解码器构建并训练注 意力机制模型； [0012]将所述网格特征输入训练后的所述注意力机制模型进行融合后输出， 得到图像文 字描述。 [0013]其中， 所述 提取输入图片的网络特 征的具体方式为： [0014]设定网格提取参数； [0015]利用视觉特征基于所述网特提取参数提取输入图片的网格特 征。 [0016]其中， 所述基于三个所述残差注意力路径、 所述更新编码器和所述更新解码器构 建并训练注意力机制模型的具体方式为： [0017]基于三个所述残差注意力路径、 所述更新编码器和所述更新解码器构建网络模 型； [0018]获取图像字幕基准数据集； [0019]删除所述图像字幕基准数据集中所有句子的标点符号， 并将 所述图像字幕基准数 据集中的所有单词转换为小 写， 得到训练数据集； [0020]使用所述训练数据集对所述网络模型进行训练、 验证和测试， 得到注意力机制模说　明　书 1/11 页 3 CN 114863222 A 3