(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211295438.8 (22)申请日 2022.10.21 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 唐宏　甘陈敏　刘杰　刘小洁　 陈榕　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/30(2020.01) G06F 16/335(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合双注意力和生成对抗网络的文本 摘要方法 (57)摘要 本发明涉及自然语 言处理领域， 具体涉及一 种融合双注意力和生成对抗网络的文本摘要方 法， 通过双层双 向LSTM编码器， 获取单词层编码 和句子层编码； 对单词层编码和句子层编码进行 筛选并输入解码器中获取上下文向量； 利用交互 注意力机制交互融合两层编码信息， 获取交互注 意力向量； 采用双注意力动态聚合获取文本向 量； 将改进过后的指针生成网络作为生成器， 结 合覆盖机制生成器生成摘要； 利用判别器判别摘 要， 结合强化学习的策略梯度不断更新模型参 数， 达到生成器与判别器的动态平衡； 将文档输 入到训练好的模型中， 获取摘要； 本发明深度挖 掘本文局部关键信息， 去除无用冗余信息的干 扰， 缓解曝光偏差问题， 提高文本摘要模型的性 能。 权利要求书3页 说明书7页 附图2页 CN 115526149 A 2022.12.27 CN 115526149 A 1.一种融合双注意力和生成对抗网络的文本摘要方法， 其特征在于， 具体包括以下步 骤： S1： 通过双 层双向LSTM编码器， 获取 单词层编码和句子层编码； S2： 利用门控 网络， 对单词层编码和句子层编码进行筛选后， 输入解码器 中获取每个时 间歩长的解码隐状态， 从而获取 上下文向量； S3： 利用交 互注意力机制交 互融合两层编码信息， 获取交 互注意力向量； S4： 采用双注意力动态聚合获取文本向量； S5： 将改进过后的指针生成网络作为生成器 融入生成对抗网络中， 结合覆盖机制， 生成 器生成摘要； S6： 利用判别器判别摘要， 结合强化学习的策略梯度不断更新模型参数， 达到生成器与 判别器的动态 平衡； S7:对基于双注意力聚合的生成对抗网络模型进行优化训练， 将文档输入到训练好的 模型中， 获取文档的摘要内容。 2.根据权利要求1所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 通过双 层双向LSTM编码器， 获取 单词层编码和句子层编码的过程包括： S11、 在进行编码前， 使用词向量工具word2vec训练获取词向量并通过嵌入矩阵得到输 入序列； S12、 在编码时， 利用 第一层的BiLSTM按句处理， 得到第j个句子在i时刻的前向隐藏状 态和后向隐藏状态， 将 每个句子的前向隐藏状态和后向隐藏状态分别拼接起来获得全文 单 词层的前向隐状态和后向隐藏状态， 即单词层编码； S13、 为获取动态的句子注意力， 将每个句子中的单词层前向后向隐状态拼接后平均池 化， 再利用感知机制得到单词的深层表征， 并作为句子编码的输入； S14、 第二层的BiLSTM在句子级别运行， 根据句子编码输入， 得到句子层的前向隐状态 和后向隐状态， 拼接起 来表示对应的隐藏层状态和隐藏状态序列， 即句子层编码。 3.根据权利要求1所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 利用门控网络， 对单词层编 码和句子层编码进 行筛选后， 输入解码 器中获取上下文向 量的过程包括以下步骤： S21、 将单词层编码隐状态与句子层编码隐状态通过门控 网络， 获取新的隐状态表示和 隐状态序列； S22、 将新的隐状态序列输入解码器中， 结合注意力机制， 得到每个时间歩长的解码隐 状态和语义信息， 动态调整每个词的注意力权重分布， 从而获取编 码器隐状态的权重 之和， 即上下文向量。 4.根据权利要求1所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 利用交互注 意力机制交互融合两层编 码信息， 获取 交互注意力向量， 即利用交互注 意 力机制， 将将序列He的编码信息融入序列S中， 采用缩放点积形式的注意力机制， 通过单词 层隐状态表示矩阵与句子层隐状态表示矩阵相乘并缩放处理获得 交互权重矩阵， 再将经过 归一化处理得到权重矩阵与句子层隐状态表示矩阵相乘， 得到交互注意力向量cjs， 表示 为：权　利　要　求　书 1/3 页 2 CN 115526149 A 2[Q,K,V]＝[WQHe,WKS,WVS]； 其中， He表示第j句中单词层状态序列， S表示第j句的句子层隐状态序列； Q、 K、 V分别表 示交互注意力机制中的查询、 键、 值矩阵， WQ、 WK、 WV分别为对应查询、 键、 值矩阵的可学习的 参数矩阵； dk为矩阵K的维度。 5.根据权利要求1所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 采用双注意力动态聚合 获取文本向量， 即利用线性动态加权参数来聚合注意力， 得到 有关上下文语义信息的向量， 用来表征时间步t时文档词汇的权 重， 文本向量ct表示为： 其中， W3和W4为加权参数， 且W3+W4＝1； 为时间步t时的上下文向量， 为时间步t时的 交互注意力向量。 6.根据权利要求1所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 将改进过后的指 针生成网络作为生成器融入生成对抗网络中， 结合覆盖机制， 生 成器 生成摘要包括以下步骤： S51、 基于指针生成网络中的复制机制， 根据文本向量以及每个时间歩长的解码隐状态 计算指针生成概 率； S52、 将文本向量以及每个时间歩长的解码隐状态连接后， 通过两个线性层并加权处 理， 并归一 化求和后得到词汇分布； S53、 指针概 率和词汇分布的结合， 得到生成摘要词汇w的最终分布概 率； S54、 基于覆盖 机制， 获取覆盖向量， 并更新注意力权 重。 7.根据权利要求1所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 生成器与判别器的动态 平衡过程中的目标函数表示 为： 其中， z表 示原文输入， x表示参考摘要； G表示生 成器， G()根据输入生成器生成的摘要； D表示判决器， D()表示根据输入判决器判决该输入为真的概率； V(D,G)表示目标函数， E [*]表示分布函数的均值， x～Pdata(x)表示x满足Pdata(x)分布概率， z～ps(z)表示z满足ps (z)分布概 率。 8.根据权利要求7所述的一种融合双注意力和生成对抗网络的文本摘要方法， 其特征 在于， 生成器与判别器达到动态平衡， 即利用损失函数的梯度进 行反向传播优化模型， 指针 网络损失函数表示 为： losst＝‑logP(wt)； 生成对抗网络中判别器损失函数表示 为： 权　利　要　求　书 2/3 页 3 CN 115526149 A 3