(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321734.0 (22)申请日 2022.10.27 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 黄斐然　刘文骁　刘炜麟　支庭荣　 (74)专利代理 机构 广州汇盈知识产权代理事务 所(普通合伙) 44603 专利代理师 邓有才 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/04(2006.01) G06F 16/35(2019.01) G06F 40/289(2020.01) (54)发明名称 一种基于对抗训练融合BERT的微博文本情 感分析方法及系统 (57)摘要 本发明涉及自然语言处理的情感分析技术 领域， 公开了一种基于对抗训练 融合BERT的微博 文本情感分析方法及系统， 包括： S1文本预处理 步骤： 读取原始微博文本数据集， 进行数据扩充， 得到预处理文本数据； S2预训练步骤： 将预处理 文本数据输入增量BERT模型中进行训练， 得到增 量预训练模型； S3下游微调步骤： 将增量预训练 模型结合预处理文本数据集进行微调， 并结合对 抗训练的方法， 对Embeddings的权重矩阵进行扰 动， 输出保存为情感分类预测模型； 通过所述情 感分类预测模 型执行目标任务， 输出目标微博文 本数据情感分析结果。 本发明融合对抗训练和增 加外部数据， 提升了模型预测的精确性与鲁棒 性， 可以使BERT在微博情感分类领域的发挥更好 的作用。 权利要求书2页 说明书8页 附图6页 CN 115392259 A 2022.11.25 CN 115392259 A 1.一种基于对抗训练融合BERT的微博文本情感分析 方法， 其特 征在于， 包括以下步骤： S1文本预处理步骤： 读取原始微博文本数据集， 对原始微博文本数据集进行数据扩充， 得到预处 理文本数据； S2预训练步骤： 将所述预处理文本数据输入增量BERT模型中进行训练， 得到增量预训 练模型； S3下游微调步骤： 将所述增量预训练模型在下游任务中结合所述预处理文本数据集进 行微调， 并结合对抗训练的方法， 对E mbeddings的权重矩阵进行扰动， 输出保存为情感分类 预测模型; 读取目标微博文本数据生成目标任务， 通过所述情感分类预测模型执行目标任务， 输 出目标微博文本数据情感分析 结果。 2.根据权利要求1所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述数据扩充 方法包括： 对原始 微博文本数据的情感极性进 行分析， 得到第一文本 与第二文本， 所述第一文本为 “第一情感极性 ”的文本数据， 所述第二文本为除所述第一文 本以外的其他文本数据； 对所述第一文本进行第一预处理得到第一扩充文本； 对所述第一 扩充文本与所述第二文本进行第二预处 理， 得到预处 理文本数据。 3.根据权利要求2所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述第一预处 理方法包括以下步骤： S11外部评论数据集扩充步骤： 采用互联网搜集到的相关微博情感评论文本作为扩充 来源进行扩充； S12EDA数据增强扩充步骤： 将所述第一文本进行分词 处理得到分词集， 对所述分词集 进行EDA数据增强； S13回译法扩充步骤： 通过翻译器将所述第一文本翻译为第一译文， 再将所述第一译文 翻译为第二译文， 所述第一译文与所述第二译文为不同语种， 所述第二译文为中文， 将所述 第二译文数据添加至所述第一扩充 文本中。 4.根据权利要求3所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述S12EDA数据增强扩充步骤包括： 同义词 替换步骤、 随机插入步骤、 随机交换步 骤与随机删除步骤。 5.根据权利要求2所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述第二预处 理方法包括： S14超长文本截断步骤： 设置单句文本标准长度， 将超过单句文本标准长度的文本数据 根据语义拆分成若干 子句后， 再进行输入； S15超短文本补齐步骤： 将长度小于单句文本标准长度的文本用符号[ PAD]补齐； S16特殊符号处理步骤： 将所述文本中的回复和转发标记、 用户ID、 网址， 通过正则表达 式去除;将所述文本中的表情符号， 采用Python的第三方开源库将其转换为对应的中文释 义； S17全角转半角步骤:将所述文本中的全角符号 转换为半角符号。 6.根据权利要求1所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述预训练步骤 包括： 生成增量BERT模型；权　利　要　求　书 1/2 页 2 CN 115392259 A 2将预处理文本数据通过词嵌入后变成词向量， 将词向量输入进增量BERT模型中， 与分 段Embeddings和位置 Embeddings信息融合， 输出词嵌入向量， 完成编码。 7.根据权利要求6所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述预训练步骤还包括： 将所述词嵌入向量输入Transformer模型的编码器 （Encoder） 结构， 进行Masked  LM和Next  Sentence  Prediction预训练任务， 依次经过多头 注意力层、 前馈神经网络层， 并且在中间进行残差连接和归一 化处理。 8.根据权利要求6所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述下游微调步骤 包括， 将预处理文本数据集按比例划分为训练集、 验证集和 测试集进行训练； 将所述增量预训练模型根据具体任务的不同进行参数微调得到下游微调模型。 9.根据权利要求8所述的一种基于对抗训练融合BERT的微博文本情感分析方法， 其特 征在于， 所述下游微调步骤 还包括， 根据所述下游微调模型反向传播计算出来的梯度来寻找最佳扰动项r， 将r与数据集各 Embeddings的权重矩阵进行相加， 接着进行 前向计算， 使其对抗损失adv_l oss达到最大； 对于最佳扰动项计算出的损失adv_loss， 将其进行后向计算， 得出梯度adv_grad， 最后 进行所述下游微调模型的权 重参数的更新， 从而得到情感分类预测模型。 10.一种基于对抗训练融合BERT的微博文本情感分析系统， 其特征在于， 包括： 文本预 处理模块、 预训练模块和下游微调模块； 所述文本预处理模块用于对原始微博文本数据进行预处理， 包括超长文本截断、 超短 文本补齐、 特殊符号处理、 全角转半角、 外部评论数据集扩充、 EDA数据增强、 回译法扩充， 得 到预处理文本数据； 所述预训练模块将所述预处理文本数据输入增量BERT模型中进行编码， 编码后的结果 输入Transformer模型的Encoder结构， 进行Masked  LM和Next  Sentence  Prediction预训 练任务， 依次经过多头注意力层、 前馈神经网络层， 并且在中间进行残差连接和归一化处 理， 得到增量预训练模型， 所述增量预训练模型包括训练后的语言模型框架及参数； 所述下游微调模块将所述增量预训练模型在下游任务上结合所述预处理文本数据集 进行微调， 并结合对抗训练的方法， 对Embeddings的权重矩阵进行扰动， 最终输出保存为调 整好各项参数的情感分类预测模型， 通过所述情感分类预测模型对目标微博文本进行情感 分类预测。权　利　要　求　书 2/2 页 3 CN 115392259 A 3