(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210616190.4 (22)申请日 2022.06.01 (71)申请人 中国石油大 学 （华东） 地址 266580 山东省青岛市黄岛区长江西 路66号 (72)发明人 王亚琪　杨盼　 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/36(2019.01) G06F 40/211(2020.01) G06F 40/242(2020.01) G06F 40/247(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/00(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于萤火虫算法的深度学习模型对抗 训练方法 (57)摘要 本发明针对已有的深度学习模型易受对抗 攻击干扰的问题， 考虑目前存在的基于深度学习 的文本相似度处理方法存在鲁棒性差、 对抗训练 开销大等问题， 提出基于启发式算法的对抗训练 方法并用于文本相似度分析模型。 出于对深度学 习模型上普遍缺乏对于安全性方面的考虑。 且深 度学习模型本身容易受到对抗攻击， 存在安全隐 患。 本发明结合基于深度学习模 型的文本相似度 分析模型， 针对模型易受到对抗攻击干扰的问 题， 讨论对抗性训练方法的新型研究思路与方 向。 本发明提出一种基于萤火虫算法的对抗文本 生成方法以及对抗训练方案。 该方案具有较低的 时间复杂度， 并在线性时间复杂度内实现文本生 成， 实现在掩盖一些数据的敏感特性的同时， 达 到保证文本相似度分析模型的准确度的效果。 将 所提出方案应用于基于卷积神经网络的文本相 似度分析模 型中， 有效提高模型的鲁棒性和抵御攻击的能力。 权利要求书1页 说明书4页 附图1页 CN 114925173 A 2022.08.19 CN 114925173 A 1.一种基于萤火虫算法的深度学习模型对抗训练方法， 包括以下部分： A、 建立基于启发式算法萤火虫算法的对抗样本生成方法； B、 建立针对文本数据的对抗文本生成方法； C、 建立基于对抗训练的对抗 攻击的防御方案应用于文本相似度模型。 2.根据权利要求1所述的基于启发式算法萤火虫算法的对抗样本生成方法， 其特征在 于， 所述的部 分A中， 所述的对抗样本生 成方法是指： 将样本抽象为萤火虫个体， 在应用萤火 虫算法进行迭代的过程中， 完成样本 本身的优化。 3.根据权利要求1所述的针对文本数据的对抗文本生成方法， 其特征在于， 所述的部分 B中， 基于文本数据类型的对抗样本生成方法是指： 将本发明提出 的部分A中所述基于萤火 虫算法的对抗样本生成方法应用与离散的文本数据中， 并进一步作为模型对抗训练的输入 数据。 4.根据权利要求1所述的基于对抗训练的对抗攻击的防御方案应用于文本相似度模 型， 其特征在于， 所述的部分C中， 所述的基于对抗训练的对抗攻击的防御方案应用于文本 相似度分析模型是指： 将部 分A中所述的对抗文本按照部 分B中所述作为句子相似度分析模 型的输入进行对抗训练， 其中句子相似度模型以卷积神经网络为基本 。权　利　要　求　书 1/1 页 2 CN 114925173 A 2一种基于萤 火虫算法的深度学习模型对抗训练方 法 技术领域 [0001]本发明涉及 适用于文本相似度分析模型的对抗文本生成方法， 特别涉及一种基于 萤火虫算法的对抗文本生成方法。 背景技术 [0002]进入互联网时代， 海量的文本信息以电子化的形式在网络上积累。 购物软件中的 评价信息， 社交软件上的实时观点等， 都蕴含着丰富的信息， 对于软件开发人员、 舆情研究 人员等来说， 它们的具有极高的参考价值和意义。 这些文本信息的表达形式大多使用的是 自然语言。 这些信息中都蕴含着大量的价值。 随着人工智能技术的发展， 网络上海量的数据 开始变得清晰明了。 随着前沿算法的不断突破， 促进了人工智能技术的发展， 并且在某些场 景下已初现成果， 尤其是在一些特定得领域， 比如计算机视觉， 大数据分析等。 计算机视觉 和大数据在分析处理图片， 视频和数字的同时自然语言处理的研究者们也在为分析网络上 海量的自然语言而努力。 [0003]自然语言处理主要任务就是对文本， 语句等进行分类， 提取， 推测。 根据具体任务 的不同， 自然语言处理还可以分为自动文本摘要， 机器翻译， 文本分类等任务， 这些任务的 完成都是建立在句 子相似度分析模型 的基础之上 的。 无论是长篇的文章， 还是篇幅较短的 新闻资讯， 还是简短的购物评价， 这些内容从理解的层面上来看都是以句子来划分的。 同 时， 根据人们的交流习惯和阅读习惯也是以句 子作为基本的单位。 由此可见句 子相似度分 析任务的重要性。 它虽然是自然语言处理的一项基础性任务， 但它对整个 自然语言处理领 域的发展至关重要。 [0004]近年来， 随着人工智能技术的迅速发展， 深度学习模型被应用到句子相似度分析 任务中。 尤其以卷积神将网络为代表， 作为深度学习网络一种主要的网络结构， 在图像识别 等领域表现出了较好的效果。 卷积神经网络也已经被各路学者应用于自然语言处理任务 中。 然而， 深度学习模型 因为其自身 特性存在着严重的安全隐患： 攻击者可以通过给良性样 本添加特定噪声而轻易地欺骗深度学习模型， 并且通常不会被人发现。 攻击者利用人 的视 觉/听觉无法感知的扰动， 足以使正常训练的模型输出置信度很高的错误预测， 研究者将这 种现象叫做对抗攻击。 目前针对对抗攻击的抵御方案主要是基于生成式对抗网络 (Generative  Adversarial  Network,GAN)。 但基于GAN的防御策略通常依赖于判别器和生 成器之间的对抗和迭代， 其时间复杂度以及计算开销较大。 此外， 这种从原始GAN产生反采 样的方法仍然存在一些尚未解决 的问题。 例如， 在某些情况下， GA N的鉴别器非常强， 以至于 计算的生成样本损失值为零， 导致生成的样本与初始样本相差太大。 此外， 当处理离散数 据， 尤其是文本数据时， GAN的性能会显著下降。 [0005]综上所述， 目前基于深度学习的文本相似度处 理方法存在 如下问题： [0006](1)深度学习模型上普遍缺乏对于安全性方面的考虑。 并且深度学习模型本身容 易受到对抗 攻击， 存在安全隐患。 [0007](2)深度学习模型在收到对抗攻击时， 对抗样本会控制深度学习模型的判断结果，说　明　书 1/4 页 3 CN 114925173 A 3