(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210907485.7 (22)申请日 2022.07.29 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 陈洪辉　邵太华　蔡飞　舒振　 王梦如　江苗　张鑫　宋城宇　 郑建明　郭昱普　潘志强　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 40/194(2020.01)G06F 16/33(2019.01) G06N 3/08(2006.01) (54)发明名称 一种需求语义 等价识别方法及装置 (57)摘要 本发明公开了一种需求语义等价识别方法 及装置， 具体来说， 对于任何一个包含两段未标 记需求文本的锚句对， 首先使用多种文本数据增 广策略对需求文本进行数据增广， 以生成三个增 广句对， 为了降低数据增广噪声， 进一步提出句 对混合策略将三个增广句对合并为锚句对对应 的正句对， 得到锚句对及其对应的正句对， 然后 采用对比学习损失对文本交互模块进行预训练， 最后， 再通过二元交叉熵损失， 在有限监督场景 下对对比学习预训练过程进行微调。 本方法能有 效解决一句多义问题， 同时采用数据增广策略， 结合句对混合策略， 可以减少数据增广噪声并使 对比对象与对比学习损失相匹配 。 权利要求书2页 说明书11页 附图2页 CN 115270811 A 2022.11.01 CN 115270811 A 1.一种需求语义 等价识别方法， 其特 征在于， 所述方法包括： 给定任意两段未标记的需求文本作为锚句对 为源需求， 为目标需求， 使用随机 乱序策略增广 和 分别得到增广源需求 和增广目标需求 并通过交互得到增广句对 和 对 进行编码分别得到RS、 RT、 RS'、 RT'； 对RS、 RT、 RS'、 RT'使用软注意力对齐机制建模， 分别得到 和 的交互表示 和 和 的交互表示 和 和 的交互表示 和 和 的交互表示 和 对交互表示 和 和 和 和 进行聚合， 分别得到锚句对 的聚合表示 rst和三个增广句对的聚合表 示rst'， rs't和rs't'， 并将三个增广句对的聚合表示进行混合， 得 到对三个增广句对的集成表示r'st； 在无监督预训练阶段， 使用线性映射器将聚合表示rst和集成表示r'st映射到不同的向 量空间中， 在监 督微调阶段， 使用预测器将聚合表示rst映射到二 值等价性标签中。 2.根据权利要求1所述的识别方法， 其特征在于， 所述对 进行编码， 具体 为： 其中， (·)i表示PLM中第i层中输出， avg为求平均值， Dan和Dau分别表示对锚句对和增广 句对中的需求文本特 征进行的Dropout操作。 3.根据权利要求1所述的识别方法， 其特征在于， 所述对交互表示 和 和 和 和 进行聚合， 具体为： 其中，⊙表示逐元素相乘。 4.根据权利要求1所述的识别方法， 其特 征在于， 所述 集成表示r'st为 r′st＝mixup([rst'； rs't； rs't']) 其中， mixup表示句对混合 函数。 5.根据权利要求4所述的识别方法， 其特征在于， 所述句对混合函数为平均化策略、 最 大化策略中任意 一项。权　利　要　求　书 1/2 页 2 CN 115270811 A 26.根据权利要求1所述的识别方法， 其特征在于， 使用线性映射器将聚合表示rst和集成 表示r'st映射到不同的向量空间中， 具体为： rst＝Linear(rst), r′st＝Linear(r′st) 其中， Linear为线性映射器。 7.根据权利要求1所述的识别方法， 其特征在于， 使用预测器将聚合表示rst映射到二值 等价性标签中， 具体为： 其中， 为二值等价性标签， MLP表 示具有两个线性层和一个ReLu层的多层感知器， sigmoid激活函数将预测等 价性映射到[0,1]的范围内。 8.根据权利要求1 ‑7任一项所述的识别方法， 其特征在于， 在无监督预训练阶段， 使用 对比学习损失来 最大化锚句对与增广句对表示之间的一 致性。 9.根据权利要求1 ‑7任一项所述的识别方法， 其特征在于， 在有监督微调阶段， 使用二 元交叉熵损失在有限标注数据场景 下对无监 督预训练过程进行微调。 10.一种需求语义等价识别装置， 其特征在于， 所述识别装置包括句对增广模块、 编码 模块、 交互表示计算模块、 聚合模块、 映射模块和预测模块， 所述句对增广模块， 给定任意两段未标记的需求文本作为锚句对 为源需求， 为目标需求， 使用随机乱序策略增广 和 分别得到增广源需求 和增广目标需求 并通 过交互得到增广句对 和 所述编码模块， 对 进行编码分别得到RS、 RT、 RS'、 RT'； 所述交互表 示计算模块， 对RS、 RT、 RS'、 RT'使用软注意力对齐机制建模， 分别得到 和 的 交互表示 和 和 的交互表示 和 和 的交互表示 和 和 的交互表示 和 所述聚合模块， 对交互表示 和 和 和 和 进行聚合， 分别得到锚句对 的聚合表示rst， 三个增广句对的聚合表示rst'， rs't和rs't'， 并将三个增广句对的聚合表 示进行混合， 得到对三个增广句对的集成表示r'st； 所述映射模 块， 在无监督预训练阶段， 使用线 性映射器将聚合表示rst和集成表示r'st映 射到不同的向量空间中； 所述预测模块， 在监 督微调阶段， 使用预测器将聚合表示rst映射到二 值等价性标签中。权　利　要　求　书 2/2 页 3 CN 115270811 A 3