(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221098385 6.X (22)申请日 2022.08.17 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 杨溢龙　刘奕博　张莉　 (74)专利代理 机构 北京清大紫荆知识产权代理 有限公司 1 1718 专利代理师 张卓　张梦龙 (51)Int.Cl. G06F 8/35(2018.01) G06F 8/41(2018.01) G06F 8/10(2018.01) G06F 40/30(2020.01) G06F 40/205(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于自然语 言的OCL语句自动生 成方法 和装置 (57)摘要 本发明实施例提供了一种基于自然语言的 OCL语句自动生成方法和装置， 其中， 该方法包括 以下步骤： 将自然语言文本构造成下游任务； 将 所述下游任务依次输入词法 处理器和语 言模型， 所述语言模型生成多个候选的对象约束语言语 句， 其中， 所述语言模型是通过改进预训练语言 模型得到的； 从多个候选的所述对象约束语言语 句中， 将质量最高的所述对象约束语 言语句确定 为所述自然语言文本的目标对象约束语言语句 进行输出。 该方案基于深度学习的方法实现了从 自然语言到OCL语句的生成， 将质量最高的OCL语 句确定为自然语言文本的目标OCL语句， 有利于 进一步提高OCL语句的生成质量。 权利要求书2页 说明书15页 附图5页 CN 115437626 A 2022.12.06 CN 115437626 A 1.一种基于自然语言的对象约束语言语句自动生成方法， 其特 征在于， 包括： 将自然语言文本构造成下游任务； 将所述下游任务依次输入词法处理器和语言模型， 所述语言模型生成多个候选的对象 约束语言语句， 其中， 所述语言模型 是通过改进预训练语言模型 得到的； 从多个候选的所述对象约束语言语句中， 将质量最高的所述对象约束语言语句确定为 所述自然语言文本的目标对象约束语言语句进行输出。 2.如权利要求1所述的方法， 其特征在于， 所述语言模型生成多个候选的对象约束语言 语句， 包括： 所述语言模型通过随机采样策略， 生成多个候选的所述对象约束语言语句。 3.如权利要求2所述的方法， 其特 征在于， 还 包括： 在从多个候选的所述对象约束语言语句中， 将质量最高的所述对象约束语言语句确定 为所述自然语言文本的目标对象约束语言语句之前， 针对每个候选的所述对象约束语言语 句， 从统计特征和代码语义角度进行评分， 将评分最高的所述对 象约束语言语句确定为质 量最高的所述对象约束语言语句。 4.如权利要求3所述的方法， 其特征在于， 针对每个候选的所述对象约束语言语句， 从 统计特征和代码语义角度进行评分， 包括： 针对每个候选的所述对象约束语言语句， 通过双语评估替补评价函数从统计特征和代 码语义角度进行评分。 5.如权利要求1至4中任一项所述的方法， 其特 征在于， 还 包括： 在所述语言模型的损失函数的权 重序列中， 增大关键 字面量的权重。 6.如权利要求5所述的方法， 其特征在于， 通过以下方式确定所述语言模型的损失函数 的权重序列： HImproved(p,q)＝‑∑iwipiln qi； 其中， wi表示损失函数对于不同词法单元的损失权重； Keys表示 关键字面量； σ 表示对于 关键字对应的词法单元所赋的较高权重； HImproved(p,q)表示交叉熵函数； pi表示真实分布， 是词法单元序列中第i个词法单元索引； qi表示预测分布， 是生成序列中第i个词法单元索 引。 7.如权利要求1至4中任一项所述的方法， 其特征在于， 将自然语言文本构造成下游任 务， 包括： 对所述自然语言文本添加前缀后， 造成下游任务， 其中， 所述前缀表示任务形式。 8.一种基于自然语言的对象约束语言语句自动生成装置， 其特 征在于， 包括： 任务构造模块， 用于将自然语言文本构造成下游任务； 语句生成模块， 用于将所述下游任务依次输入词法处理器和语言模型， 所述语言模型 生成多个候选的对 象约束语言语句， 其中， 所述语言模型是通过改进预训练语言模型得到 的； 语句确定模块， 用于从多个候选的所述对象约束语言语句中， 将质量最高的所述对象 约束语言语句确定为所述自然语言文本的目标对象约束语言语句进行输出。权　利　要　求　书 1/2 页 2 CN 115437626 A 29.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所 述的基于自然语言的对象约束语言语句自动生成方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有执行权利 要求1至7中任一项所述的基于自然语言的对象约束语言语句自动生成方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115437626 A 3